Microsoft випробувала ChatGPT у сфері робототехніки

Дослідники з Microsoft нещодавно протестували ChatGPT на роботизованих руках, дронах і роботах-помічниках. Компанія поділилася, що загальний висновок експерименту дав чудові результати. А це свідчить про світле майбутнє для ChatGPT у сфері робототехніки.

Поява ChatGPT означала народження сучасної епохи штучного інтелекту в усьому світі. Після того, як Microsoft оголосила про інтеграцію мовної моделі штучного інтелекту в Bing, інші компанії, як-от Google, почали ділитися власними напрацюваннями, повʼязаними з цією технологією. Повідомлялося, що кілька китайських компаній, як-от Baidu, досліджують і розробляють власні проекти, схожі на Chat GPT. Завдяки цьому Microsoft зрозуміла, що єдиний спосіб залишатися на вершині – рухатися вперед і застосовувати ChatGPT в інших сферах – робототехніці.

У роботі, опублікованій групою Microsoft Autonomous Systems and Robotics Research Group, ChatGPT отримував різні завдання з використанням різних платформ. Тести також містили різні принципи проектування, зокрема зі спеціальними структурами підказок, API високого рівня та відгуками людини через тексти. Група повідомила, що хоча технологія все ще потребує допомоги, результати проекту довели, що ChatGPT може багато зробити сам.

«Дотримуючись наших принципів проектування, ChatGPT може генерувати код для сценаріїв робототехніки. Без будь-яких тонких налаштувань ми використовуємо знання Моделі Великої Мови, щоб керувати пошуком різних формфакторів роботів для різноманітних завдань».

Один із тестів, виконаних у рамках проекту, передбачав надання керування ChatGPT безпілотним літальним апаратом у симуляторі Microsoft AirSim. У деяких із опублікованих відео Chat GPT міг виконувати команди пошуку напою, ідентифікації напою на основі опису та пропозиції «здорового варіанту». Йому також вдалося успішно виконати текстову команду зробити селфі перед світловідбивною поверхнею та оглянути полицю з різними предметами. При використанні в сценарії змодельованого промислового огляду дослідники повідомили про сприятливі результати в тесті на уникнення повітряних перешкод. Вони також додали, що він «зміг ефективно проаналізувати намір користувача високого рівня та геометричні ознаки для точного пошуку керування дроном».

У більш неймовірному сценарії ChatGPT пройшов тест на маніпуляції. Він склав блоки та використав їх для створення пошукового чотириколірного логотипу Microsoft за допомогою своєї бази знань.

«Ми використали розмовний зворотний звʼязок, щоб навчити модель складати початково надані API у складніші високорівневі функції: те, що ChatGPT закодував сам», – пояснила група. «Модель показала захопливий приклад поєднання текстової та фізичної областей, коли їй було поставлено завдання побудувати логотип Microsoft із деревʼяних блоків. Він не лише зміг згадати логотип зі своєї внутрішньої бази знань, він зміг «намалювати» логотип (як код SVG), а потім використати отримані вище навички, щоб з’ясувати, які наявні дії робота можуть скласти його фізичну форму».

Попри те, що результати проекту виглядають багатонадійними, Microsoft підкреслила, що ця робота є лише невеликою частиною тих речей, які можна зробити, коли великі мовні моделі використовуються на роботах. Крім того, компанія нагадала, що Chat GPT ще не повністю готова допомагати роботам у виконанні завдань, попереджаючи ентузіастів та інших дослідників «завжди вживати необхідних заходів безпеки».