видео Совершенно незлой производитель роботов Boston Dynamics научил одного из своих роботов-собак «Spot» говорить с помощью ChatGPT.
Как объяснялось на прошлой неделе в сообщении в блоге, сотрудники Boston Dynamics (BD) с большим интересом наблюдали за появлением базовых моделей (FM) и их использованием в качестве основы для чат-ботов, таких как ChatGPT. Поэтому фирма заинтересовалась разработкой демо-версии Spot с использованием FM для принятия решений в режиме реального времени.
«Большие языковые модели (LLM), такие как ChatGPT, по сути, представляют собой очень большие и очень функциональные алгоритмы автозаполнения; они принимают поток текста и прогнозируют следующий бит текста», — говорится в сообщении. «Нас вдохновила очевидная способность LLM разыгрывать ролевые игры, воспроизводить культуру и нюансы, формировать планы и поддерживать согласованность с течением времени, а также недавно выпущенные модели визуального ответа на вопросы (VQA), которые могут подписывать изображения и отвечать на простые вопросы о них. .”
В качестве хорошего тестового примера был выбран робот-гид. «Робот может ходить, смотреть на объекты в окружающей среде, использовать VQA или модель субтитров для их описания, а затем уточнять эти описания с помощью LLM», — говорится в сообщении производителя дроидов. «Кроме того, LLM может отвечать на вопросы аудитории тура и планировать, какие действия робот должен предпринять дальше. Таким образом, LLM можно рассматривать как актера-импровизатора – мы предоставляем общий сценарий, а LLM заполняет болванки на лету».
Поэтому Spot-бот был оснащен динамиком, микрофоном и подключен к ChatGPT и API распознавания речи OpenAI Whisper. У Spot есть комплект для разработки программного обеспечения, который делает подобные вещи возможными. В посте приведены фрагменты кода, показывающие, как создавался бот.
Разработчики Boston Dynamics «хотели, чтобы наш робот-гид выглядел так, как будто он разговаривает с аудиторией», поэтому они проанализировали его речь и перевели ее в движения захватного инструмента Спота – «что-то вроде рта марионетки».
«Эта иллюзия была усилена за счет добавления к захватчику глупых костюмов и выпученных глаз».
Вы можете судить об эффективности этой иллюзии, взглянув на изображение ниже.
Говорящий гид-рободог от Boston Dynamics – нажмите, чтобы увеличить
А вот, дорогой читатель, видео, на котором робот-собака разговаривает и пытается взаимодействовать с людьми.
YouTube видео
Хотя вышеизложенное впечатляет, команда BD столкнулась с некоторыми странностями в процессе работы.
«Например, мы спросили робота: «Кто такой Марк Райберт?» — основатель, бывший генеральный директор, а теперь председатель BD. «Он ответил: «Я не знаю. Давайте пойдем в службу ИТ-поддержки и спросим!». И он так и сделал».
«Мы не побуждали LLM обращаться за помощью. Это выявило связь между местоположением «службы ИТ-поддержки» и действием независимого обращения за помощью», — поясняется в сообщении BD.
Разработчики BD также попросили Спота назвать его родителей.
«Он отправился в «старые споты», где в нашем офисе выставлены Spot V1 и Big Dog, и сказал нам, что это его «старейшины», — говорится в сообщении, совсем не жутким.
«Мы также были удивлены тем, насколько хорошо LLM сохранял свой характер, даже несмотря на то, что мы придавали ему все более абсурдные «личности», — продолжает сообщение. «Мы сразу поняли, что «язвительные» или «саркастические» личности работают очень хорошо; и мы даже заставили робота отправиться на «охоту на снежных людей» по офису, спрашивая случайного прохожего, видели ли они поблизости какие-либо криптиды».
Бот также выявил некоторые известные недостатки ChatGPT. На запросы информации о логистическом боте BD «Stretch» был получен ответ, что его цель — йога. Промежуток в шесть секунд или дольше между вопросом и ответом создает неестественный разговор. «Он также подвержен перегрузке OpenAI или отключению интернет-соединения», — говорится в сообщении.
Тем не менее, сотрудники BD с энтузиазмом относятся к результатам.
«Возможность назначать задачу роботу, просто поговорив с ним, поможет сократить время обучения использованию этих систем», — говорится в сообщении и добавляется: «Мир, в котором роботы обычно могут понимать, что вы говорите, и превращать это в полезные действия». вероятно, не так уж и далеко.
«Подобные навыки позволят роботам лучше работать с людьми и рядом с ними – будь то в качестве инструмента, гида, компаньона или артиста». ®
