Nvidia AI играет Minecraftполучает награду конференции по машинному обучению

Документ, описывающий MineDojo, универсальный агент искусственного интеллекта Nvidia, который может выполнять действия из письменных подсказок в Minecraftполучила награду за выдающиеся наборы данных и контрольные показатели на конференции NeurIPS (системы обработки нейронной информации) 2022 года, сообщила Nvidia в понедельник.

Чтобы обучить фреймворк MineDojo играть Minecraftисследователи скормили ему 730 000 Minecraft Видео на YouTube (более 2,2 миллиарда слов), 7000 извлеченных веб-страниц из Minecraft wiki и 340 000 сообщений Reddit и 6,6 миллионов комментариев Reddit, описывающих Minecraft геймплей.

На основе этих данных исследователи создали специальную модель трансформера под названием MineCLIP, которая связывает видеоклипы с определенными внутриигровыми событиями. Minecraft виды деятельности. В результате кто-то может сказать агенту MineDojo, что делать в игре, используя естественный язык высокого уровня, например, «найти пустынную пирамиду» или «построить портал в Нижний мир и войти в него», и MineDojo выполнит серию шагов. необходимо, чтобы это произошло в игре.

MineDojo стремится создать гибкого агента, который может обобщать изученные действия и применять их к различным действиям в игре. Как пишет Nvidia: «Хотя исследователи уже давно обучают автономных агентов ИИ в средах видеоигр, таких как Стар Крафт, Дота, и Go эти агенты обычно специализируются лишь на нескольких задачах. Поэтому исследователи Nvidia обратились к Minecraftсамой популярной в мире игре, для разработки масштабируемой системы обучения для универсального агента, который может успешно выполнять широкий спектр открытых задач».

В июне была опубликована отмеченная наградами статья «MINEDOJO: создание открытых встроенных агентов с использованием знаний в масштабе Интернета». Его авторами являются Linxi Fan из Nvidia и Guanzhi Wang, Yunfan Jiang, Ajay Mandlekar, Yuncong Yang, Haoyi Zhu, Andrew Tang, De-An Huang, Yuke Zhu и Anima Anandkumar из различных академических учреждений.

Вы можете увидеть примеры MineDojo в действии на его официальном сайте, а код для MineDojo и MineCLIP доступен на GitHub.