OpenAI настраивает ChatGPT, чтобы избежать опасной информации ИИ

    0
    45


    Вкратце На этой неделе OpenAI выпустила новую языковую модель под названием ChatGPT, которая предназначена для имитации человеческого разговора.

    Модель основана на новейшей системе генерации текста GPT-3.5 компании, выпущенной ранее в этом году. ChatGPT более разговорный, чем предыдущие версии. Он может задавать пользователям дополнительные вопросы и воздерживаться от ответов на неуместные входные данные вместо того, чтобы просто генерировать текст.

    Некоторые примеры показывают, что ChatGPT не дает опасных советов при появлении соответствующего запроса и может попытаться исправить неверные утверждения. OpenAI считает, что модель должна быть более безопасной в использовании, поскольку она была обучена с использованием отзывов людей. После предоставления примеров полезных ответов на случайные подсказки данные затем были ранжированы в порядке от лучшего к худшему, чтобы направить систему обучения с подкреплением к вознаграждению ChatGPT за получение хороших результатов.

    Но люди, использующие модель, уже доказали, насколько легко обойти меры безопасности ChatGPT. Многие продемонстрировали очень простые фразы, которые могут направить систему на создание контента, который ей не полагается, например, инструктировать пользователей, как терроризировать люди или сделать Коктейли Молотова.

    К сожалению, ChatGPT страдает от тех же фундаментальных проблем, которые затрагивают все современные языковые модели: он не знает, о чем говорит.

    В результате он по-прежнему будет генерировать ложную информацию и иногда может отказываться отвечать на безобидные вопросы. Если вы зарегистрировали учетную запись OpenAI, вы можете играть с ChatGPT здесь.

    ИИ учится играть в Stratego

    Исследователи из DeepMind создали нейронную сеть, способную играть в военную игру Stratego для двух игроков.

    В Stratego для машин играть сложнее, чем в предыдущие игры, решенные DeepMind, такие как Chess или Go. Количество возможных исходов и ходов в игре составляет порядка 10 состояний, что больше, чем 10 в Go, сообщает Nature.

    Система, получившая название DeepNash, утверждает, что работает, находя равновесие Нэша, математическую концепцию, которая описывает, как достичь оптимального решения между игроками в некооперативной игре. DeepNash участвовал в онлайн-турнире Stratego и занял третье место после 50 матчей среди всех игроков-людей, которые играли на игровой платформе Gravon с 2002 года.

    «Наша работа показывает, что такая сложная игра, как Stratego, включающая неполную информацию, не требует методов поиска для ее решения», — говорит член команды Карл Туйлс, исследователь DeepMind из Парижа. «Это действительно большой шаг вперед в области ИИ».

    Ажиотаж вокруг обучения с подкреплением немного поутих после выпуска AlphaGo в 2017 году. Исследователи считают, что обучение ИИ навыкам игры в такие игры, как Stratego, важно для помощи машинам в принятии решений в реальном мире, как нам сказали.

    «В какой-то момент ведущие исследовательские лаборатории искусственного интеллекта должны выйти за рамки рекреационных условий и выяснить, как измерять научный прогресс в более мягких «играх» реального мира, которые нам действительно небезразличны», — Майкл Веллман, профессор компьютерных наук и инженерии. из Мичиганского университета, который не принимал непосредственного участия в исследовании.

    Министерство энергетики США направляет миллионы долларов на ИИ для науки

    Министерство энергетики выделяет 4,3 миллиона долларов на финансирование 16 проектов, ориентированных на ИИ, связанных с исследованиями в области физики высоких энергий.

    Эти проекты [PDF] будет проводиться различными университетами США и охватывать широкий спектр областей исследований, начиная от теории струн, космологии и заканчивая нейронными сетями и ускорителями частиц. Общая сумма инвестиций будет разделена на три года, при этом 1,3 миллиона долларов будут потрачены в первый год.

    Министерство энергетики также недавно объявило об аналогичной инициативе по выделению 6,4 миллиона долларов на исследования и разработки в области ИИ для трех проектов в области физики высоких энергий, которые будут осуществляться национальными лабораториями. «Искусственный интеллект и методы машинного обучения в физике высоких энергий жизненно важны для развития этой области», — сказала Джина Рамейка, заместитель директора по науке Министерства энергетики США по физике высоких энергий, сообщает HPCwire.

    «Эти награды открывают новые возможности для университетских исследователей, которые позволят сделать следующие открытия в физике высоких энергий». ®



    Предыдущая статьяСифу получает экранизацию Дерека Колстада из «Джона Уика» — отчет
    Следующая статьяИлон Маск не против имплантировать мозговые чипы своим детям
    Виктор Попанов
    Эксперт тестовой лаборатории. Первый джойстик держал в руках в возрасте 3 лет. Первый компьютер, на котором „работал” был с процессором Intel i386DX-266. Тестирует оборудование для издания ITBusiness. Будь то анализ новейших гаджетов или устранение сложных неполадок, этот автор всегда готов к выполнению поставленной задачи. Его страсть к технологиям и приверженность качеству делают его бесценным помощником в любой команде.