OpenAI заявляет, что выделяет пятую часть своих вычислительных ресурсов на разработку методов машинного обучения, чтобы не допустить, чтобы сверхинтеллектуальные системы «выходили из-под контроля».
Основанный в 2015 году стартап искусственного интеллекта в Сан-Франциско всегда стремился к безопасной разработке общего искусственного интеллекта. Технологии еще не существует, и эксперты расходятся во мнениях относительно того, как именно она будет выглядеть и когда она может появиться.
Тем не менее, OpenAI намерена выделить 20 процентов своих вычислительных мощностей и запустить новое подразделение под руководством соучредителя и главного научного сотрудника Ильи Суцкевера, чтобы каким-то образом не допустить, чтобы машины будущего поколения угрожали человечеству.
«Сверхразум станет самой эффективной технологией, которую когда-либо изобретало человечество, и может помочь нам решить многие из самых важных мировых проблем», — заявил в своем заявлении потенциальный спаситель вида.
«Но огромная сила сверхразума также может быть очень опасной и может привести к бесправию человечества или даже к его исчезновению».
OpenAI считает, что компьютерные системы, способные превзойти человеческий интеллект и победить человеческую расу, могут быть разработаны в этом десятилетии. [Before or after fusion? Or quantum computing? – Ed.].
«Управление этими рисками потребует, среди прочего, новых институтов управления и решения проблемы согласования сверхразума: как мы можем гарантировать, что системы ИИ, намного более умные, чем люди, будут следовать человеческим намерениям?» добавил бизнес.
Говоря об OpenAI…
- Стартап, финансируемый Microsoft, сделал свой API GPT-4 общедоступным для платных разработчиков.
- Профессор CompSci и эксперт по машинному обучению Эмили Бендер написала эссе о реальных угрозах, исходящих от моделей ИИ, и о страхе перед сверхчеловеческим ИИ, на который наталкивают определенные уголки.
Уже существуют методы согласования — или, по крайней мере, попытки согласования — моделей с человеческими ценностями. Эти методы могут включать в себя то, что называется обучением с подкреплением на основе отзывов людей или RLHF. При таком подходе вы, по сути, наблюдаете за машинами, чтобы формировать их так, чтобы они вели себя как люди.
Хотя RLHF помог сделать такие системы, как ChatGPT, менее склонными к генерации токсичного языка, он все еще может вносить предубеждения, и его трудно масштабировать. Обычно это связано с необходимостью набирать большое количество людей с не очень высокой заработной платой для предоставления отзывов о результатах модели – практика, которая имеет свой собственный набор проблем.
Утверждается, что разработчики не могут полагаться на нескольких человек, чтобы следить за технологией, которая затронет многих. Команда выравнивания OpenAI пытается решить эту проблему, создавая «автоматического исследователя выравнивания примерно человеческого уровня». Вместо людей OpenAI хочет создать систему искусственного интеллекта, которая может привести другие машины в соответствие с человеческими ценностями, не полагаясь явно на людей.
Нам кажется, что это будет искусственный интеллект, обучающий искусственный интеллект быть более похожим на неискусственный интеллект. Чувствуется немного курица и яйцо.
Такая система могла бы, например, искать проблемное поведение и предоставлять обратную связь или предпринимать какие-либо другие шаги для его исправления. Чтобы проверить производительность этой системы, OpenAI заявила, что может намеренно обучать смещенные модели и смотреть, насколько хорошо выравнивающий ИИ устраняет плохое поведение. Новая команда поставила цель решить проблему выравнивания за четыре года.
«Хотя это невероятно амбициозная цель, и нам не гарантируется ее успех, мы с оптимизмом смотрим на то, что сфокусированные, согласованные усилия могут решить эту проблему. Есть много идей, которые продемонстрировали многообещающие результаты в предварительных экспериментах, и у нас есть все более полезные показатели прогресса. , и мы можем использовать современные модели для эмпирического изучения многих из этих проблем», — заключили в организации.
«Решение проблемы включает в себя предоставление доказательств и аргументов, которые убеждают сообщество машинного обучения и безопасности в том, что она была решена. Если мы не сможем иметь очень высокий уровень уверенности в наших решениях, мы надеемся, что наши результаты позволят нам и сообществу планировать должным образом. “
Сейчас мы начнем строить наш бункер. ®
