Недавно Ян Лейке, содиректор команды Superalignment OpenAI, объявил о своем уходе из компании. Этот шаг нанес серьезный удар по OpenAI, которая находится в авангарде исследований и разработок в области искусственного интеллекта. Уход Лейке особенно примечателен, учитывая его роль в обеспечении безопасности и согласованности систем искусственного интеллекта с человеческими намерениями. В своем прощальном заявлении Лейке выразил глубокую обеспокоенность по поводу изменения приоритетов OpenAI. Он утверждает, что компания пренебрегла внутренней культурой и правилами безопасности и теперь больше сосредоточена на быстром выпуске «привлекательных» продуктов.
OpenAI создала команду Superalignment в июле 2023 года с основной целью обеспечить, чтобы системы искусственного интеллекта, обладающие «сверхразумом» и «умнее людей», могли следовать человеческим намерениям. На момент своего создания OpenAI обязалась инвестировать 20% своих вычислительных мощностей в течение следующих четырех лет в обеспечение безопасности моделей ИИ. Эта инициатива рассматривалась как решающий шаг на пути к разработке ответственных и безопасных технологий искусственного интеллекта.
Недавние беспорядки в OpenAI
Отставка Лейке произошла сразу после периода беспорядков в OpenAI. В ноябре 2023 года почти все сотрудники OpenAI пригрозили уйти и последовать за свергнутым лидером Сэмом Альтманом в Microsoft. Этот шаг был ответом на решение совета директоров отстранить Альтмана от должности генерального директора. Тогда они указали на отсутствие откровенности в его общении с советом директоров. Ситуация в конечном итоге разрешилась с возвращением Альтмана на пост генерального директора, сопровождавшимся встрясками в совете директоров некоммерческого подразделения компании.
Ответ руководства OpenAI
В ответ на опасения Лейке Грег Брокман и Сэм Альтман из OpenAI совместно заявили, что они «повысили свою осведомленность о рисках ИИ и будут продолжать совершенствовать работу по обеспечению безопасности в будущем, чтобы справиться с проблемами каждой новой модели». Этот ответ предполагает, что OpenAI осознает важность безопасности ИИ и будет решать эти проблемы. Однако отставка Лейке и роспуск команды Superalignment поднимают вопросы о способности компании уделять приоритетное внимание безопасности и защищенности в стремлении к достижениям в области искусственного интеллекта.
Отрывок из их совместного ответа гласит:
«Мы очень благодарны Яну за все, что он сделал для OpenAI, и мы знаем, что он продолжит вносить свой вклад в нашу миссию извне. В свете некоторых вопросов, возникших в связи с его уходом, мы хотели бы объяснить наше мнение о нашей общей стратегии.
Во-первых, мы повысили осведомленность о рисках и возможностях ОИИ, чтобы мир был лучше подготовлен к ним. Мы неоднократно демонстрировали огромные возможности, открывающиеся благодаря масштабированию глубокого обучения, и анализировали их влияние; призывал на международном уровне управлять AGI (до того, как такие призывы стали популярными); и провел исследования в научной области оценки катастрофических рисков систем искусственного интеллекта. новаторская работа.
Во-вторых, мы закладываем основу для безопасного развертывания все более надежных систем. Впервые обеспечить безопасность новых технологий непросто. Например, наша команда проделала большую работу, чтобы безопасно представить миру GPT-4, и с тех пор продолжает совершенствовать поведение модели и мониторинг злоупотреблений в ответ на уроки, извлеченные из развертываний.
В-третьих, будущее будет сложнее прошлого. Нам необходимо постоянно совершенствовать наши усилия по обеспечению безопасности, чтобы соответствовать рискам, связанным с каждой новой моделью. В прошлом году мы приняли структуру готовности, чтобы систематизировать наш подход к работе…»
Заключение
Отставка Яна Лейке является важным событием, которое подчеркивает текущие проблемы и напряженность в исследовательском сообществе в области искусственного интеллекта. Поскольку технологии искусственного интеллекта продолжают развиваться быстрыми темпами, такие компании, как OpenAI, должны уделять приоритетное внимание безопасности. Эти бренды также должны поддерживать высокий уровень безопасности, чтобы гарантировать ответственную работу этих технологий. Обеспокоенность Лейке по поводу изменения приоритетов OpenAI служит напоминанием о необходимости прозрачности и подотчетности. Бренды, занимающиеся искусственным интеллектом, должны продемонстрировать приверженность этическим нормам в исследованиях и разработках в области искусственного интеллекта.
