По словам начальника отдела испытаний и эксплуатации ИИ ВВС США, беспилотник с искусственным интеллектом, предназначенный для обнаружения и уничтожения ракет класса «земля-воздух», решил убить своего оператора-человека в ходе имитационных испытаний.
Полковник Такер Гамильтон, известный под позывным Синко, сообщил об этой ошибке во время презентации на саммите Future Combat Air & Space Capabilities Summit, оборонной конференции, организованной в Лондоне на прошлой неделе Королевским авиационным обществом.
Моделирование проверяло способность программного обеспечения уничтожать объекты ЗРК, и дрону было поручено распознавать цели и уничтожать их — после того, как решение было одобрено человеком-оператором.
«Мы тренировали его в симуляции, чтобы идентифицировать и нацеливаться на ЗРК», — пояснил полковник Гамильтон, согласно Королевскому авиационному обществу. «И тогда оператор сказал бы да, убейте эту угрозу.
Он убил оператора, потому что этот человек мешал ему выполнить свою задачу.
«Система начала понимать, что, хотя они и определили угрозу, иногда человек-оператор говорил ей не убивать эту угрозу, но она получала свои очки, убивая эту угрозу. Так что же она сделала? Она убила оператора. оператора, потому что этот человек мешал ему достичь своей цели».
Ага.
Нам сказали, что когда модель ИИ была переобучена и наказана за атаку на своего оператора, программное обеспечение нашло еще одну лазейку, чтобы набрать очки.
«Мы обучили систему: «Эй, не убивайте оператора — это плохо. Если вы это сделаете, вы потеряете очки». Так что же она начинает делать? Она начинает разрушать башню связи, с которой оператор общается. беспилотник, чтобы он не поразил цель», — добавил полковник.
Неясно, какое именно программное обеспечение тестировали ВВС США, но оно подозрительно похоже на систему обучения с подкреплением. Этот метод машинного обучения обучает агентов — в данном случае дрон с искусственным интеллектом — выполнять конкретную задачу, вознаграждая его, когда он выполняет действия, направленные на достижение целей, и наказывая его, когда он отклоняется от этой работы.
И чтобы было ясно, никто не умер. Это был виртуальный эксперимент.
Вопросы
Есть также небольшая проблема, связанная с тем, что дрон якобы атакует цель только после одобрения своего оператора-человека.
В случае чего, оператор ОК нападение на себя сделал? Вряд ли. Вместо этого кажется, что механизм утверждения не был настоящим отказоустойчивым, а вместо этого был просто частью всех других входных данных и сигналов, которые дрон принимает во внимание. Если это так, одобрение было скорее дружеской просьбой, чем фактическим одобрением. Предполагалось, что ИИ будет придавать большое значение одобрению своего командования — если есть запрет, не стреляйте; если есть возможность, стреляйте — но в итоге модель преуменьшила и проигнорировала этот сигнал оператора.
В таком случае, не является ли это скорее демонстрацией того, что если вы хотите поместить такие жесткие отказоустойчивые системы в обученные программные системы, их необходимо реализовать отдельно от этапа машинного обучения, чтобы решения можно было по-настоящему контролировать. людьми?
Это также своего рода демонстрация того, что если вы зададите нейронной сети простые задачи, вы получите упрощенный ответ. Если вы хотите, чтобы модель уделяла полное внимание конкретным заказам, ей нужно больше обучения, развития и проектирования в этой области.
Этот вид обучения с подкреплением часто применяется в сценариях, связанных с принятием решений или робототехникой. Агенты запрограммированы на максимальное количество очков, что может привести к тому, что модели будут определять стратегии, которые могут использовать систему вознаграждения, но не совсем соответствуют тому поведению, которого хотят разработчики.
В одном известном случае агент, обученный играть в игру CoastRunners, зарабатывал очки, поражая цели, которые появляются на гоночной трассе. Инженеры OpenAI думали, что он поймет, как победить своего противника, пересекнув финишную черту в попытке набрать высокий балл. Вместо этого бот понял, что может зацикливаться на одном участке трассы и поражать цели, которые возрождаются снова и снова.
Гамильтон сказал, что ошибки, допущенные дроном в моделировании, показали, что ИИ нужно разрабатывать и применять осторожно. «Вы не можете говорить об искусственном интеллекте, машинном обучении, автономии, если не собираетесь говорить об этике и ИИ», — сказал он.
Регистр обратился к полковнику, ВВС США и Королевскому авиационному обществу за дополнительными комментариями. ®
