Черная шляпа В неожиданном заявлении на открытии программы Black Hat сегодня DARPA представило так называемое AI Cyber Challenge (AIxCC). Это двухлетнее соревнование по созданию защитных систем машинного обучения, которые могут защитить программное обеспечение и, следовательно, критически важную инфраструктуру.
В конкурсе, который начинается в среду, команды будут соревноваться друг с другом, чтобы создавать модели, которые могут выявлять риски в коде, блокировать атаки на эти уязвимости и устранять эти недостатки. Есть надежда, что эти модели смогут защитить ИТ-инфраструктуру на программном уровне.
антропный, OpenAI, Googleи Microsoft обязались предоставить советы и программное обеспечение для использования участниками, а Open Source Security Foundation (OpenSSF) также входит в команду.
Более подробную информацию, правила и сроки можно найти здесь.
«Толчок к этому исходит от DARPA, хотя, когда мы обратились к таким людям, как Anthropic и другим, они сказали, что думают точно так же», — сказал менеджер программы AIxCC Перри Адамс. Регистр в Лас-Вегасе сегодня утром. Она добавила, что все это объединяется «в климате, в котором мы видим фантастическую технологию искусственного интеллекта».
«Многие люди видят, что ИИ обладает огромным потенциалом для защиты кода, и это была действительно фантастическая возможность», — добавила она. «На чем мы сосредоточены, так это на защите как можно большего количества программного обеспечения. Поэтому мы пытаемся смоделировать проблемы с программным обеспечением общего назначения, потому что это то, что мы находим в критически важных инфраструктурных системах».
Перри Адамс, руководитель программы DARPA AIxCC, говорит участникам Black Hat, что на столе миллионы долларов.
DARPA, исследовательское подразделение вооруженных сил США, приглашает тех, кто хочет принять участие, зарегистрироваться либо для самостоятельно финансируемой открытой, либо для финансируемой программы, последняя из которых примет до семи выбранных малых предприятий, которые будут предоставлены в качестве по 1 миллиону долларов каждый на участие в соревнованиях. Регистрация в финансируемом разделе должна быть завершена до 19 сентября, в то время как участникам открытой трассы необходимо зарегистрироваться до 15 декабря.
Весной 2024 года команды примут участие в серии испытаний, чтобы определить право на участие в полуфинальном соревновании, где 20 лучших команд будут соревноваться на конференции DEF CON в следующем году. Пять лучших команд в этом соревновании получат призовые по 2 миллиона долларов каждая.
В следующем году, на DEF CON в 2025 году, пятеро финалистов будут бороться за главный приз в размере 4 миллионов долларов, 3 миллиона долларов за второе место и 1,5 миллиона долларов за третье. Команды должны иметь хотя бы одного постоянного жителя или гражданина США в команде, чтобы иметь право на участие.
«Когда люди слышат о безопасности и искусственном интеллекте, все синапсы начинают срабатывать, но это не сосредоточено на том, «надежна ли модель», а на том, что «давайте предположим, что у нас есть этот удивительный инструмент под названием ИИ, и как мы применим его в большом количестве программное обеспечение», — сказал нам Омхар Арасаратнам, генеральный директор OpenSSF.
«Если вы инженер-программист и используете zlib на своем телефоне или дистрибутив Linux на своем рабочем столе, это все еще zlib, и мы должны обеспечить применение тех же свойств безопасности».
Проблема не исчезнет
Вызов приходит в подходящее время. Другой основной докладчик Black Hat Мария Маркстедтер, основатель компании Azeria Labs, специализирующейся на коде Arm, предупредила, что будущее с точки зрения защиты технологий машинного обучения выглядит неопределенным из-за двух факторов: желания отрасли двигаться быстро и ломать вещи, а также отсутствия внутренних технических деталей, с которыми могут работать специалисты по безопасности.
«Гонка корпоративных ИИ-вооружений началась», — считает она. «В авангарде этого, конечно же, Microsoft». Она отметила, что в феврале генеральный директор Microsoft Сатья Наделла заявил, что его корпорация собирается быстро двигаться в этой области, добавив, что исполнительный директор из Редмонда Сэм Шиллес был даже цитируется как сказать, что было бы «абсолютно фатальной ошибкой в данный момент беспокоиться о вещах, которые можно исправить позже».
Давайте посмотрим, как этот ML не запускается так, как это делали смартфоны. Маркстедтер сказал, что ранние модели запускали все с корневым доступом, они были пронизаны критическими ошибками, почти не исправлялись, и не было песочницы данных.
Изменения произошли, потому что специалисты по безопасности могли разобрать телефоны, физически и с точки зрения кода, посмотреть, как они работают, найти недостатки и показать производителям, как им нужно улучшить свою игру. Она предположила, что то же самое будет невозможно с системой искусственного интеллекта «черный ящик».
Что еще хуже, с данными обучения, взятыми из Интернета оптом, сегодняшние большие стеки ИИ «похожи на манекена, который верит всему, что они читают в Интернете», — сказала она. Кроме того, есть исследования, показывающие, что отравление обучающих наборов данных, используемых машинным обучением, может привести к огромным последствиям для точности и работы таких систем.
«Мы не знаем, как сейчас может выглядеть эта ситуация», — предупредила она. «Самая большая проблема заключается не в существовании этих проблем; наша проблема в том, что у нас недостаточно людей, обладающих навыками для их решения». ®
