[ad_1]
Конференция ЮАР Любой, у кого есть ChatGPT, AI или LLM на карте RSA Conference Bingo, явно выигрывает на мероприятии этого года в Сан-Франциско, поскольку все они продолжают появляться снова и снова.
Показательный пример: основной доклад об ИИ во вторник, открывающий второй день конференции, посвященный этике, предубеждениям ИИ и галлюцинациям, а также тому, чему красные команды ИИ могут научиться у своих коллег по информационной безопасности. Красные команды искусственного интеллекта — это те, кто исследует и проверяет системы машинного обучения на наличие уязвимостей.
«Когда мы начали планировать эту панель, ChatGPT еще не существовало», — сказал Рам Шанкар Сива Кумар из Microsoft, с тоской вспоминая давнюю эпоху, около 2022 года, до того, как все изменилось.
Кумар, ковбой данных в инициативе Azure Trustworthy ML, основал в Редмонде группу специалистов по искусственному интеллекту. Во время основного доклада во вторник он и другие пионеры машинного обучения призвали организации взять пример со своих красных команд по информационной безопасности, чтобы найти и исследовать слабые места в программном обеспечении для машинного обучения.
Крупные компании или все, кто работает с системами искусственного интеллекта общего назначения, имеющими доступ к бизнес-приложениям и операциям, должны проводить стресс-тестирование этих систем и конвейеров, сказал Виджей Болина, директор по информационной безопасности в Googleисследовательской лаборатории искусственного интеллекта DeepMind. Это необходимо для того, чтобы эти модели ИИ нельзя было использовать или обмануть для причинения вреда в реальном мире — через приложения и службы, подключенные к коммуникационным платформам, платежным системам, онлайн-заказам и т. д.
Красная команда ИИ DeepMind сотрудничает с GoogleКрасная команда по машинному обучению и работает над «стресс-тестированием того, что мы создаем, не только на уровне алгоритмов, но и на уровне систем, технической инфраструктуры», — добавила Болина.
По словам Болины, злоумышленники «вероятно, будут использовать множество методов и атак, чтобы получить доступ к базовой системе». Из-за этого в красную команду ИИ должны входить специалисты по информационной безопасности и машинному обучению для проверки на наличие уязвимостей, некоторые из которых мы только начинаем обнаруживать и понимать.
Помимо выявления уязвимостей системы, красные команды ИИ должны также искать такие вещи, как предубеждения в моделях машинного обучения или триггеры галлюцинаций — когда ИИ просто уверенно выдумывает вещи, которые могут раздражать или даже опасны в зависимости от ситуации.
Румман Чоудхури была техническим директором команды Twitter по этике, прозрачности и подотчетности машинного обучения (META), где она участвовала в том, что она назвала первой в истории наградой за предвзятость. Команда Twitter подтвердила, что алгоритм искусственного интеллекта платформы для обрезки изображений отдает предпочтение людям, которые выглядят моложе, худее и имеют более светлую кожу, а также тем, кто здоров.
Это, конечно, было до того, как Илон Маск взял на себя ответственность и выпотрошил команду этического ИИ. С тех пор Чоудхури стал соучредителем некоммерческой организации Bias Buccaneers, которая запустила серию программ вознаграждения за ошибки, чтобы побудить сообщество выявлять предубеждения в инструментах ИИ.
«Как вы публично собираете полезные и новые хаки и предубеждения по конкретным вопросам, которые не относятся к области информационной безопасности и опыта в области искусственного интеллекта, а на самом деле относятся к предметной области и жизненному опыту людей», — спросил Чоудхури.
Красные команды ИИ должны не только предвидеть и отбиваться от злоумышленников, совершающих гнусные действия с нейронными сетями, но также должны учитывать влияние людей, развертывающих модели небезопасным способом.
Есть «благонамеренные люди, которые случайно совершают плохие поступки», — сказала она, и «ваш подход к решению этой проблемы меняется». Одно дело — укрепить свой API или предложение ИИ, чтобы его нельзя было легко использовать, но не забудьте добавить меры безопасности, чтобы кто-то случайно не снял эти средства защиты. ®
[ad_2]
