ОТУ Вооруженный ИИ, который выходит за рамки дипфейков Зеленского и не дает спать по ночам некоторым исследователям безопасности и специалистам по данным.
«Мы должны ожидать, что ИИ станет оружием и будет использоваться для совершения атак, так что атака, с которой вы сталкиваетесь, сама пытается адаптироваться в режиме реального времени к контрмерам, которые вы принимаете», — сказал почетный профессор Орегонского государственного университета Томас Диттерих во время конференции. панельная дискуссия на этой неделе в Nvidia GTC.
— Это довольно пугающе, — продолжил он. «Нам нужно начать готовиться к такого рода атакам».
Нам нужно начать готовиться к такого рода атакам
Интересный момент, хотя когда начнутся атаки такого рода — от вторжения в сеть до вирусной дезинформации — мы не уверены. Прямо сейчас злоумышленники прекрасно справляются со старыми добрыми фишинговыми электронными письмами, поддельными установщиками, украденными или купленными учетными данными, социальной инженерией и поддельными онлайн-сообщениями.
Тем временем главный научный сотрудник Sophos Джошуа Сакс указал на созданные российским правительством поддельные учетные записи в социальных сетях, которые использовались для распространения антиукраинской пропаганды с начала войны. «Это выглядит очень убедительно», — сказал он. «И это почти бесплатно».
Хотя это краткосрочный взгляд на вооруженный ИИ, добавление языковых моделей к арсеналу машинного обучения и разработка более совершенных ботов для социальных сетей, вероятно, разожгут хаос, который могут создать национальные государства и киберпреступники, добавил Сакс. «Подобная дезинформация — большая проблема».
Однако защитники также могут использовать науку о данных и искусственный интеллект, чтобы не допустить злоумышленников в свои сети. «Есть несколько зрелых приложений ИИ в кибербезопасности, и все они сосредоточены на дополнении традиционных подходов к обнаружению в кибербезопасности моделями машинного обучения», — сказал Сакс.
Он добавил, что большинство поставщиков систем безопасности уже делают это и дополняют обнаружение на основе сигнатур моделями машинного обучения. «Будь то обнаружение фишинговых писем и обнаружение вредоносных двоичных программ или обнаружение вредоносных скриптов. Это зрелые приложения. Мы знаем, как создавать такие модели».
Он добавил, что еще есть возможности для их улучшения, но это скорее инженерная задача.
Кроме того, есть более «передовые» приложения ИИ, которые разрабатывают Sophos и другие фирмы, занимающиеся безопасностью. Сакс сказал, что его бизнес работает над обратной связью между собственными аналитиками безопасности, которые защищают сети Sophos и клиентов и модели машинного обучения.
Петли обратной связи
«Эти модели похожи на рекомендательные системы, — объяснил он. «Они рекомендуют оповещения аналитикам, расставляют приоритеты оповещения и тому подобное. Есть множество областей, которые проверяют границы возможного».
Но не исключайте аналитиков из этой петли обратной связи, добавил Диттерих.
Традиционное контролируемое обучение может научить машины тому, как выглядит фишинговое электронное письмо по сравнению с обычным, «безопасным» электронным письмом, чтобы они могли обнаружить вредоносное письмо. И хотя алгоритмы машинного обучения могут поддерживать обнаружение новшеств — их можно использовать для обнаружения нулевых дней или других новых атак — «классической проблемой являются ложные тревоги», — сказал Диттерих.
«Частота ложных срабатываний может быть очень серьезной», — продолжил он. «В конце концов, вы ищете, может быть, одну иголку на 10 000 стогов сена».
Здесь в игру вступает аналитик. «Мы рекомендуем, чтобы аналитик взглянул на этот процесс, или на этот файл, или на эту часть журнала, а затем аналитик может дать нам обратную связь и сказать, что это ложная тревога или что это интересно. Покажите мне больше таких. “
По словам Диттериха, с учетом отзывов аналитиков уровень ложных срабатываний обычно снижается с 80 или 90 процентов до примерно 10 процентов. «Он по-прежнему высок, он по-прежнему дорог, но становится доступным для использования».
Эти высокие показатели ложных срабатываний подчеркивают важность обучения машин отличать ненормальное поведение от нормального поведения.
ИИ для обнаружения внутренних угроз
Диттерих работал над несколькими инициативами Агентства перспективных исследовательских проектов Министерства обороны США (DARPA) в отношении внутренних угроз и обнаружения сложных постоянных угроз в сетях. DARPA — это агентство Министерства обороны США, занимающееся разработкой новейших технологий для вооруженных сил, и в рамках одного из этих проектов команда наблюдала за ненормальным поведением 5000 государственных служащих.
«Может быть случай, когда 80 процентов сотрудников в один и тот же день посещают веб-сайт, который они никогда не посещали раньше», — сказал он. «Оказывается, это требование отдела кадров, что они должны посетить его, но вы не хотите превращать это в ложную тревогу. Так что вам действительно нужно нормализовать сотрудников друг против друга».
Однако нормальное поведение системного администратора отличается от нормального поведения научного сотрудника, поэтому для этого требуется определить внутри организации «подсообщества», которые ведут себя сходным образом, и отслеживать поведение этих небольших групп с течением времени.
«Выполняя нормализацию таким образом, вы можете отфильтровать множество ложных тревог и шума», — добавил Диттерих. этот человек подозрительный. Нужно сказать вот почему, и дать какое-то объяснение».
И еще один полезный совет: не позволяйте обнаружению на основе ИИ оттолкнуть топ-менеджеров.
«Одним из рисков использования статистических аномалий в качестве основы для выявления атак является то, что если вы относитесь к небольшой группе населения в более крупной организации, все, что вы делаете, будет выглядеть странно по сравнению с большинством», — Диттерих. Это подвергает эти небольшие подгруппы риску стать основным источником ложных тревог, потому что «машинное обучение имеет тенденцию наказывать необычных людей».
В корпоративной среде «редчайшими пользователями являются топ-менеджеры», добавил он. «И они очень недовольны, если мы продолжаем их отключать, потому что мы думаем, что они атакуют организацию из-за ложных срабатываний машинного обучения». ®
