Проект Open Worldwide Application Security Project (OWASP) опубликовал список наиболее распространенных проблем безопасности в приложениях с большой языковой моделью (LLM), чтобы помочь разработчикам безопасно реализовать свой код.
LLM включают базовые модели машинного обучения, такие как OpenAI GPT-3 и GPT-4, GoogleBERT и LaMDA 2, а также RoBERTa от Meta/Facebook, которые были обучены работе с огромными объемами данных — текстом, изображениями и т. д. — и развернуты в таких приложениях, как ChatGPT.
OWASP Top 10 for Large Language Model Applications — это проект, в котором каталогизированы наиболее распространенные ловушки безопасности, чтобы разработчики, специалисты по данным и эксперты по безопасности могли лучше понять сложности работы с LLM в их коде.
Стив Уилсон, директор по продуктам Contrast Security и руководитель проекта OWASP, сказал, что более 130 специалистов по безопасности, экспертов по искусственному интеллекту, лидеров отрасли и ученых внесли свой вклад в список потенциальных проблем. OWASP предлагает другие сборники по безопасности программного обеспечения, например, этот о недостатках веб-приложений и этот о грубых ошибках API, если вы не в курсе.
«Топ-10 OWASP для приложений LLM версии 1.0 предлагает практические и действенные рекомендации, которые помогут разработчикам, специалистам по данным и командам по безопасности выявлять и устранять уязвимости, характерные для LLM», — написал Уилсон в LinkedIn.
«Создание этого ресурса включало в себя исчерпывающий мозговой штурм, тщательное голосование и вдумчивую доработку. Он представляет собой практическое применение разнообразного опыта нашей команды».
Все еще есть некоторые сомнения в том, что LLM в том виде, в котором они сформулированы в настоящее время, действительно могут быть защищены. Такие проблемы, как быстрое внедрение — запрос LLM таким образом, что он отвечает нежелательным образом, — можно смягчить с помощью «заграждений», которые блокируют вредоносный вывод.
Но для этого необходимо заранее предвидеть, что должно быть заблокировано от модели, которая, возможно, не раскрыла свои обучающие данные. И, возможно, удастся обойти некоторые из этих защит.
В проектной документации это ясно указано: «Уязвимости, связанные с оперативным внедрением, возможны из-за природы LLM, которые не отделяют инструкции и внешние данные друг от друга. Поскольку LLM используют естественный язык, они рассматривают обе формы ввода как предоставленные пользователем. Следовательно , в LLM нет надежной защиты…»
Тем не менее, проект OWASP предлагает некоторые методы смягчения последствий. Его цель — дать разработчикам несколько вариантов, чтобы модели, обученные работе с токсичным контентом, не выбрасывали такие вещи, когда их об этом просили, и помнить о других потенциальных проблемах.
Список [PDF] является:
- LLM01: Быстрая инъекция
- LLM02: небезопасная обработка вывода
- LLM03: отравление обучающих данных
- LLM04: модель отказа в обслуживании
- LLM05: Уязвимости цепочки поставок
- LLM06: Разглашение конфиденциальной информации
- LLM07: Небезопасный дизайн плагина
- LLM08: Чрезмерная свобода воли
- LLM09: Чрезмерная уверенность
- LLM10: Кража моделей
Некоторые из этих рисков актуальны не только для тех, кто имеет дело с LLM. Уязвимости цепочки поставок представляют собой угрозу, которая должна беспокоить каждого разработчика программного обеспечения, использующего сторонний код или данные. Но даже в этом случае те, кто работает с LLM, должны знать, что обнаружить фальсификацию в сторонней модели черного ящика сложнее, чем в удобочитаемом открытом исходном коде.
Точно так же каждый разработчик должен знать о возможности раскрытия конфиденциальных данных/информации. Но опять же, очистка данных в традиционных приложениях, как правило, является более известной величиной, чем в приложениях, включающих LLM, обученных на нераскрытых данных.
Помимо перечисления конкретных рисков, которые необходимо учитывать, список OWASP также должен помочь разработчикам ознакомиться с рядом сценариев атак на основе LLM, которые могут быть неочевидными, поскольку они относительно новы и не так часто обнаруживаются в дикой природе. как заурядные атаки на веб-сайты или приложения.
Например, предлагается следующий сценарий отравления обучающими данными: «Злоумышленник или бренд-конкурент намеренно создает неточные или вредоносные документы, нацеленные на данные обучения модели. Модель-жертва обучается, используя фальсифицированную информацию, которая отражается в выходных данных генеративного ИИ подсказывает своим потребителям».
Такое вмешательство, широко обсуждаемое в академических исследованиях в области компьютерных наук, вероятно, не будет главной задачей для создателей программного обеспечения, заинтересованных в добавлении возможностей чата в приложение. Цель проекта OWASP LLM состоит в том, чтобы исправить такие сценарии. ®
