Британское шпионское агентство предостерегает от передачи LLM деликатных данных

Шпионское агентство правительства Великобритании предупреждает корпорации о рисках передачи конфиденциальных данных в общедоступные модели больших языков, включая ChatGPT, заявляя, что они открывают себя для мира потенциальной боли, если не будут правильно управляться.

Google, Microsoft и другие в настоящее время внедряют LLM — последнее повальное увлечение технологиями — в свои корпоративные продукты, а LLaMa от Meta недавно просочилась. Они впечатляют, но ответы могут быть ошибочными, и теперь штаб правительственных коммуникаций (GCHQ) хочет подчеркнуть аспект безопасности.

Авторы Дэвид С, технический директор по исследованию платформ, и Пол Дж., технический директор по исследованию данных, задаются вопросом: «Топят ли корабли незакрепленные подсказки?» Да, заключают они, в некоторых случаях.

Обычно беспокоит то, что LLM может «учиться» на запросах пользователей и предоставлять эту информацию другим, запрашивающим его по аналогичным вопросам.

«Здесь есть некоторый повод для беспокойства, но не по той причине, которую многие считают. В настоящее время LLM обучаются, а затем запрашивается полученная модель. LLM не (на момент написания) автоматически добавляет информацию из запросов в свою модель, чтобы другие могли запросить. То есть включение информации в запрос не приведет к включению этих данных в LLM».

Запрос будет виден поставщику LLM (OpenAI для ChatGPT), будет сохранен и «почти наверняка будет использован для разработки службы или модели LLM в какой-то момент. Это может означать, что поставщик LLM (или его партнеры/подрядчики) может читать запросы и может каким-то образом включать их в будущие версии. Таким образом, прежде чем задавать деликатные вопросы, необходимо тщательно изучить условия использования и политику конфиденциальности», — пишут дуэт GCHQW.

Агентство сообщает, что примеры конфиденциальных данных — вполне подходящие в нынешних условиях — могут включать в себя генерального директора, который спрашивает, «как лучше всего уволить сотрудника», или человека, задающего конкретные вопросы о здоровье или отношениях. Мы в Рег были бы обеспокоены — на многих уровнях — если бы руководитель спрашивал LLM об увольнениях.

Пара добавляет: «Еще один риск, который увеличивается по мере того, как все больше организаций выпускают LLM, заключается в том, что запросы, хранящиеся в Интернете, могут быть взломаны, просочились или, что более вероятно, случайно станут общедоступными. Это может включать потенциально идентифицируемую пользователем информацию. оператор LLM позже приобретается организацией с другим подходом к конфиденциальности, чем это было верно, когда данные вводились пользователями».

GCHQ далеко не первый, кто обратил внимание на возможность нарушения безопасности. Внутренние сообщения Slack от старшего главного юрисконсульта Amazon, с которыми ознакомился Insider, предупредили сотрудников не делиться корпоративной информацией с LLM, заявив, что были случаи ответов ChatGPT, которые кажутся похожими на собственные внутренние данные Amazon.

«Это важно, потому что ваши входные данные могут быть использованы в качестве обучающих данных для дальнейшей итерации ChatGPT, и мы не хотели бы, чтобы его выходные данные включали или напоминали нашу конфиденциальную информацию», — сказала она, добавив, что это уже было.

Исследование, проведенное Cyberhaven Labs в этом месяце, показывает, что конфиденциальные данные составляют 11 процентов информации, которую сотрудники вводят в ChatGPT. Они проанализировали использование ChatGPT 1,6 миллионами сотрудников в компаниях, использующих его службу защиты данных, и обнаружили, что 5,6% пробовали его хотя бы один раз на работе, а 11% вводили конфиденциальные данные.

JP Morgan, Microsoft и WalMart среди других корпораций предупреждают своих сотрудников о потенциальных опасностях.

Вернувшись в GCHQ, господа Дэвид С. и Пол Дж. советуют компаниям не вводить данные, которые они не хотели бы обнародовать, использовать LLM, предоставляемые в облаке, и быть в курсе политики конфиденциальности или использовать собственные LLM.

Мы попросили Microsoft, Google и OpenAI для комментариев. ®