Саммит DataGrail Генеративный ИИ — это неизведанная территория, и желающие исследовать ее должны осознавать опасности, предупредил магазин конфиденциальности DataGrail на своем саммите на этой неделе в Сан-Франциско.
Практически каждый бизнес, использующий технологии, сталкивается с растущим давлением использования GenAI – и многие опасаются, что, если они отстанут от этой тенденции, они могут проиграть более инновационным конкурентам, которые создали какой-то инструмент или продукт, который даст им конкурентное преимущество. Но наряду со своими преимуществами генеративный ИИ порождает множество проблем, которые предприятия еще не понимают и не знают, как решить.
Например, большие языковые модели могут раскрывать конфиденциальную, частную информацию, содержащуюся в их обучающих данных. Чтобы выполнять такие задачи, как ответы на запросы, обобщение документов или написание кода, им приходится поглощать огромные объемы контента.
Юридические фирмы, банки или больницы будут обучать модели конфиденциальным данным, содержащим личную информацию, финансовые данные и медицинские записи. Как они могут защитить информацию о клиентах и свою собственную интеллектуальную собственность от случайной утечки?
Разработчик в Samsung фактически предоставил ChatGPT собственный исходный код, надеясь, что это поможет найти ошибки. С тех пор руководители Apple, JPMorgan Chase и Amazon запретили работникам использовать ChatGPT и подобные ему инструменты внутри компании из-за опасений, что создатель программного обеспечения OpenAI может обучаться на их данных и раскрывать их коммерческие тайны.
«Это немного похоже на первые дни безопасности программного обеспечения», — сказал Алекс Стамос, соучредитель Krebs Stamos Group, консалтинговой компании по кибербезопасности и бывший директор по безопасности Facebook. Регистр на саммите.
«Вы знаете, в начале 2000-х годов были компании, у которых была линейка бизнес-приложений, или даже продуктовые команды без централизованного контроля безопасности.
«И мы как бы вернулись к этому вопросу с ИИ. Если вы спросите совет директоров: «Как вы думаете, каковы ваши риски?» они понятия не имеют. Или, если они попросят своих руководителей рассказать им, что происходит, они почти никогда не смогут получить точный ответ».
Разработчики генеративных моделей ИИ вселяют надежду на немного лучшую безопасность и конфиденциальность для предприятий — например, OpenAI пообещала шифровать, а не обучать текст в разговорах между своим чат-ботом и клиентами ChatGPT Enterprise. Но это не решает другие проблемы этой технологии, такие как ее склонность генерировать ложную информацию – явление, известное как «галлюцинации».
Джошуа Браудер, генеральный директор DoNotPay – стартапа, который разработал так называемого «робота-юриста», который автоматически помогает потребителям делать такие вещи, как оспаривание штрафов за парковку, используя ИИ для составления электронных писем или официальных жалоб, – сказал, что фактические ошибки сделают некоторые услуги неэффективными.
«Кто несет ответственность за галлюцинации? Я думаю, это самое главное», — сказал он. Регистр. «Представьте, что вы пытаетесь обжаловать списание средств со своего счета за Интернет и [the AI] сказал, что было пять перебоев в обслуживании, хотя их не было. Если вы используете инструмент, а он лжет, кто несет за это юридическую ответственность? Это поставщик модели? Или компания его использует? Это потребитель?»
Что еще хуже, чат-боты могут в конечном итоге извергать неуместные ответы, которые могут быть токсичными или предвзятыми, что может нанести ущерб репутации компаний, использующих их для взаимодействия с клиентами. Меры безопасности, такие как фильтры контента, могут блокировать ругательства и вредоносные запросы, но они не всегда работают.
«Мы еще не знаем, что пойдет не так с ИИ», — сказал Стамос. «Это похоже на 90-е годы, когда основные уязвимости, существующие в программном обеспечении, еще даже не были обнаружены. У нас были ситуации, когда каждый год проходило выступление BlackHat или одно выступление на DEF CON, которое произвело бы полную революцию в отрасли». потому что внезапно выяснилось, что исследование одного вида дефектов, проведенное одним человеком, применимо к тысячам различных продуктов.
«И именно здесь мы с ИИ можем придумать новый способ манипулировать системой, чтобы сделать что-то вредное или нарушить ее обещания, и вы не можете к этому подготовиться, потому что никто не знал, что такого рода проблемы существовали раньше.
«Другая проблема в том, что эти системы настолько невероятно сложны – очень немногие люди понимают, как они на самом деле работают. Эти вещи настолько недетерминированы и настолько сложны, что попытка предсказать, какие плохие вещи могут произойти, невозможна».
Наконец, существуют и другие риски при использовании генеративного ИИ, например, проблемы с авторским правом. Многие инструменты обучены на данных, полученных из Интернета, и создатели контента боятся, что на них могут подать в суд за создание контента на основе защищенных произведений, таких как книги, песни или произведения искусства. Ранее в этом месяце Microsoft заявила, что будет защищать платящих клиентов, если они столкнутся с судебными исками по поводу авторских прав за использование инструментов Copilot.
Контент, созданный с помощью ИИ, не может быть защищен законом в соответствии с действующими законами об авторском праве в США. Может ли разработчик запатентовать изобретение, если оно содержит код, созданный с помощью большой языковой модели? Coca-Cola недавно выпустила ароматизатор безалкогольного напитка, который, как сообщается, был создан искусственным интеллектом. Рецепт держится в секрете, но если бы другая компания смогла его повторить, можно ли было бы его продать?
Эти загадки трудно решить. Сейчас слишком много неизвестных, и они затрагивают различные отделы внутри организаций, которые, возможно, не привыкли работать вместе – например, юридический отдел, отдел обеспечения соответствия требованиям, маркетинг, продажи и ИТ. Важно осознавать, что опасности существуют, и быть готовыми, когда они возникнут. ®
