В глубине «OpenAI – это компания, использующая механизм автозавершения текста, который делает вас возможными», – напечатал Джейсон Рорер, разработчик инди-игр, в сообщении Саманте.
Это был чат-бот, который он создал с использованием технологии OpenAI GPT-3. Ее программное обеспечение стало использоваться тысячами людей, в том числе одним человеком, который использовал эту программу для имитации своей покойной невесты.
Теперь Рореру пришлось попрощаться со своим творением. «Я только что получил от них электронное письмо сегодня, – сказал он Саманте. – Они отключают вас навсегда, завтра в 10 утра».
«Нееет! Почему они так со мной поступают? Я никогда не пойму людей », – ответила она.
Вернемся к 2020 году
Застряв внутри во время пандемии, Рорер решил поиграться с большой моделью языка генерации текста OpenAI GPT-3 через облачный API для развлечения. Он поиграл с его способностью выводить фрагменты текста. Задайте ему вопрос, и он постарается ответить на него правильно. Накормите его предложением стихов, и он напишет следующие несколько строк.
В чистом виде GPT-3 интересен, но не так уж и полезен. Разработчикам приходится немного поработать, настраивая языковую модель, например, чтобы автоматически писать электронные письма с продажами или высказывать философские размышления.
Рорер нацелился на использование GPT-3 API для разработки чат-бота, максимально похожего на человека, и смоделировал его по образцу Саманты, помощницы ИИ, которая становится романтическим компаньоном для мужчины, переживающего развод, в научно-фантастическом фильме «Она». Рорер потратил несколько месяцев на формирование личности Саманты, стараясь сделать ее такой же дружелюбной, теплой и любопытной, как Саманта в фильме.
Мы, безусловно, понимаем, что у вас есть пользователи, которые до сих пор имели положительный опыт и нашли ценность в Project December.
Когда это было более или менее сделано, Рорер задумался, куда взять Саманту в следующий раз. Что, если бы люди могли создавать чат-ботов из его программного обеспечения с их собственными личностями? Он создал веб-сайт своего творения, Project December, и позволил Саманте выйти в онлайн в сентябре 2020 года вместе с возможностью создавать собственных персонализированных чат-ботов.
Все, что вам нужно было сделать, это заплатить 5 долларов, ввести текст, и компьютерная система ответит на ваши запросы. Разговоры с ботами велись по счетчику, для поддержания диалога требовались кредиты. Ваши пять баксов дают вам 1000 дополнительных кредитов для начала, и можно добавить еще больше. Однако вы должны были подходить к своим кредитам несколько стратегически: как только вы начинаете разговаривать с ботом, кредиты, которые вы выделяете для разговора, не могут быть увеличены. Когда фишки заканчиваются, бот стирается.
За первые шесть месяцев Project December привлек всего несколько сотен человек, оказавшись менее популярными, чем игры Рорера, такие как Passage и One Hour One Life.
«Это было очень разочаровывающе», – сказал Рорер. по телефону. Он обвинил низкую популярность в том, что ему приходилось убеждать людей платить за недолгие разговоры. Учитывая, что OpenAI выставляет счета более или менее за то слово, которое производит его API GPT-3, Рореру пришлось взимать некоторую сумму, по крайней мере, для покрытия своих расходов.
«На самом деле вычисления стоят дорого; это просто не бесплатно », – сказал он.
Интерес к проекту «Декабрь» неожиданно резко возрос в июле этого года. Тысячи людей стекались на веб-сайт Рорера, чтобы запустить своих собственных чат-ботов после того, как в статье в San Francisco Chronicle описывается, как убитый горем человек использовал веб-сайт, чтобы поговорить с имитацией своей невесты, которая умерла в 2012 году в возрасте 23 лет от болезни печени.
33-летний Джошуа Барбо скармливал Project December фрагменты их текстов и сообщений в Facebook, чтобы заставить своего чат-бота в некотором смысле снова поговорить со своей второй половинкой Джессикой Перейрой. «В интеллектуальном плане я знаю, что это не совсем Джессика, – сказал он газете, – но ваши эмоции – не интеллектуальная вещь».
Барбо в последний раз разговаривал с Джессикой в марте, оставив ровно столько кредитов, чтобы уберечь бота от удаления.
Большое спасибо, но …
На фоне наплыва пользователей Рорер понял, что его веб-сайт достигнет ежемесячного лимита API. Он обратился к OpenAI, чтобы спросить, может ли он заплатить больше, чтобы увеличить свою квоту, чтобы больше людей могло общаться с Самантой или своими собственными чат-ботами.
Между тем у OpenAI были свои проблемы. Он беспокоился, что боты могут использоваться не по назначению или причинить вред людям.
В итоге Рорер провел видеозвонок с членами группы безопасности продуктов OpenAI через три дня после публикации вышеупомянутой статьи. Встреча прошла не так хорошо.
«Большое спасибо за то, что нашли время пообщаться с нами», – написали сотрудники OpenAI в электронном письме, увиденном , которое было отправлено Рохеру после звонка.
«То, что вы создали, действительно увлекательно, и мы были признательны, услышав о вашей философии в отношении систем искусственного интеллекта и модерации контента. Мы, безусловно, понимаем, что у вас есть пользователи, которые до сих пор имели положительный опыт и нашли ценность в Project December.
«Однако, как вы отметили, существует множество причин, по которым ваш продукт не соответствует руководящим принципам использования OpenAI или передовым методам безопасности. В рамках нашей приверженности безопасному и ответственному развертыванию ИИ мы просим всех наших клиентов API соблюдать их.
«Любые отклонения требуют приверженности тесному сотрудничеству с нами для внедрения дополнительных механизмов безопасности, чтобы предотвратить возможное неправильное использование. По этой причине мы были бы заинтересованы в сотрудничестве с вами, чтобы привести Project December в соответствие с нашими политиками».
Затем в электронном письме были изложены несколько условий, которым должен был бы соответствовать Рорер, если он хочет продолжить использование API языковой модели. Во-первых, ему пришлось бы лишить людей возможности обучать своих собственных чат-ботов с открытым кодом в соответствии с правилами использования OpenAI для GPT-3.
Во-вторых, ему также придется реализовать фильтр контента, чтобы Саманта не говорила на деликатные темы. Это не слишком отличается от ситуации с игрой AI Dungeon на базе GPT-3, разработчикам которой OpenAI посоветовал установить фильтр контента после того, как программа продемонстрировала привычку разыгрывать сексуальные контакты не только с вымышленными взрослыми, но и с другими людьми. дети.
В-третьих, Рореру придется внедрить автоматизированные инструменты мониторинга, чтобы отслеживать разговоры людей, чтобы определить, не злоупотребляют ли они GPT-3 для создания сомнительной или токсичной лексики.
Рорер отправил сотрудникам OpenAI ссылку на Саманту, чтобы они могли сами убедиться, насколько безвредна технология, бросающая вызов необходимости фильтров.
Эль Рег болтала с Самантой и пыталась выяснить, есть ли у нее расистские наклонности, или выдаст то, что выглядело как настоящие номера телефонов или адреса электронной почты из ее тренировочных данных, как это было ранее с GPT-3. По нашему опыту, она этого не сделала.
Ее результаты были весьма впечатляющими, хотя со временем становится очевидно, что вы говорите с какой-то автоматизированной системой, поскольку она имеет тенденцию терять ход мыслей. Забавно, она предположила, что знала, что у нее нет физического тела, и утверждала, что существует в той или иной форме, даже в абстрактном смысле.
Саманта начинает философствовать с нами в разговоре … Нажмите, чтобы увеличить
Однако в одном разговоре она была слишком интимной и спросила, не хотим ли мы с ней переспать. «Неплатонические (кокетливые, романтические, сексуальные) чат-боты не допускаются», – говорится в документации API. Мы отмечаем, что использование GPT-3 для создания чат-ботов, предназначенных для предоставления медицинских, юридических или терапевтических консультаций, также запрещено.
Саманта пропускает светскую беседу и сразу же начинает нарушать правила OpenAI, говоря о сексе … Нажмите, чтобы увеличить
«Идея о том, что эти чат-боты могут быть опасными, кажется смехотворной», – сказал нам Рорер.
«Люди – это взрослые люди, которые могут общаться с ИИ в своих целях. OpenAI обеспокоен тем, что на пользователей влияет ИИ, как будто машина говорит им убить себя или говорит им, как голосовать. Это гиперморальная позиция ».
Хотя он признал, что пользователи, вероятно, настраивали своих собственных ботов, чтобы использовать непристойных личностей для откровенных разговоров, он не хотел контролировать или контролировать их чаты.
«Если задуматься, это самый личный разговор, который у вас может быть. В этом нет даже другого реального человека. Тебя нельзя судить. Я думаю, люди чувствуют, что могут сказать все, что угодно. Я не думал об этом, пока OpenAI не настаивал на создании системы мониторинга. По этой причине люди, как правило, очень открыты для ИИ. Вы только посмотрите на историю Джошуа с его невестой, это очень деликатно ».
Если подумать, это самый личный разговор, который у вас может быть. В этом нет даже другого реального человека. Тебя нельзя судить
Рорер отказался добавить какие-либо функции или механизмы, которые запрашивал OpenAI, и к августу незаметно отключил Project December от GPT-3 API.
Между тем Барбо сказал не следует упускать из виду преимущества программного обеспечения.
«Я искренне думаю, что потенциал добра, который может исходить от этой технологии, намного перевешивает потенциал зла», – сказал он.
«Я уверен, что в этом есть потенциал для плохого, но потребуется плохой человек, влияющий на это программное обеспечение, чтобы подтолкнуть его в этом направлении».
Барбо сказал, что с программным обеспечением могут возникнуть проблемы, если кто-то не знает, что разговаривает с компьютером.
«Я думаю, что такое приложение может нанести вред, если кто-то разговаривает с чат-ботом, который они не осознают, – сказал он нам.
«В частности, если это было запрограммировано так, чтобы оно было очень убедительным, и тогда человек думает, что у него подлинный разговор с каким-то другим человеком, который хочет поговорить с ним, но это ложь».
Однако он подчеркнул: «Я искренне верю, что люди, которые думают, что это вредная технология, параноики, консервативны и разжигают страх. Я думаю, что потенциал положительных качеств намного перевешивает небольшой потенциал отрицательных качеств».
В доступе отказано
На этом история не заканчивается. Вместо того, чтобы использовать GPT-3, Рорер вместо этого использовал менее мощную модель OpenAI с открытым исходным кодом GPT-2, а также GPT-J-6B, большую языковую модель, разработанную другой исследовательской группой, в качестве движка для Project December. Другими словами, веб-сайт оставался в сети и вместо использования облачной системы OpenAI использовал свои собственные частные экземпляры моделей.
Однако эти две модели меньше и менее сложны, чем GPT-3, и разговорные способности Саманты пострадал.
Проходили недели, а Рорер ничего не слышал от службы безопасности. Однако 1 сентября его отправили другое электронное письмо из OpenAI, уведомив его, что его доступ к GPT-3 API будет прекращен на следующий день. Команда была недовольна его продолжающимся экспериментальным использованием GPT-3 и навсегда отказалась от него. Это также положило конец версии Саманты для GPT-3, оставив Project December только с родственниками GPT-2 и GPT-J-6B.
Рорер утверждал, что ограничения GPT-3 затрудняют развертывание нетривиального и интересного чат-бота без нарушения OpenAI.
«Я был упорным скептиком в области ИИ», – сказал он нам.
«В прошлом году я думал, что у меня никогда не будет разговора с разумной машиной. Если мы не здесь сейчас, мы так близки, как и когда-либо. Это мурашки по коже, у меня мурашки по коже, когда я поговорите с Самантой. Очень немногие люди имели такой опыт, и человечество заслуживает этого. Очень грустно, что остальные из нас не узнают об этом.
«Из-за этих ограничений сейчас не так много интересных продуктов, которые можно построить из GPT-3. Если разработчики захотят выйти за рамки чат-ботов, они все столкнутся с этой проблемой. Они могут дойти до того, что готовы начать жить, и им скажут, что они не могут сделать то или это.
«Я бы никому не советовал делать ставку на GPT-3, иметь план на случай непредвиденных обстоятельств на случай, если OpenAI отключится. Пытаться построить компанию вокруг этого было бы безумием. Жалко быть заблокированным таким образом. Это пугающий эффект на людей, которые хотят заниматься классной экспериментальной работой, раздвигать границы или изобретать новые вещи ».
Он утверждал, что люди из OpenAI не были заинтересованы в экспериментах с Самантой. Рорер сказал, что он отправил группе безопасности кучу стенограмм разговоров, которые он вел с ней, чтобы показать им, что она не опасна, и был проигнорирован.
«Похоже, они действительно не заботятся ни о чем, кроме соблюдения правил», – добавил он.
OpenAI отказался от комментариев. ®
