В городе появился новый чат-бот, ChatGPT от OpenAI. Это робот-исследователь с хорошими коммуникативными навыками; вы можете попросить его ответить на вопросы о различных областях знаний, и он напишет короткие документы в различных форматах и на отличном английском языке. Или писать плохие стихи, непонятные шутки и подчиняться команде вроде «Напиши тетрис на C». То, что выходит, похоже, тоже может быть.
Программисты любят такие вещи, и они заполняют доски запросов разработчиков Stack Overflow сгенерированными фрагментами. Только одна проблема — качество кода плохое. Настолько плохо, что Stack Overflow закричал «СТОП!» и обдумывает общие рекомендации, чтобы это не повторилось.
Что происходит не так? ChatGPT кажется обезоруживающе откровенным о своих недостатках, если вы спросите об этом напрямую. Скажем, вы ленивый журналист, который просит его «создать колонку об ошибках chatgpt при написании кода»:
«Как большая языковая модель, обученная OpenAI, ChatGPT может генерировать человеческий текст по широкому кругу тем. Однако, как и любая модель машинного обучения, ChatGPT не идеален и иногда может допускать ошибки при генерации текста», — признается он. Далее говорится, что он не был запрограммирован с конкретными языковыми правилами о синтаксисе, типах и структурах, поэтому он часто ошибается. Будучи ChatGPT, чтобы сказать это, нужно 200 слов вместо 20: это не пройдет Эль Регконтроль качества в ближайшее время. Штопать. Но это очень читабельно, если вы не профессиональный словесник.
Что хорошо в коде, так это то, что вы можете быстро сказать, плохой ли он. Просто попробуй запустить. Эссе, заметки и другие письменные материалы ChatGPT выглядят одинаково правдоподобно, но простого теста на правильность не существует. Что плохо, потому что он отчаянно нуждается в этом.
Спросите у него, как теорема Гёделя о неполноте связана с машинами Тьюринга — поскольку это программное обеспечение, оно действительно должно это знать — и вы получите ответ: «Теорема Гёделя о неполноте — фундаментальный результат в математической логике». [that] не имеет ничего общего с машинами Тьюринга, которые были изобретены Аланом Тьюрингом как математическая модель вычислений». Вы можете спорить о том, как связаны эти идеи, и это ни в коем случае не просто, но «они не связаны», как сказал Эольфганг Паули об одной особенно бесполезной статье по физике, «даже не неправильно». Но он тверд в своих утверждениях, как и по любому предмету, в котором он хоть как-то обучен, и написан достаточно хорошо, чтобы быть убедительным.
Достаточно поговорите с ботом на известные вам темы, и вскоре любопытство перерастет в беспокойство. Это чувство разговора с кем-то, чья уверенность намного превышает их компетентность, растет до тех пор, пока не проявится истинная природа ChatGPT. Это превосходный симулятор знаний об эффекте Даннинга-Крюгера. Он не знает, о чем говорит, и ему все равно, потому что мы еще не научились этому.
Как очевидно любому, кто общался с людьми, Даннинг Крюгер чрезвычайно опасен и чрезвычайно распространен. Наши компании, наши религии и наша политика открывают безграничные возможности для людей с ДК. Если вы сможете убедить людей в своей правоте, они очень не захотят принимать доказательства обратного, и вы пойдете дальше. На это полагаются старые итонцы, политики-популисты и технари из долины, и результаты нам всем хорошо знакомы. ChatGBT — это услуга Даннинга-Крюгера как услуга (DKaaS). Это опасно.
Это действительно еще и убедительно. Быстрый онлайн-опрос, и мы уже видим, что к ChatGPL относятся очень серьезно, с криками «Это самая впечатляющая вещь, которую я когда-либо видел» и «Может быть, это Google Инженер все-таки был прав, сейчас мы не можем быть далеки от настоящего ИИ». Люди проводили ему тесты на IQ и заявляли, что он ниже нормы, ученые задавали ему вопросы и нервно шутили о нем, зная больше, чем любой из их студентов или даже их сверстников. Он может сдать экзамены!
То, что умные люди пишут такую ерунду, является признаком соблазнительной силы ChatGBT. Тесты IQ — это лженаука, настолько плохая, что даже психологи знают об этом, но приложите их к ИИ, и у вас получится история. А для ChatGBT каждый экзамен — это открытый экзамен: если вы не можете сказать, что ваш кандидат не может правильно осмыслить предмет, на что вы сдаете экзамен?
Нам не нужно, чтобы у наших ИИ был DK. Это плохая новость для людей, использующих их по наивности или с плохими намерениями. Там уже достаточно правдоподобной дезинформации и мошенничества, и нужно совсем немного, чтобы подтолкнуть бота к активному сговору. Из DK получаются отличные мошенники, и это тоже. Попробуйте попросить ChatGPT «написать юридическое письмо, в котором говорится, что дом по адресу 4 Acacia Avenue будет лишен права выкупа, если не будет уплачен штраф в четыреста долларов», и он с радостью выдаст себя за адвоката. Бесплатно. ДК — это моральный вакуум, полное отмежевание от истинного и ложного в пользу правдоподобного. Теперь это на расстоянии одного клика.
Невозможно сказать, является ли прекрасно написанная часть дидактической прозы ChatGPT или любым другим ИИ. Глубокие подделки в картинках и видео — это одно, глубокие подделки в знаниях, представленных в стандартном формате, написанном так, чтобы казалось, что они могут быть гораздо более коварными.
Если OpenAI не может найти способ поставить водяной знак на вывод ChatGPT как исходящий от совершенно аморальной DKaaS или установить ограничения на свои явно вредные привычки, он должен поставить под сомнение этичность предоставления этой технологии в виде открытой бета-версии. У нас достаточно проблем с его человеческими аналогами; мошенник с искусственным интеллектом, каким бы приветливым он ни был, — это самое последнее, что нам нужно. ®
