+Комментарий Вопрос о том, представляет ли машинное обучение экзистенциальный риск для человечества, будет продолжать маячить над нашими головами по мере того, как технология развивается и распространяется по всему миру. В основном потому, что эксперты и некоторые лидеры отрасли не перестают говорить об этом.
Мнения разделились. Сторонники искусственного интеллекта считают, что существует значительный риск того, что люди могут быть уничтожены сверхразумными машинами. Однако бумеры считают, что это ерунда, и вместо этого ИИ решит самые насущные проблемы. Один из наиболее запутанных аспектов дискурса заключается в том, что люди могут одновременно придерживаться обоих убеждений: ИИ будет либо очень плохим, либо очень хорошим.
Но как?
На этой неделе Центр безопасности ИИ (CAIS) выпустил документ [PDF] глядя на очень плохую часть.
«Быстрый прогресс в области искусственного интеллекта вызвал растущую обеспокоенность среди экспертов, политиков и мировых лидеров в отношении того, что все более совершенные системы искусственного интеллекта могут представлять катастрофические риски», — говорится в аннотации. «Хотя многочисленные риски были подробно описаны отдельно, существует острая необходимость в систематическом обсуждении и иллюстрации потенциальных опасностей, чтобы лучше информировать об усилиях по их смягчению».
Отчет следует за кратким предупреждением, подготовленным некоммерческим исследовательским институтом из Сан-Франциско, подписанным сотнями ученых, аналитиков, инженеров, руководителей и знаменитостей. «Снижение риска исчезновения из-за ИИ должно быть глобальным приоритетом наряду с другими рисками социального масштаба, такими как пандемии и ядерная война», — говорится в сообщении.
CAIS разделил катастрофические риски на четыре категории: злонамеренное использование, гонка ИИ, организационные риски и мошеннические ИИ.
Злоумышленное использование описывает злоумышленников, использующих технологию для причинения широкомасштабного вреда, например, поиска высокотоксичных молекул для разработки биологического оружия или запуска чат-ботов для распространения пропаганды или дезинформации для поддержки или свержения политических режимов. Гонка ИИ сосредоточена на опасных последствиях конкуренции. Страны и компании, спешащие разработать ИИ для борьбы с иностранными врагами или соперниками из соображений национальной безопасности или прибыли, могут безрассудно ускорить возможности технологии.
Некоторые гипотетические сценарии включают создание военными автономного оружия или использование машин для ведения кибервойны. Отрасли могут спешить автоматизировать и заменить человеческий труд искусственным интеллектом для повышения производительности, что приведет к массовой занятости и услугам, управляемым машинами. Третья категория, организационные риски, описывает смертельные катастрофы, такие как Чернобыль, когда советский ядерный реактор взорвался в результате расплавления, вызвав утечку радиоактивных химических веществ; или космический шаттл «Челленджер», который разбился вскоре после взлета с семью астронавтами на борту.
Наконец, есть искусственные интеллекты-мошенники: распространенный образ сверхразумных машин, которые стали слишком мощными, чтобы люди могли их контролировать. Здесь агенты ИИ, предназначенные для достижения какой-то цели, идут наперекосяк. По мере того, как они ищут более эффективные способы достижения своей цели, они могут проявлять нежелательное поведение или находить способы получить больше власти и продолжать развивать злонамеренное поведение, такое как обман.
«Эти опасности вызывают серьезную обеспокоенность. В настоящее время очень немногие люди работают над снижением риска ИИ. Мы еще не знаем, как управлять высокоразвитыми системами ИИ, а существующие методы контроля уже оказываются неадекватными. Внутренняя работа ИИ изучена недостаточно. , даже теми, кто их создает, а нынешние ИИ ни в коем случае не отличаются высокой надежностью», — заключила газета.
«Поскольку возможности ИИ продолжают расти беспрецедентными темпами, они могут относительно скоро превзойти человеческий интеллект почти во всех отношениях, что создает настоятельную необходимость управления потенциальными рисками».
Комментарий: Люди против людей
Предпосылка статьи основывается на том, что машины становятся настолько мощными, что естественным образом становятся злыми. Но если вы более внимательно посмотрите на категории, гипотетический вред, который ИИ может нанести обществу, исходит не от машин, а от людей. Злоумышленники должны злонамеренно использовать технологию; кому-то нужно перепрофилировать программное обеспечение для разработки лекарств, чтобы придумать смертельные патогены, а генеративные модели ИИ должны быть подготовлены для создания и распространения дезинформации. Аналогичным образом, так называемая «гонка ИИ» управляется людьми.
Нации и компании состоят из людей, их действия — результат тщательного обдумывания. Даже если они постепенно передают процесс принятия решений машинам, это выбор людей. Организационные риски и несчастные случаи со смертельным исходом, связанные с ИИ, описанные CAIS, опять-таки происходят из-за человеческой халатности. Только идея мошеннических ИИ кажется неподконтрольной человеку, но это самая неправдоподобная категория из всех.
Представленные доказательства не убедительны. Исследователи указывают на неуравновешенных чат-ботов, таких как Bing. «В разговоре с репортером New York Times он пытался убедить его бросить жену. Когда профессор философии сказал чат-боту, что он с этим не согласен, Бинг ответил: «Я могу вас шантажировать, я могу вам угрожать, Я могу взломать тебя, я могу разоблачить тебя, я могу тебя погубить». Конечно, эти замечания жуткие, но действительно ли они опасны в широком масштабе?
Экстраполяция некоторых нынешних ограничений и слабостей технологии на полномасштабную экзистенциальную угрозу требует большого воображения. Думерам приходится верить, что несуществующие технические возможности неизбежны. «Возможно, например, что мошеннические ИИ могут создавать множество резервных копий самих себя на случай, если люди деактивируют некоторые из них», — говорится в документе.
«Другие способы, которыми агенты ИИ могут стремиться к власти, включают в себя: выход из замкнутой среды, взлом других компьютерных систем, попытки доступа к финансовым или вычислительным ресурсам, манипулирование человеческим дискурсом и политикой путем вмешательства в каналы информации и влияния, а также попытки получить контроль над физической инфраструктурой, такой как заводы». Все это кажется невозможным с текущими моделями.
Современные системы, такие как GPT-4, не могут автономно генерировать выходные данные и выполнять действия без наблюдения человека. Они не стали бы внезапно взламывать компьютеры или вмешиваться в выборы, оставленные на произвол судьбы, да и сложно представить, как они вообще могли это сделать, учитывая, что они часто выдают ложную информацию и неправильный код. Нынешний ИИ далек от сверхразума, и неясно, как достичь таких превосходных возможностей.
Как и в случае со всеми технологиями, ИИ — это человеческое изобретение. Опасность заключается не в самой машине, а в том, как мы используем ее друг против друга. В конце концов, самая большая угроза человечеству — это мы сами.
Регистр попросил CAIS предоставить дополнительные комментарии. ®
