Вкратце Модели генерации текста в изображения с помощью ИИ сейчас в моде. Вы даете им простое описание сцены, например, «стервятник печатает на ноутбуке», и они придумывают иллюстрацию, похожую на это описание.
Во всяком случае, это теория. Но разработчики, имеющие специальный доступ к движку OpenAI для преобразования текста в изображение DALL·E 2, обнаружили всевозможные странности в поведении, в том числе то, что может быть скрытым, выдуманным языком.
Яннис Дарас, аспирант Техасского университета в Остине, поделился художественным произведением, созданным DALL·E 2, с учетом ввода: «Apoploe vesrreaitais ест Contarra ccetnxniams luryca tanniounons» — фраза, которая не имеет смысла для людей. Но машине казалось, что она постоянно генерирует изображения птиц, поедающих жуков. Дарас сделал следующее заявление:
В DALL·E 2 есть секретный язык.
«Apoploe vesrreaitais» означает «птицы».
«Contarra ccetnxniams luryca tanniounons» означает насекомых или вредителей.Подсказка: «Apoploe vesrreaitais, поедающий Contarra ccetnxniams luryca tanniounons» дает изображения птиц, поедающих жуков.
Нитка (1/н)🧵 pic.twitter.com/VzWfsCFnZo
— Яннис Дарас (@giannis_daras) 31 мая 2022 г.
Аспирант сказал, что примеры показали, что DALL·E 2 понимает какой-то таинственный язык, на котором «Apoploe vesrreaitais» означает птиц, а «Contarra ccetnxniams luryca tanniounons» — жуков или вредителей. Но другой исследователь по имени Бенджамин Хилтон проверил утверждения Дараса, добавив слова «3D-рендеринг» в ту же строку ввода. Вместо того, чтобы просто птички поедали жуков, Хилтон получила фотографии «вещей, связанных с морем». Подсказка «Contarra ccetnxniams luryca tanniounons» сама по себе также генерировала изображения случайных животных, а не жуков:
Начнем с некоторых основных утверждений.
1) @giannis_daras говорит, что «Contarra ccetnxniams luryca tanniounons» означает жуков или вредителей.
Это просто кажется неправильным.
Вот что я получу, если вставлю в DALL-E “Contarra ccetnxniams luryca tanniounons” – много разных животных.
(2/15) pic.twitter.com/RGHeRw1pmb
— Бенджамин Хилтон (@benjamin_hilton) 31 мая 2022 г.
Изменение входных данных путем добавления случайных слов к исходной подсказке «Apoploe vesrreaitais поедает Contarra ccetnxniams luryca tanniounons» заставляет DALL·E 2 создавать странные изображения бабушек, жуков или овощей. Хилтон считает, что это показывает, что модель не имеет тайного понимания какого-то неизвестного языка, а вместо этого демонстрирует случайный характер ИИ. Почему именно DALL·E 2 связывает эти изображения с тарабарщиной, остается неясным.
Орегон отказывается от алгоритма защиты детей
Сообщения об алгоритме с расовой предвзятостью, используемом для помощи социальным работникам в принятии решения о расследовании семей на предмет безнадзорности детей, побудили чиновников в Орегоне отказаться от аналогичного инструмента, который они использовали с 2018 года.
Расследование, проведенное Associated Press, показало, что автоматизированный инструмент проверки, используемый в округе Аллегейни, штат Пенсильвания, с большей вероятностью рекомендовал чернокожих детей для «обязательного» расследования отсутствия заботы, чем белых детей. Работники службы защиты детей в Орегоне использовали аналогичное программное обеспечение для расчета показателей риска для разных семей, причем более высокие баллы означают, что родители или опекуны с большей вероятностью будут подвергаться тщательному анализу за пренебрежение своими детьми.
Но теперь официальные лица решили отказаться от этого инструмента и прекратят его использование к концу этого месяца. Джейк Сандерленд, представитель Департамента социальных служб штата Орегон, заявил AP, что в алгоритме «больше нет необходимости». Он не объяснил, почему он был удален.
Однако штат Орегон не собирается полностью отказываться от автоматизированных средств проверки. Его существующий алгоритм будет заменен другим, называемым моделью структурированного принятия решений. Еще один инструмент, который помогает решить, должны ли приемные дети воссоединяться со своими семьями, был приостановлен.
Вице-президент Meta по искусственному интеллекту уходит
Вице-президент Meta по искусственному интеллекту покидает свою должность руководителя исследовательской группы машинного обучения Zuck & Co., FAIR, поскольку организация перетасовывает внутренние команды.
Проработав в сфере социальных сетей более четырех лет, Джером Пезенти уйдет в середине июня. «Мы благодарны за невероятную работу, которую Джером проделал за последние 4 с лишним года по созданию, руководству и масштабированию функции искусственного интеллекта мирового класса для Meta», — заявил на этой неделе технический директор компании Эндрю Босворт.
«FAIR по-прежнему будет иметь невероятно сильное руководство с Жоэль Пино, Антуаном Бордесом и Яном ЛеКуном».
В рамках перестановки Meta разделяет команды FAIR, чтобы они могли присоединиться к другим отделам, занимающимся продуктовой стороной бизнеса. Например, подразделение Responsible AI будет объединено с командой Social Impact, а команда AI4AR присоединится к команде XR в Reality Labs.
«Более централизованные подходы наталкиваются на свои ограничения, когда последняя миля оказывается слишком далекой для нижестоящих команд, чтобы сократить разрыв. С этой новой структурой команды мы рады раздвинуть границы возможностей ИИ и использовать его для создания новых функций. и продукты для миллиардов людей», — заключил Босворт.
Оклеветал ИИ?
Что произойдет, если вас оклеветает код интернет-гиганта? Вы можете подать в суд? На кого вы судитесь? Имеет ли значение, действует ли Первая поправка Америки?
Гуру кибербезопасности Маркус Хатчинс, известный прежде всего тем, что остановил эпидемию программы-вымогателя WannaCry, иногда ошибочно называют Googleпоисковой системы как создателя так называемого крипто-червя. Хатчинс сказал, что поиск его имени в Google возвращал автоматически сгенерированный отрывок текста в результатах поиска, в котором неверно указывалось, что он был тем, кто разработал вредоносное ПО WannaCry.
Быть автоматически ошибочно помеченным Google в результатах поиска имеет заметный эффект, сказал он.
“С тех пор Google начал размещать эти SERP [search engine results pages]я получил огромный всплеск ненависти и даже угроз, основанных на том, что я создал WannaCry», — сказал он TechCrunch.
«Время моего судебного дела создает впечатление, что ФБР подозревало меня, но быстро [Google search] подтвердит, что это не так. Теперь есть все виды результатов SERP, которые подразумевают, что я это сделал, подтверждая подозрительность поисковика, и это нанесло мне довольно большой ущерб».
Хатчинс был арестован, обвинен и освобожден от тюремного заключения за разработку другого штамма вредоносного ПО, не связанного с WannaCry, когда он был подростком.
Googleязыковая модель не совсем понимает разницу. Представитель сказал, что гигант поисковой системы удалил сгенерированный текст для Хатчинса, чтобы конкретная проблема больше не возникала.
Но что, если ложные клеветнические высказывания касаются кого-то менее известного, чем Хатчинс? Что, если они окажут реальное негативное влияние на чьи-то будущие возможности? В настоящее время существует мало регулирования контента, созданного ИИ, и неясно, насколько хорошо это вписывается в сегодняшние законы о клевете. ®
