Глубокие фейковые видео в реальном времени, провозглашенные вестниками новой эры интернет-неуверенности, по-видимому, имеют фундаментальный недостаток: они не могут обрабатывать сторонние профили.

Такой вывод сделан в отчете [PDF] от Metaphysic.ai, которая специализируется на 3D-аватарах, технологии дипфейков и рендеринге 3D-изображений из 2D-фотографий. В тестах, проведенных с использованием популярного приложения для создания дипфейков в реальном времени DeepFaceLive, резкий поворот в сторону сделал очевидным, что человек на экране не тот, кем кажется.

В тесте использовалось несколько моделей — несколько из сообществ дипфейков и модели, включенные в DeepFaceLive, — но 90-градусный обзор лица вызывал мерцание и искажение, поскольку сеть выравнивания лица, используемая для оценки поз, изо всех сил пыталась понять, что она видит.

«Большинство алгоритмов выравнивания лица, основанных на 2D, назначают только 50-60 процентов количества ориентиров от вида лица спереди до вида профиля», — сказал участник Metaphysic.ai Мартин Андерсон, написавший сообщение в блоге исследования.

Не имея возможности видеть достаточное количество контрольных точек, программное обеспечение просто не знает, как спроецировать свое фальшивое лицо.

Срыв дипфейков

Всего за несколько лет дипфейки продвинулись от способности накладывать лица на изображения до того же в предварительно записанном видео. Последние достижения позволяют менять лица в режиме реального времени, что привело к увеличению количества дипфейков, используемых в онлайн-мошенничестве и киберпреступности.

Исследование VMware показало, что две трети респондентов столкнулись с вредоносными дипфейками в рамках атаки, что на 13% больше, чем в предыдущем году. Note что исследование VMware не указывало, были ли дипфейковые атаки, с которыми столкнулись респонденты, предварительно записанными или в реальном времени, и имело размер выборки всего 125 человек.

В июне ФБР предупредило о мошенниках, использующих технологию дипфейка во время удаленных собеседований. По словам ФБР, те, кто использует эту технику, были замечены на собеседованиях для получения конфиденциальных вакансий, которые дадут им доступ к данным клиентов и частной информации бизнеса.

По данным стартапа Sensity AI, занимающегося борьбой с онлайн-мошенничеством, дипфейковые видео также использовались для обмана программного обеспечения для распознавания лиц в реальном времени. Тесты Sensity показали, что девять из десяти приложений поставщиков были успешно разблокированы с помощью видео, измененного дипфейком, которое транслировалось с мобильного телефона.

Опасения по поводу этой технологии стали достаточно серьезными, чтобы Европейский союз принял законы, налагающие штрафы на компании, которые не в состоянии в достаточной мере бороться с дипфейками и другими источниками дезинформации. Китай также разработал законы о дипфейках, которые угрожают юридическим наказанием за неправомерное использование технологии, а также требуют предоставления разрешения на любое законное использование дипфейков, которое Китай называет «глубоким синтезом».

Обходной путь, как долго?

Согласно отчету Metaphysic, даже такая технология, как нейронное поле излучения Nvidia (NeRF), которая может генерировать 3D-сцену всего из нескольких неподвижных изображений, имеет ограничения, из-за которых сложно получить хороший вид сбоку.

NeRF «теоретически могут экстраполировать любое количество ракурсов лица всего из нескольких изображений. [However] проблемы, связанные с разрешением, подвижностью лица и временной стабильностью, мешают NeRF создавать обширные данные, необходимые для обучения модели автоэнкодера, которая может хорошо обрабатывать изображения профилей», — написал Андерсон. Мы связались с Nvidia, чтобы узнать больше, но не получили ответа. пока что.

Читатели заметят, что в демонстрациях «Метафизики» участвовали только лица знаменитостей, множество профилей которых запечатлено на пленке и фотографиях. С другой стороны, малоизвестные среди нас вряд ли будут иметь под рукой много снимков в профиль.

«Если вы не были арестованы в какой-то момент, вполне вероятно, что у вас нет ни одного такого изображения ни в социальных сетях, ни в офлайн-коллекции», — написал Андерсон.

Гаурав Оберой, инженер-программист и основатель ИИ-стартапа Lexion, обнаружил почти то же самое при исследовании дипфейков в 2018 году. В сообщении в своем блоге Оберой подробно описал, как дипфейки комика Джона Оливера, наложенные на ночного ведущего Джимми Фэллона, работали хорошо, но не в профиле.

«Как правило, тренировочные изображения вашей цели должны приблизительно соответствовать ориентации, выражению лица и освещению в видеороликах, в которые вы хотите их вставить», — сказал Оберой. «Поэтому, если вы создаете инструмент смены лица для обычного человека, учитывая, что большинство фотографий из них будут обращены лицом вперед, ограничьте смену лица видео, обращенным в основном лицом вперед».

На самом деле это означает, что мошенники, использующие дипфейки в реальном времени, вряд ли будут располагать данными, необходимыми для создания бокового профиля, который нельзя сразу распознать как подделку (при условии, что они не используют хорошо сфотографированное лицо знаменитости). .

До тех пор, пока мы не узнаем, что дипфейкеры не нашли способ обойти этот недостаток, хорошей идеей будет придерживаться политики, когда вы просите человека на другом конце Zoom показать вам его лицо сбоку — известное или нет. ®