Анализ Идея так называемых «мастер-лиц» – набора фальшивых изображений, генерируемых алгоритмами машинного обучения для взлома биометрических систем лиц, выдавая себя за людей, – на прошлой неделе попала в заголовки газет. Но при более внимательном рассмотрении исследования обнаруживаются явные недостатки, из-за которых вряд ли он будет работать в реальном мире.
«Основное лицо – это изображение лица, которое проходит аутентификацию на основе лица для значительной части населения», – поясняется в статье, опубликованной на arXiv ранее в этом месяце. «Эти лица могут использоваться для олицетворения с высокой вероятностью успеха любого пользователя без доступа к какой-либо пользовательской информации».
Трио ученых из Тель-Авивского университета заявляют, что они построили модель, которая сгенерировала девять главных лиц, способных представлять 40 процентов населения, в обход «трех ведущих систем глубокого распознавания лиц». На первый взгляд это кажется впечатляющим, и претензии представляют явную угрозу безопасности в приложениях, требующих идентификации лица.
Во-первых, команда использовала систему StyleGAN от Nvidia для создания реалистичных изображений вымышленных лиц. Каждый фальшивый результат сравнивался с одной реальной фотографией 5749 разных людей, представленных в наборе данных Labeled Faces in the Wild (LFW). Отдельный алгоритм классификатора определяет, насколько похожи фальшивые лица, созданные ИИ, по сравнению с настоящими в наборе данных.
Изображения, получившие высокие оценки схожести по классификатору, сохраняются, а остальные отбрасываются. Эти оценки используются для обучения эволюционного алгоритма для создания все большего количества поддельных лиц с использованием StyleGAN, которые выглядят как люди в наборе данных.
Со временем исследователи могут найти набор эталонных лиц, которые представляют столько изображений, сколько они могут в наборе данных. Короче говоря, они смогли создать всего девять изображений, представляющих 40 процентов из 5749 различных людей в наборе данных Labeled Faces in the Wild.
Затем они использовали эти эталонные лица для имитации трех разных моделей распознавания лиц: Dlib, FaceNet и SphereFace. Эти системы заняли самые высокие места в конкурсе, в котором сравнивались лучшие алгоритмы сопоставления лиц, протестированные на наборе данных LFW.
Однако беглый взгляд на лица, набравшие наибольшее количество баллов, способные обойти каждую из трех моделей, показывает явное ограничение исследования. Это в значительной степени поддельные изображения пожилых кавказских мужчин с белыми волосами, очками и усами. Если эти же типы изображений могут представлять большую совокупность набора данных LFW, то, безусловно, набор данных должен быть в некоторой степени ошибочным.
Лучшее мастер-лицо, которое смог обмануть Dlib (слева), FaceNet (в центре) и SphereFace (справа). Взято из рисунка 4 в статье.
Мусор на входе, мусор на выходе
Заявление об ограничении ответственности, размещенное на веб-сайте, на котором размещен набор данных, подтверждает это: «Многие группы недостаточно хорошо представлены в LFW. Например, очень мало детей, нет младенцев, очень мало людей старше 80 лет и относительно небольшая доля женщин. Кроме того, многие этнические группы имеют очень незначительное представительство или совсем не представлены ».
Оценки девяти мастер-лиц отражают ограничения набора данных LFW. Лица женского пола, с более темным оттенком кожи и моложе оцениваются ниже и с меньшей вероятностью обойдут три модели, которые были протестированы.
Девять эталонных лиц, составляющих 40% набора данных LFW. Обратите внимание на то, что оценки ниже у людей моложе, женского пола или людей с более темным оттенком кожи. Взято из рисунка 5 статьи.
«Хотя теоретически LFW можно использовать для оценки производительности определенных подгрупп, база данных не была разработана для того, чтобы иметь достаточно данных для надежных статистических выводов о подгруппах. Проще говоря, LFW недостаточно велик, чтобы предоставить доказательства того, что конкретная часть программного обеспечения была тщательно протестирована », – говорится в другом заявлении об отказе от ответственности, указанном на веб-сайте LFW.
Хотя идея мастер-лиц, способных выдавать себя за лица огромного количества людей для разблокировки систем распознавания лиц, интересна, проведенное здесь исследование – всего лишь еще один случай модели машинного обучения, обученной и протестированной с использованием некорректных данных. Как говорится, мусор на входе, мусор на выходе.
В наборе данных LFW отсутствует разнообразие, поэтому сгенерированные компьютером главные лица с большей вероятностью охватят большую часть этого набора данных. Маловероятно, что эти изображения будут работать так же в реальном мире.
И никаких реальных тестов
«LFW действительно страдает от ограничений, описанных на его официальном веб-сайте, но, несмотря на эти ограничения, LFW является широко используемым набором данных в академической литературе для оценки методов распознавания лиц», – говорит Томер Фридландер, соавтор статьи и исследователь в в Школе электротехники Тель-Авивского университета рассказали °.
«В нашей статье представлена возможная уязвимость систем распознавания лиц, которая может быть использована злоумышленниками. Поэтому это следует учитывать как разработчикам, так и пользователям методов распознавания лиц. Мы не тестировали наш метод с коммерческими системами распознавания лиц, которые используются в реальной жизни, поэтому мы не можем ссылаться на системы в реальной жизни ».
По его словам, модель можно адаптировать к лучшим наборам данных, которые более разнообразны, чтобы попытаться обмануть системы в реальном мире. «Мы заинтересованы в дальнейшем изучении возможности использования мастер-лиц, сгенерированных нашим методом, чтобы защитить существующие системы распознавания лиц от таких атак. Мы оставляем это для будущих исследований ».
Не попадайтесь на пугающие заголовки, утверждающие, что эти главные лица могут взломать «более 40 процентов систем аутентификации по лицу» или что они «безумно успешны». Мало доказательств в поддержку этих утверждений.
Фридлендер сообщил нам, что в этом году документ был принят на международную конференцию IEEE по автоматическому распознаванию лиц и жестов, которая состоится в декабре. ®
