Если когда-либо и была причина думать, что отравление данных может обмануть программное обеспечение для распознавания лиц, недавно опубликованная статья показала, что рассуждения — это чепуха.
Программное обеспечение для отравления данных изменяет изображения, манипулируя отдельными пикселями. Эти изменения невидимы невооруженным глазом, но если они эффективны, они делают их бесполезными для программ распознавания лиц.
Исследователи из Стэнфордского университета, Университета штата Орегон и Google объединились для статьи, в которой они выделяют две конкретные причины, по которым отравление данных не обеспечивает безопасность людей. Во-первых, код, написанный для «отравления» фотографий, находится в свободном доступе в Интернете. Во-вторых, нет оснований предполагать, что отравленная фотография будет эффективна против будущих моделей распознавания.
По словам авторов статьи, отравление данных для предотвращения распознавания лиц не только не обеспечивает безопасность, но и создает ложное чувство безопасности и может на самом деле нанести вред пользователям, которые в противном случае не разместили бы фотографии в Интернете.
Исследователи столкнулись с двумя программами отравления данных: Fawkes и LowKey, которые тонко изменяют изображения на уровне пикселей, что, хотя и незаметно для людей, достаточно, чтобы сбить с толку программное обеспечение для распознавания лиц. Оба находятся в свободном доступе в Интернете, и это проблема номер один, говорят авторы.
“Адаптивная модель тренажера с доступом к системе “черный ящик” [poisoning method] используемые пользователями, могут немедленно обучить надежную модель, устойчивую к отравлению». К несчастью для этих моделей отравления, их код находится в свободном доступе в Интернете, и исследователи заявили, что он останется таким, пока существуют продукты.
Имея в виду эту доступность, газета заявила, что компании-разработчики программного обеспечения для распознавания лиц знают об отравлении программного обеспечения, такого как Fawkes и LowKey. Как показывают исследователи в статье, все, что им было нужно, — это доступ к черному ящику для кода отравляющего изображения. Нет причин предполагать, что основные игроки еще не учли их.
Однако есть еще одна проблема с отравлением данных, и это время.
«Мы обнаружили, что существует еще более простая защитная стратегия: инструкторы моделей могут просто ждать более совершенных систем распознавания лиц, которые больше не уязвимы для этих конкретных атак с отравлением», — говорится в документе.
В рассмотренных исследователями случаях им даже не пришлось ждать так долго: и Fawkes, и LowKey были неэффективны против версий программного обеспечения для распознавания лиц, выпущенных в течение года после их появления в сети (тот же месяц для LowKey).
По словам исследователей, здесь нет гонки вооружений между отравлением и распознаванием лиц. Атаки отравления эффективны только один раз, и, вероятно, им можно противостоять с помощью черного ящика, и если это не удается, все, что нужно сделать системе, — это дождаться обновления.
Было проведено множество экспериментов по обману распознавания лиц с разной степенью успеха, и похоже, что отравление данных — это еще одна неудачная попытка продвижения конфиденциальности в Интернете.
«В свете этого мы утверждаем, что единственная надежда пользователей — это принятие законодательства, ограничивающего использование систем распознавания лиц, нарушающих конфиденциальность», — говорится в документе. ®
