Трое ученых из Стэнфорда разработали модель глубокого обучения для геолокации. Google Изображения просмотра улиц, что означает, что он может определить, где была сделана фотография, просто взглянув на нее.
Говорят, что программное обеспечение работает достаточно хорошо, чтобы победить лучших игроков в GeoGuessr, популярной онлайн-игре по угадыванию местоположения.
Это не значит, что модель ученых может точно определить, где была сделана фотография на уровне улицы; вместо этого он может надежно определить страну и сделать хорошее предположение в пределах 15 миль от правильного местоположения, большую часть времени — хотя чаще всего он находится дальше этого расстояния.
В препринте под названием «PIGEON: прогнозирование геолокации изображений» Лукас Хаас, Михал Скрета и Сайлас Альберти описывают, как они разработали PIGEON.
Это модель геолокации изображения, полученная из их собственной предварительно обученной модели CLIP под названием StreetCLIP. С технической точки зрения модель дополнена набором семантических геоячеек — ограниченных участков земли, подобных округам или провинциям, которые учитывают специфические для региона детали, такие как дорожная разметка, качество инфраструктуры и уличные знаки, — и ProtoNets — метод классификации с использованием только несколько примеров.
PIGEON недавно соревновался с Тревором Рэйнболтом, лучшим игроком GeoGuessr, известным на YouTube просто как Рэйнболт, и победил.
Исследователи в своей статье утверждают, что PIGEON — это «первая модель ИИ, которая постоянно побеждает игроков-людей в GeoGuessr, занимая 0,01% лучших игроков». Нам сказали, что в GeoGuessr играло около 50 миллионов человек.
Альберти, докторант Стэнфорда, сказал: Регистр«Это было что-то вроде нашего небольшого соревнования Deep Mind», — отсылка к Googleутверждают, что их система DeepMind AlphaCode может писать код, сравнимый с программами-людьми.
Я думаю, что это был первый раз, когда ИИ победил лучшего человека в мире на GeoGuessr.
«Я думаю, что это был первый раз, когда ИИ победил лучшего человека в мире на GeoGuessr», — сказал он, отметив, что Rainbolt одержал победу в двух предыдущих матчах с системами ИИ.
Геолокация изображений стала чем-то вроде искусства среди исследователей открытых источников благодаря работе таких журналистских исследовательских организаций, как Bellingcat. Успех PIGEON показывает, что это также и наука, имеющая серьезные последствия для конфиденциальности.
В то время как PIGEON обучался геолокации изображений Street View, Альберти считает, что этот метод может упростить геолокацию практически любого изображения, по крайней мере, на открытом воздухе. Он сказал, что он и его коллеги опробовали систему с наборами данных изображений, которые не включают изображения Street View, и это сработало очень хорошо.
Другой вид интеллекта
Альберти рассказал о беседе с представителем аналитической платформы с открытым исходным кодом, который проявил интерес к их технологии геолокации. «Мы думаем, что наш метод можно применить и к этим сценариям», — сказал он.
На вопрос, усложнит ли эта технология сокрытие того, где были сняты изображения, Альберти сказал, что если вы находитесь на какой-либо улице, геолокация станет вполне вероятной, потому что есть так много явных признаков того, где вы находитесь.
«На днях меня спросили: «А что, если вы находитесь не на улице, где-нибудь посреди природы?», — сказал он. «Даже там у вас есть много признаков того, где вы можете быть, например, листья, небо, цвет почвы. Они, безусловно, могут сказать вам, в какой стране или в каком регионе страны вы находитесь, но вы, вероятно, не сможете найти конкретный город. Я думаю, что изображения интерьера, вероятно, по-прежнему будет очень трудно найти».
Я думаю, что фотографии интерьера, вероятно, по-прежнему будет очень трудно найти.
Альберти сказал, что одна из ключевых причин, по которой PIGEON работает хорошо, заключается в том, что он полагается на CLIP OpenAI в качестве базовой модели.
«Ранее многие другие модели геолокации просто обучали модель с нуля или использовали модель, основанную на ImageNet. Но мы заметили, что при использовании CLIP в качестве базовой модели мы видели гораздо больше изображений, видели гораздо больше мелких деталей, и поэтому гораздо лучше подходит для этой задачи».
Альберти сказал, что использование семантических геоячеек оказалось очень важным, потому что, если вы просто прогнозируете координаты, вы, как правило, получаете плохие результаты. «Даже с CLIP в качестве базовой модели вы будете приземляться в океане большую часть времени», — сказал он.
«Мы потратили много времени на оптимизацию этих геоячеек, например, сделав их пропорциональными плотности населения в определенных регионах и заставив их учитывать различные административные границы на нескольких уровнях».
Хаас, Скрета и Альберти также разработали функцию потерь, которая вычисляет расстояние между выходными данными алгоритма и ожидаемыми выходными данными, которая минимизирует штраф за предсказание, если прогнозируемая геоячейка находится рядом с фактической геоячейкой. Кроме того, они применяют алгоритм метаобучения, который уточняет прогнозы местоположения в заданной пространственной ячейке для повышения точности.
«Таким образом, иногда мы можем сопоставлять изображения с точностью до километра», — сказал Альберти.
Как отметил Скрета в видеоролике Rainbolt, PIGEON в настоящее время правильно угадывает 92 процента стран и имеет медианную ошибку километража 44 км, что соответствует оценке GeoGuessr 4525. Согласно исследовательскому документу, модель на тему птиц делает около 40 процентов предположений в пределах 25 км от цели.
Игра началась. ®
