Google DeepMind сотрудничал с классическими учеными для создания нового инструмента искусственного интеллекта, который использует глубокие нейронные сети, чтобы помочь историкам расшифровать текст поврежденных надписей из Древней Греции. Новая система, получившая название Ithaca, основана на более ранней системе восстановления текста под названием Pythia.

Согласно новой статье исследовательской группы, опубликованной в журнале Nature, Итака не только помогает историкам восстанавливать текст — она также может определить место происхождения текста и дату создания. На самом деле, Итака уже использовалась для разрешения непрекращающихся споров между историками о правильной датировке группы древних афинских указов. Интерактивная версия Итаки находится в свободном доступе, и команда делает свой код открытым.

Многие древние источники — написаны ли они на свитках, папирусах, камне, металле или глиняной посуде — настолько повреждены, что большие куски текста часто неразборчивы. Определение происхождения текстов также может быть проблемой, поскольку они, вероятно, были перемещены несколько раз. Что касается точного определения времени их изготовления, то радиоуглеродное датирование и тому подобные методы использовать нельзя, так как они могут повредить бесценные артефакты. Таким образом, сложная и трудоемкая задача интерпретации этих неполных текстов ложится на так называемых эпиграфистов, которые специализируются на этих навыках.

Как писали в DeepMind в 2019 году:

Одна из проблем с выделением смысла из неполных фрагментов текста заключается в том, что часто существует несколько возможных решений. Во многих играх со словами и головоломках игроки угадывают буквы, чтобы составить слово или фразу — чем больше букв указано, тем более ограниченными становятся возможные решения. Но в отличие от этих игр, где игроки должны угадывать фразу в отдельности, историки, восстанавливающие текст, могут оценить вероятность различных возможных решений на основе других контекстных подсказок в надписи, таких как грамматические и лингвистические соображения, расположение и форма, текстовые параллели, и исторический контекст.

Чтобы ускорить процесс, Яннис Ассаэль из DeepMind, Теа Соммершилд и Джонатан Праг совместно с исследователями из Оксфордского университета разработали Pythia, систему восстановления древних текстов, названную в честь верховной жрицы, которая служила в Дельфийском Оракуле, доставив высказывания бога Аполлона.

Первым шагом исследователей было преобразование базы данных Паккардского гуманитарного института (PHI) — крупнейшей цифровой коллекции древнегреческих надписей — в машиночитаемый текст, который они назвали PHI-ML. Это составило около 35 000 надписей и более 3 миллионов слов с 7 века до н.э. по 5 век н.э. Затем исследователи обучили Пифию (используя как слова, так и отдельные символы в качестве входных данных) предсказывать недостающие буквы слов в этих надписях. Pythia была обучена использовать возможности глубоких нейронных сетей по распознаванию образов.

Столкнувшись с неполной надписью, Пифия выдала до 20 различных возможных букв или слов, которые могли бы заполнить пробелы, а также уровень достоверности для каждого варианта. Историки (т. е. «эксперты в предметной области») должны были просеять эти возможности и сделать окончательное заключение, основанное на их предметной экспертизе.

Команда протестировала систему, сравнив результаты Пифии по заполнению 2949 надписей с результатами оксфордских аспирантов по эпиграфике. Выходные данные Pythia имели 30,1% ошибок по сравнению с 57,3% ошибок для студентов. Пифия также смогла выполнить задание гораздо быстрее: для расшифровки 50 надписей потребовалось всего несколько секунд, по сравнению с двумя часами для студентов.

А теперь Ассаэль и его соратники вернулись с Итакой. В дополнение к возможности восстановления текста Итака делает прогнозы относительно географической атрибуции неполных надписей. Распределение вероятностей по всем возможным предсказаниям полезно визуализировано на карте, «чтобы пролить свет на возможные лежащие в основе географические связи в древнем мире», — пишет команда в сопроводительном сообщении в блоге. Для хронологической атрибуции Итака производит распределение предсказанных дат между 800 г. до н.э. и 800 г. н.э.

Тестирование показало, что Итака сама по себе способна достичь 62-процентной точности при восстановлении поврежденного текста по сравнению с 25-процентной точностью для историков-людей. Но сочетание человека и машины повышает общую точность до 72 процентов, что Асаэль и другие. верит, что демонстрирует «потенциал сотрудничества человека и машины» в этой области. Что касается приписывания надписей их первоначальному местонахождению, Итака может сделать это с точностью до 71 процента и датировать надписи с точностью до 30 лет.

Итака уже имела возможность продемонстрировать свою полезность историкам в тестовом случае с рядом афинских указов, которые были в центре споров о датировке. Историки ранее привязывали даты указов не позднее 446 г. до н.э. Эта оценка была основана на определенных буквенных формах (известных как аттическая трехполосная сигма), которые афинская бюрократия использовала в этот период. После 446 г. до н.э. афиняне перешли на ионическую четырехполосную сигму для своих указов.

Это была стандартная методология датирования афинских надписей, пока другие историки не начали подвергать сомнению ее предположения, особенно потому, что несколько указов, датированных таким образом, казалось, противоречили историческим отчетам Фукидида. Эти историки обнаружили свидетельства того, что аттическая буквенная форма продолжала использоваться в официальных документах еще долго после 446 г. до н.э. Они пришли к выводу, что даты многих из этих указов должны быть более ранними – около 420 г. до н.э. Итака предсказала дату 421 г. до н.э., что очень соответствует этому выводу.