Большие языковые модели, такие как GPT-3 от OpenAI, могут демонстрировать способность решать сложные логические задачи, которые люди решают, используя аналогии.
Исследователи представили GTP-3, впервые выпущенному в 2020 году, задачи, чтобы попытаться понять его очевидную способность рассуждать по аналогии, краеугольный камень человеческого разума, который позволяет людям решать новую проблему, сравнивая ее с ранее известной.
Тейлор Уэбб, исследователь с докторской степенью в Калифорнийском университете в Лос-Анджелесе, и его коллеги представили популярному LLM текстовые матричные логические задачи, аналогии буквенных строк, словесные аналогии и аналогии историй, которые можно решить. применяя установленную модель к новой ситуации.
«Мы представили обширную оценку рассуждений по аналогии в современном LLM. Мы обнаружили, что GPT-3, по-видимому, демонстрирует возникающую способность рассуждать по аналогии, совпадая или превосходя человеческую производительность в широком диапазоне типов текстовых задач», — говорится в их статье, опубликованной сегодня в журнале Nature Human Behavior.
Остается вопрос, как это делает статистическая модель. Уэбб и его коллеги утверждают, что одна из возможностей заключается в том, что огромный размер и разнообразие обучающих данных GPT-3 вынудили его «разработать механизмы, подобные тем, которые, как считается, лежат в основе человеческих рассуждений по аналогии, несмотря на то, что они не были специально обучены этому».
Но хотя аналитики когнитивной науки склонны соглашаться с тем, что люди рассуждают по аналогии, используя «систематическое сравнение знаний, основанное на явных реляционных представлениях», исследователи заявили, что не уверены, как GPT-3 будет реализовывать эти процессы.
«Есть ли в GPT-3 какие-то формы эмерджентных реляционных представлений, и если да, то как они вычисляются? Выполняет ли он процесс сопоставления, аналогичный тому типу, который играет центральную роль в когнитивных теориях аналогии?» — спросила газета.
В отсутствие более глубокого понимания того, как модель может прийти к своим ответам, исследователи предполагают, что эта способность может исходить из ее «архитектуры преобразователя», которая распространена среди LLM. Это может быть похоже на когнитивные модели аналогии.
«Но хотя механизмы, включенные в LLM, такие как GPT-3, могут иметь некоторые важные связи со строительными блоками человеческого мышления, мы также должны учитывать возможность того, что этот тип машинного интеллекта фундаментально отличается от человеческого», — говорится в документе.
Авторы также указали, что GPT-3 был обучен на огромном корпусе человеческого языка, который сам по себе является результатом человеческой эволюции и богат аналогиями.
«Таким образом, в той мере, в какой LLM захватывают аналогичные способности взрослых людей, способных рассуждать, их способность делать это фундаментально паразитирует на естественном человеческом интеллекте», — утверждается в документе.
С тех пор, как запуск GPT-4 привлек общественное внимание своей способностью выполнять задачи на несколько человеческом уровне, такие как написание стихов и компьютерного кода, развернулись дебаты о том, могут ли LLM рассуждать так же, как люди. Между тем, также было замечено, что модели также могут «галлюцинировать» информацию и делать дедуктивные ошибки – как человеческая особенность, так и в высшей степени бесполезная для тех мешков с мясом, которые надеются сэкономить время, используя их.
Мелани Митчелл, ученый-компьютерщик из Института Санта-Фе в Нью-Мексико, и ее команда обнаружили пределы своей способности рассуждать с помощью простых визуальных головоломок под названием ConceptARC. Люди набрали более 90 процентов в тесте, в то время как GPT-4 регистрирует результаты чуть выше 30 процентов.
«Мы показали, что машины все еще не могут приблизиться к уровню людей», — сказал Митчелл журналу Nature. «Удивительно, что он смог решить некоторые задачи, потому что никогда не обучался на них», — сказала она. ®
