В отличие от тщательно прописанных диалогов, которые можно найти в большинстве книг и фильмов, язык повседневного общения имеет тенденцию быть беспорядочным и неполным, полным фальстартов, прерываний и людей, переговаривающихся друг с другом. От случайных разговоров между друзьями до ссор между братьями и сестрами и официальных дискуссий в зале заседаний — подлинный разговор хаотичен. Кажется чудом, что любой человек вообще может выучить язык, учитывая случайный характер лингвистического опыта.
По этой причине многие лингвисты, в том числе Ноам Хомский, основатель современной лингвистики, считают, что изучающим язык требуется своего рода клей, чтобы обуздать непослушную природу повседневного языка. И этим клеем является грамматика: система правил для создания грамматических предложений.
Дети должны иметь грамматический шаблон, встроенный в их мозг, чтобы помочь им преодолеть ограничения своего языкового опыта — по крайней мере, так думают.
Этот шаблон, например, может содержать «суперправило», определяющее, как новые фрагменты добавляются к существующим фразам. Затем детям нужно только узнать, является ли их родной язык языком, например, английским, где глагол стоит перед дополнением (как в «Я ем суши»), или языком, подобным японскому, где глагол стоит после дополнения (в японском языке то же предложение построено как «Я ем суши»).
Но новое понимание изучения языков исходит из неожиданного источника: искусственного интеллекта. Новое поколение больших языковых моделей ИИ может писать газетные статьи, стихи и компьютерный код и правдиво отвечать на вопросы после того, как подверглось огромному количеству языковых входных данных. И что еще более удивительно, все они делают это без помощи грамматики.
Грамматический язык без грамматики
Даже если их выбор слов иногда бывает странным, бессмысленныйили содержит расистские, сексистские и другие пагубные предубеждения, ясно одно: подавляющее большинство выходных данных этих языковых моделей ИИ грамматически правильны. И все же в них нет запрограммированных грамматических шаблонов или правил — они полагаются только на лингвистический опыт, каким бы запутанным он ни был.
GPT-3, возможно, самая известная из этих моделей, представляет собой гигантскую нейронную сеть глубокого обучения со 175 миллиардами параметров. Он был обучен предсказывать следующее слово в предложении, учитывая то, что было до этого среди сотен миллиардов слов из Интернета, книг и Википедии. Когда он делал неверный прогноз, его параметры корректировались с помощью алгоритма автоматического обучения.
Примечательно, что GPT-3 может генерировать правдоподобный текст, реагируя на такие подсказки, как «Краткое содержание последнего фильма «Форсаж»…» или «Напишите стихотворение в стиле Эмили Дикинсон». Кроме того, GPT-3 может отвечать на аналогии уровня SAT, вопросы на понимание прочитанного и даже решать простые арифметические задачи — все это от обучения тому, как предсказывать следующее слово.
Just_Super/E+ через Гетти
Сравнение моделей ИИ и человеческого мозга
Однако на этом сходство с человеческим языком не заканчивается. Исследование, опубликованное в журнале Nature Neuroscience, показало, что эти искусственные сети глубокого обучения, похоже, используют те же вычислительные принципы, что и человеческий мозг. Исследовательская группа под руководством нейробиолога Ури Хассона сначала сравнила, насколько хорошо GPT-2 — «младший брат» GPT-3 — и люди могут предсказать следующее слово в истории, взятой из подкаста «Эта американская жизнь»: люди и ИИ предсказывал одно и то же слово почти в 50% случаев.
Исследователи записывали активность мозга добровольцев во время прослушивания истории. Лучшим объяснением паттернов активации, которые они наблюдали, было то, что человеческий мозг — подобно GPT-2 — не просто использовал одно или два предшествующих слова при предсказании, но полагался на накопленный контекст до 100 предыдущих слов. В целом авторы заключают: «Наше обнаружение спонтанных предсказательных нейронных сигналов, когда участники слушают естественную речь, предполагает, что активное предсказание может лежать в основе обучения людей языку на протяжении всей жизни».
Возможная проблема заключается в том, что эти новые языковые модели ИИ получают много входных данных: GPT-3 был обучен на лингвистическом опыте, эквивалентном 20 000 человеко-лет. Но предварительное исследование, которое еще не было рецензировано, показало, что GPT-2 все еще может моделировать предсказания следующего слова человека и активацию мозга, даже если он обучен всего на 100 миллионах слов. Это вполне соответствует количеству лингвистической информации, которую средний ребенок может услышать в течение первых 10 лет жизни.
Мы не предлагаем, чтобы GPT-3 или GPT-2 изучали язык точно так же, как это делают дети. Действительно, эти модели ИИ, похоже, мало что понимают из того, что они говорят, в то время как понимание имеет основополагающее значение для использования человеческого языка. Тем не менее, эти модели доказывают, что учащийся — пусть и силиконовый — может достаточно хорошо выучить язык от простого воздействия, чтобы создавать совершенно правильные грамматические предложения и делать это способом, напоминающим обработку человеческого мозга.
Переосмысление изучения языка
В течение многих лет многие лингвисты считали, что изучение языка невозможно без встроенного шаблона грамматики. Новые модели ИИ доказывают обратное. Они демонстрируют, что способность производить грамматический язык может быть изучена только на основе лингвистического опыта. Точно так же мы предполагаем, что детям не нужна врожденная грамматика для изучения языка.
«Детей нужно видеть, а не слышать», — гласит старая поговорка, но последние языковые модели ИИ предполагают, что нет ничего более далекого от истины. Вместо этого детей нужно как можно больше вовлекать в разговор, чтобы помочь им развить свои языковые навыки. Лингвистический опыт, а не грамматика, является ключом к тому, чтобы стать компетентным пользователем языка.
Мортен Х. Кристиансен — профессор психологии Корнельского университета, а Пабло Контрерас Калленс — доктор философии. студент психологии Корнельского университета.
Эта статья переиздана из The Conversation под лицензией Creative Commons. Прочитайте оригинальную статью.
