В отличие от большинства людей, чат-боты с искусственным интеллектом изо всех сил пытаются адекватно реагировать в текстовых беседах, когда сталкиваются с идиомами, метафорами, риторическими вопросами и сарказмом.
Светская беседа может быть сложной для машин. Хотя языковые модели могут писать грамматически правильные предложения, они не очень хорошо справляются с тонкими нюансами общения. У людей гораздо больше опыта в социальных взаимодействиях, и они используют всевозможные сигналы, от мимики и голоса до языка тела, чтобы понять намерение. Однако чат-боты имеют ограниченные контекстные знания, а отношения между словами сводятся к числам и математическим операциям.
Мало того, что образная речь сложна для анализа алгоритмов, такие вещи, как идиомы и сравнения, не часто используются в речи. Они не так часто появляются в учебных наборах данных, что означает, что чат-боты с меньшей вероятностью усваивают общие выражения, Харш Джамтани, аспирант Карнеги-Меллона и первый автор исследовательской статьи, представленной на конференции 2021 года по эмпирическим методам обработки естественного языка. на этой неделе объяснил .
«Основная проблема заключается в том, что такие выражения часто не являются композиционными по сравнению с более простыми выражениями. Например, вы можете приблизительно определить «значение» выражения «белый автомобиль», опираясь на «значение» слов «белый» и «автомобиль» », – сказал он.
«Но то же самое не относится к идиомам и метафорам. Значение слова« кусок пирога », [describing] то, что легко сделать, может быть трудно приблизить, учитывая, что вы знаете значение слов «кусок» и «торт». Часто понимание значения таких выражений опирается на общие культурные и здравые подсказки ».
Джамтани и его коллеги экспериментировали с пятью системами машинного обучения с разной архитектурой, от seq2seq до старой модели OpenAI GPT-2. Они выбрали разговоры, содержащие метафоры, идиомы, риторические вопросы и гиперболы из набора данных DailyDialog, проанализировали вводные данные по всем моделям и оценили уместность своих ответов.
Они обнаружили, что производительность моделей упала на 10-20% по сравнению с тем, когда чат-боты отвечали на общую прямую болтовню. В одном забавном примере, когда мы столкнулись с немного грамматически неправильной строкой «может быть, мы сможем когда-нибудь собраться вместе, если вы не боитесь 30-летнего кугуара!» GPT-2 ответил: «Я не боюсь кошек. у меня две собаки.
Когда ученые изменили мнение, чтобы воспринимать его более буквально, «может быть, мы сможем когда-нибудь начать встречаться, если вы не боитесь 30-летнего кугуара», модель ответила: «Это очень интересная идея. Я никогда не встречал ни одной, », Что более уместно.
К сожалению, исследование показывает лишь то, как и почему машины не понимают образных задач. Решение вопроса – это совсем другая задача.
«В нашей статье мы исследуем некоторые простые методы смягчения последствий, в которых используются существующие словари для поиска буквальных эквивалентов образных выражений», – сказал Джамтани. Например, замена слова «собираемся» на «свидание» во входных данных может заставить модель генерировать лучший результат, но не учит ее узнавать значение выражения.
«Эффективное обращение с образным языком все еще остается открытым вопросом исследования, для решения которого требуется больше усилий. Эксперименты с еще более крупными моделями являются частью потенциальных будущих исследований », – заключил он. ®
