В среду Amazon выпустила набор речевых данных с открытым исходным кодом, поддерживающий 51 язык, поощряя разработчиков создавать больше сторонних приложений и сервисов для своего голосового устройства с искусственным интеллектом Alexa.
Алгоритмы распознавания речи и понимания естественного языка (NLU) постоянно совершенствуются, прокладывая путь к голосовым цифровым помощникам, таким как Siri, Alexa или Google Ассистент. К сожалению, технология по-прежнему ограничена несколькими избранными языками.
Например, Alexa в настоящее время поддерживает английский, немецкий, португальский, французский, хинди, итальянский, японский, испанский и арабский языки. С помощью этой платформы на 51 языке Amazon надеется запустить глобальную систему перевода NLU, которая также может быть очень прибыльной для компании.
«Представьте, что все люди во всем мире могут использовать системы голосового ИИ, такие как Alexa, на своем родном языке», — говорится в сообщении в блоге.
В рамках своих усилий по расширению на большее количество языков исследователи опубликовали набор данных — Многоязычный Amazon SLURP для заполнения слотов, классификации намерений и оценки виртуального помощника, или сокращенно MASSIVE, — содержащий один миллион разговорных образцов на 51 языке, а также открытые -исходный код, чтобы помочь разработчикам обучать многоязычные модели ИИ.
Amazon также проводит конкурс под названием Massively Multilingual NLU 2022 (MMNLU-22), призывая исследователей создать лучшие системы перевода с использованием набора данных. Результаты конкурса будут представлены на семинаре «Эмпирические методы обработки естественного языка», научной конференции по обработке естественного языка, которая состоится в декабре.
MASSIVE был составлен благодаря тому, что профессиональные переводчики перевели набор данных только на английском языке на множество языков, на которых говорят в Африке, Европе, Латинской Америке и Азии. Неудивительно, что набор данных предназначен для связи с устройствами — он в основном состоит из вопросов или общих команд, таких как запрос на воспроизведение песни определенного исполнителя или запрос о погоде.
Система работает, сначала преобразуя речь в текст. Затем текст передается на серию моделей NLU, которые анализируют ключевые слова, чтобы выяснить, что пользователь просит устройство сделать. «Например, учитывая высказывание «какая температура в Нью-Йорке», модель NLU может классифицировать намерение как «погодный_запрос» и заполнить слоты как «погодный_дескриптор: температура и название места: Нью-Йорк», — говорится в документе, описывающем массив данных MASSIVE более подробно.
Amazon надеется, что набор данных и конкуренция побудят больше разработчиков создавать сторонние приложения для платформы Alexa Skills компании. Его амбиции немалые — релиз намекает на масштабирование технологии естественного языка «на каждый язык на Земле». Это очень много языков – более 7000.
«NLU — это ключевой компонент Alexa Skills, который каждый может разработать с помощью Alexa Skills Kit. Массивная многоязычная технология NLU, разработку которой MASSIVE поможет стимулировать, — это многообещающий метод предоставления таких услуг, как Alexa Skills, на многих других языках. Джек Фитцджеральд, старший прикладной научный сотрудник Amazon Alexa AI Natural Understanding, сказал: Регистр.
«Интернационализация всех наших продуктов и услуг невероятно важна — Alexa и Echo ничем не отличаются. Наше видение заключается в том, чтобы Alexa была везде, где находятся наши клиенты, и на всех устройствах, которые они хотят, — заключил он. ®
