LLaMA, последняя большая языковая модель Meta, просочилась в сеть и доступна для скачивания, несмотря на попытки ограничить доступ только для исследовательских целей.

Владелец Facebook объявил в феврале, что выпускает модель в ограниченном количестве, чтобы выбрать ученых, представителей правительства и компании, с которыми можно поиграть, опасаясь, что LLaMA может быть использована не по назначению. Но информация хочет быть бесплатной, или, по крайней мере, некоторые люди хотят, чтобы это было так, и творение Меты все равно попало в сеть, начиная с утечки через торрент.

Большие языковые модели, предсказывающие предложения, которые могут генерировать отрывки текста из подсказок ввода, неуклонно развивались, от автоматического завершения письма до чат-ботов, способных выполнять задачи, когда их просят сделать это с использованием естественного языка.

Эксперты предупреждают, что эта технология может быть использована для автоматизации производства большого количества поддельных новостей, спама, фишинговых писем, дезинформации, подстрекательства и т. д. на долгие годы. Организации, создающие эти модели, часто держат программное обеспечение в тайне, за API или выпускают ограниченные версии или демоверсии.

«Необходимо провести дополнительные исследования, чтобы устранить риски предвзятости, токсичных комментариев и галлюцинаций в больших языковых моделях», — сказал Мета на прошлой неделе.

«Как и другие модели, LLaMA разделяет эти проблемы. Как базовая модель, LLaMA разработана так, чтобы быть универсальной и может применяться во многих различных случаях использования, в отличие от тонко настроенной модели, предназначенной для конкретной задачи.

«Чтобы сохранить целостность и предотвратить неправомерное использование, мы выпускаем нашу модель под некоммерческой лицензией, ориентированной на варианты использования в исследовательских целях. Доступ к модели будет предоставляться в каждом конкретном случае академическим исследователям; общества и научных кругов, а также отраслевых исследовательских лабораторий по всему миру».

Руководство

Но попытки Меты контролировать доступ к LLaMA оказались напрасными, по крайней мере, так кажется. Вскоре после обмена моделью с избранными учеными, а также представителями промышленности и гражданского общества, кто-то на 4Chan опубликовал подробную информацию о том, как получить всю модель через одноранговый обмен файлами, и в конечном итоге инструкции о том, как загрузить все это, были опубликованы на Гитхаб.

Как всегда, соблюдайте осторожность при извлечении подобных материалов с торрентов на случай, если кто-то спрятал там что-то гнусное. Нам сказали, что модель с 65 миллиардами параметров занимает около 220 ГБ дискового пространства.

Мы отмечаем, что копии LLaMA, доступные через GitHub, кажутся законными. Шон Прессер, инженер по искусственному интеллекту, написавший инструкции по загрузке на сайте совместного использования кода Microsoft, показал нам скриншоты того, как он успешно генерирует текст из модели. Он считает, что исследователь, получивший доступ к модели из Meta, слил ее, что привело к ее более широкому, чем ожидалось, распространению.

Запустите свои двигатели теории заговора.

Прессер считает, что лучше выпускать модель бесплатно без каких-либо оговорок, чем ограничивать ее только утвержденными учеными. «Я думаю, что хорошее перевесит плохое, по крайней мере, в десять раз. Вероятно, ближе к 100-кратному», — сказал он. Регистр.

Вообще говоря, обучение и запуск современных больших языковых моделей стоит дорого; только организации, имеющие доступ к множеству графических процессоров и другой инфраструктуре, могут создавать, настраивать и тестировать их. Исследователи искусственного интеллекта из Meta сделали LLaMA меньше, что сделало его более компактным, чем сегодняшние коммерческие модели, и, следовательно, более доступным для ученых и разработчиков с нетривиальными ИТ-бюджетами.

Гуру машинного обучения Meta заявили, что их система превосходит OpenAI GPT-3 и не уступает другим большим языковым моделям, таким как GooglePaLM с 540 миллиардами параметров или Chinchilla с 70 миллиардами параметров от DeepMind. Меньший размер означает, что его будет проще использовать ученым, у которых меньше вычислительных ресурсов.

Однако для LLaMA по-прежнему требуются сотни гигабайт дискового пространства и приличный объем вычислений. Запустить модель и запустить ее также непросто, если только вы не привыкли работать с системами такого типа, а перепрофилирование ее для более гнусных действий также потребует дополнительных технических знаний. Несмотря на утечку модели, Meta заявила, что продолжит делиться LLaMA только с избранными исследователями.

Мы считаем, что текущая стратегия выпуска позволяет нам сбалансировать ответственность и открытость.

«Цель Meta — поделиться современными моделями ИИ с членами исследовательского сообщества, чтобы помочь нам оценить и улучшить эти модели», — сказал представитель. Регистр.

«LLaMA была предоставлена ​​для исследовательских целей в соответствии с тем, как мы делились предыдущими моделями больших языков. Хотя эта модель доступна не для всех, и некоторые пытались обойти процесс утверждения, мы считаем, что текущая стратегия выпуска позволяет нам сбалансировать ответственность и открытость».

Другими словами, группа Facebook придерживается своего подхода к распространению своих технологий.

Недавние попытки Meta выпустить большие языковые модели не прошли гладко. В прошлом году его болтливый BlenderBot подвергся критике за распространение дезинформации и антисемитских взглядов. Galactica, предназначенная для обобщения научных знаний, была удалена через три дня после запуска за создание фейкового и расистского контента. ®