Четыре причины, почему Llama 3 имеет большое значение для мета и ИИ

Долгожданная модель Llama3 от Meta (стилизованная под LlaMa3) уже здесь и содержит множество технических улучшений. Хотя это еще одна относительно небольшая модель с вариациями параметров 8B и 80B, Llama3 по-прежнему уделяет особое внимание высококачественным тренировочным данным и эффективным ограждениям. Meta использовала набор обучающих данных, в семь раз больший, чем их предыдущая модель (Llama2), обучая Llama3 на 15 триллионах токенов и отдельно разрабатывая ряд конвейеров данных, фильтров и эвристических подходов для максимизации качества данных при относительно небольшом количестве параметров.

Llama3 — это значительный шаг вперед для моделей Meta, и он будет только улучшаться по мере того, как компания совершенствует свои процессы и выпускает новые итерации с большим количеством параметров и наборами обучающих данных. Уже запланирована полностью мультимодальная версия, а также версия с числом параметров 400B и многоязычной поддержкой. Но что отличает LlaMa3 от моделей OpenAI GPT или GoogleБлизнецы, спросите вы? Вот несколько причин, почему Llama3 на самом деле имеет большое значение.

Связанный

Долгожданная игра Llama 3 с открытым исходным кодом от Meta наконец-то вышла.

Ходили слухи, что Llama 3 от Meta появится уже давно, и теперь она наконец здесь. Вы даже можете использовать его прямо сейчас!

1 Llama3 находится в свободном доступе для разработчиков.

Meta использует другой подход, чем OpenAI.

Одним из уникальных шагов, которые Meta предпринимает в сфере искусственного интеллекта, является открытая доступность и портативность своих моделей. Meta присоединяется к таким компаниям, как Mistral, и выпускает свою модель для свободного использования всеми желающими. Это включает в себя неограниченную лицензию на коммерческое или исследовательское использование. Компания открыто заявляет о своем стремлении публично опубликовать свои модели для содействия развитию ИИ, обещая раннюю поддержку таких компаний, как AWS, Databricks и множества других облачных платформ, в дополнение к поддержке разработчиков, которые хорошо разбираются в технологиях. настройка моделей локально.

Meta явно надеется построить экосистему и набор инструментов вокруг своих моделей искусственного интеллекта и с распростертыми объятиями охватывает крупные онлайн-сообщества, которые создают, обучают и адаптируют свободно доступные модели для всех видов приложений. Это резко контрастирует с более «ориентированным на продукт» подходом, подобным OpenAI и Google. Возможно, Мета потенциально стремится избежать традиционного проклятия подобных революционеров в сфере технологий, которые часто вкладывают значительные средства в продукты, готовые к выпуску на рынок, только для того, чтобы их быстро догнали и повторили. Llama3 может послужить катализатором для стимулирования большего количества инноваций и инвестиций в искусственный интеллект, а также передать на аутсорсинг часть рабочей нагрузки Meta по изучению и расширению возможностей своих моделей.

Модели Llama 3 скоро будут доступны на AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM и Snowflake, а также при поддержке аппаратных платформ, предлагаемых AMD, AWS, Dell, Intel, NVIDIA и Qualcomm. (Мета)

Вы можете скачать веса моделей Llama3 прямо сейчас с Meta.

Llama Guard 2 и Cybersec Eval 2 созданы для защиты модели и пользователей.

Llama3 запускается с подходом к ответственности за ИИ на «системном уровне», о чем другие крупные игроки в сфере ИИ заметно умалчивают. Частично это происходит из-за открытого подхода Meta к своим моделям, который потенциально устраняет некоторые барьеры, которые позволяли использовать такие системы, как OpenAI и GoogleМодели Gemini, чтобы несколько обойти это. Мета стремится подчеркнуть свою защиту как на этапе обучения, так и на этапе настройки. Это включает в себя введение Llama Guard 2.

Llama Guard 2 — это отдельная модель LLM (по иронии судьбы обученная на Llama3) с параметрами 8B. Он предназначен для защиты ввода-вывода для моделей Llama3, фильтруя входящие задачи по категориям риска и отмечая их как безопасные или небезопасные.

Meta также продолжает работу над CyberSecEval2. пакет для защиты от вредоносного кода и атак с быстрым внедрением. Более того, CodeShield был разработан для фильтрации небезопасного кода, сгенерированного моделью, во время вывода.

3 Llama3 ориентирована на качество, а не на размер

Модель Meta действительно может работать на вашем ПК

Источник: Мета

Meta снова применила другой подход к некоторым более крупным моделям, снова обучаясь на меньшем наборе данных и количестве параметров, но сосредоточившись на данных очень высокого качества. Этот другой подход имеет свои преимущества. Таким образом, вычислительные затраты на обучение модели могут быть намного ниже (и процесс обучения ускорится), хотя Meta по-прежнему требовалось два специально созданных кластера по 24 000 графических процессоров, предоставленных NVIDIA для обучения Llama3. Meta заменяет огромное количество параметров более крупных LLM (сообщается, что GPT4 имеет более триллиона параметров) и вместо этого сосредотачивается на очень высококачественном автономном наборе данных.

У этого подхода есть и другие преимущества. Llama3 гораздо проще запускать на локальных машинах (вам все равно потребуется много мощности даже для модели с параметром 8B), что помогает разработчикам, стартапам и потенциальным нарушителям искусственного интеллекта приступить к работе с новейшими моделями без необходимости за чрезмерные капитальные вложения вперед.

4 Это только начало для Llama3

В будущем Meta планирует добавить 400B параметров.

Одним из непосредственных преимуществ Llama3 является то, что Meta уже открыто заявляет о своих запланированных будущих улучшениях, включая мультимодальную поддержку, многоязычную поддержку и версию с параметрами 400B на горизонте. Всегда приветствуется большее количество параметров, хотя это и означает более крупную модель. Многоязычная поддержка будет сложной задачей, поскольку текущие версии Llama3 обучаются исключительно на английском языке. Meta, вероятно, работает за кулисами над созданием своих конвейеров обработки данных, а также над их способностью выполнять RLHF (обучение с подкреплением с обратной связью от человека) и тонкой настройкой на различных языках. Когда мы увидим многоязычную версию Llama3, мы надеемся, что это будет означать, что в будущем все больше версий моделей Meta будут иметь многоязычную поддержку.

Мультимодальная поддержка (т.е. генерация и прием изображений и видео), очевидно, также не за горами. Meta выпустила отдельный генератор изображений вместе с Llama3, но на их решение отказаться от настоящей мультимодальной поддержки, возможно, повлияла негативная реакция, с которой другие компании столкнулись из-за недостатков в своих мультимодальных моделях. Однако я с нетерпением жду будущего здесь, особенно учитывая продемонстрированную Meta приверженность обеспечению безопасности своих моделей.

LlaMa3 смотрит в будущее

В отличие от многих компаний, работающих в настоящее время в сфере искусственного интеллекта, Meta (хотя и запускает еще одного помощника по искусственному интеллекту наряду с Llama3), похоже, не отчаянно спешит на рынок. Хотя Meta, возможно, все еще догоняет таких игроков, как Google и OpenAI, его модели становятся все более мощными, и при этом основное внимание уделяется всем нужным областям, включая простую поддержку разработчиков, масштабируемость, поддержку платформы и общую безопасность ИИ. Эти проблемы часто игнорируются компаниями, которые уделяют больше внимания выводу продукта на рынок. Добьется ли здесь успеха Meta, сказать невозможно. Независимо от того, является ли Мета просто вялым или терпеливым, ее подход уже выделяется как совершенно уникальный. Несмотря на это, мы с нетерпением ждем будущего Llama3.