Meta выпустила еще одну своего рода открытую модель машинного обучения, на этот раз настроенную для генерации исходного кода программного обеспечения.
Code Llama — это семейство больших языковых моделей (отсюда и случайное название «LLaMA»), основанное на модели Llama 2, выпущенной в июле. Он был прекрасно настроен и обучен выдавать и обсуждать исходный код в ответ на текстовые подсказки, а не в виде прозы, как его прародитель.
Как и все передовые технологии, Code Llama сопряжена с рисками.
«Code Llama потенциально может использоваться в качестве инструмента повышения производительности и обучения, который поможет программистам писать более надежное, хорошо документированное программное обеспечение», — заявила Meta в заявлении в четверг.
Если вы попросите Code Llama написать функцию, которая создает последовательность Фибоначчи, модель сгенерирует как код, так и естественный язык, объясняющий источник, говорит Мета. И модель ИИ может делать это на Python, C++, Java, PHP, Typescript (Javascript), C#, Bash и других языках.
Однако пользователям рекомендуется обращаться к Code Llama на английском языке, поскольку модель не прошла тестирование на безопасность на других языках и может просто сказать что-то ужасное, если запросить ее на языке, выходящем за рамки области применения.
«Как и все передовые технологии, Code Llama сопряжена с рисками», — объясняет Meta, отмечая, что во время собственного тестирования красной командой по провоцированию создания вредоносного кода Code Llama ответила более безопасными ответами, чем ChatGPT (GPT3.5 Turbo).
По данным Meta, Code Llama превосходит LLM с открытым исходным кодом, специфичный для кода, и свою собственную родительскую Llama 2 в двух тестах — HumanEval и Mostly Basic Python Programming (MBPP) — и соответствует производительности ChatGPT OpenAI.
Code Llama поставляется в трех размерах — 7B, 13B и 34B параметров — и каждый вариант был обучен с использованием 500B токенов кода и данных, связанных с кодом. Один токен составляет примерно четыре символа в английском языке. Самая большая версия Кодекса OpenAI на момент ее выпуска имела 12B параметров.
По словам Меты, две самые маленькие модели Code Llama были обучены заполнять недостающий исходный код, что позволяет использовать их для завершения кода без дальнейшей тонкой настройки. Говорят, что версия 34B обеспечивает наилучшие результаты, но две меньшие реагируют быстрее, что делает их лучше для таких задач, как завершение кода, где заметна задержка.
Также есть два варианта: Code Llama – Python и Code Llama – Instruct. Первый вариант получен в результате тонкой настройки Code Llama с добавлением 100 миллиардов токенов кода Python. Последний был точно настроен для соответствия шаблонам ввода и вывода, что делает его более подходящим для генерации кода.
Надежность, кто-нибудь?
LLM часто дают неправильные ответы на запросы программирования, хотя многие разработчики, тем не менее, используют их для вызова шаблонов и параметров API или для того, чтобы избежать поисковых запросов и проверки документации.
Одним из преимуществ Code Llama является то, что он может обрабатывать ввод и вывод последовательностей кода, состоящих до 100 000 токенов. То есть вы можете запросить модель с помощью многих строк кода и получить подробный ответ.
«Помимо того, что наличие более длинных входных последовательностей является обязательным условием для создания более длинных программ, они открывают новые захватывающие варианты использования кода LLM», — объяснил Мета. «Например, пользователи могут предоставить модели больше контекста из своей кодовой базы, чтобы сделать поколения более актуальными. Это также помогает в отладке сценариев в более крупных базах кода, где разработчикам может быть сложно оставаться в курсе всего кода, связанного с конкретной проблемой. “
Пользователи могут предоставить модели больше контекста из своей кодовой базы, чтобы сделать поколения более актуальными.
Code Llama присоединяется к растущей области моделей, ориентированных на код, первоначально зародившихся Codex OpenAI и связанной с ним обремененной судебными разбирательствами службой предложений по программированию Copilot (2021) GitHub. Последовавшие за этим модели, позитивные для программирования, включают AlphaCode от DeepMind (2022 г.), GPT-4 от OpenAI (2023 г.), Amazon Code Whisperer (2023 г.) и Google’s Bard (2023), настроенный в апреле для генерации исходного кода.
Кроме того, существовали различные LLM с открытым исходным кодом (или своего рода открытые), такие как StarCoder и XGen, если назвать два.
Meta выпустила Code Llama под той же лицензией сообщества, что и Llama 2, сославшись на веру мегакорпорации в «открытый подход к ИИ» как лучший способ разработки инновационных, безопасных и ответственных инструментов.
Но, как было широко отмечено в случае с Llama 2, лицензия сообщества не является лицензией с открытым исходным кодом. «Открытый подход» Meta к ИИ закрыт для конкуренции – лицензия прямо запрещает использовать программное обеспечение «для улучшения любой другой большой языковой модели».
И хотя общественная лицензия Meta разрешает коммерческое использование различных лам, она подводит черту для сервисов с «более 700 миллионов активных пользователей в месяц».
Эта довольно избранная группа мегасервисов — YouTube, WeChat, TikTok, LinkedIn, Telegram, Snapchat и Douyin — среди платформ социальных сетей, еще не управляемых Meta, и, предположительно, компаний, использующих платформы на базе операционных систем, такие как Apple, Googleи Microsoft – «должны запросить у Meta лицензию, которую Meta может предоставить вам по своему усмотрению…» ®
