OpenAI теперь предлагает тонкую настройку для GPT-3.5 Turbo

Теперь разработчики могут точно настроить модель OpenAI GPT-3.5 Turbo, чтобы улучшить ее производительность при выполнении конкретных задач, что потенциально делает ее более эффективной и дешевой для запуска более совершенной модели OpenAI GPT-4.

Точная настройка позволяет пользователям лучше формировать поведение и возможности уже обученной модели большого языка путем дальнейшего обучения ее на тщательно выбранных пользовательских данных. Например, чат-бот, посвященный здоровью и благополучию, основанный на языковой модели, настроенной на дополнительные медицинские рекомендации, с большей вероятностью будет генерировать более точные и эффективные ответы, чем обычная готовая система.

Поэтому в некоторых случаях организациям может быть лучше точно настроить GPT-3.5 Turbo OpenAI, чем использовать более мощную модель GPT-4.

«Ранние тесты показали, что доработанная версия GPT-3.5 Turbo может соответствовать базовым возможностям уровня GPT-4 или даже превосходить их в определенных узких задачах», — заявили в OpenAI. В суперлаборатории машинного обучения заявили, что должна быть возможность, например, направлять модель во время точной настройки, чтобы она последовательно генерировала текст на определенном языке, тоне или структуре.

Без тонкой настройки разработчикам приходится придумывать более эффективные подсказки для ввода, чтобы инструктировать большую языковую модель о том, как вести себя и выполнять задачи.

Каждый раз при запуске модели OpenAI взимает с пользователей плату за количество токенов, которые ему необходимо обработать во входном приглашении, а также за количество токенов, сгенерированных на выходе. Токен — это часть слова; для английских слов четыре или около того символа равны одному токену. Точная настройка может помочь снизить эти затраты, если удастся добиться той же производительности модели за счет более короткого приглашения на ввод.

По утверждению OpenAI, настроенная модель GPT-3.5 Turbo может сэкономить разработчикам деньги в долгосрочной перспективе, если ее дешевле использовать и в некоторых случаях она будет столь же эффективна, если не более эффективна, по сравнению с GPT-4 из коробки.

Мы видим, что это так: GPT-4 дороже в использовании, чем GPT-3.5 Turbo; если доработанная модель GPT-3.5 Turbo по-прежнему будет дешевле, чем GPT-4, то, что ж, вот вам и экономия. Предполагается, что GPT-4 будет более мощным, чем GPT-3.5 (хотя имейте в виду, что возможны регрессии, как мы подробно описали ранее), и точно настроенная модель GPT-3.5 может быть в состоянии догнать или перегнать GPT общего назначения. -4.

Также не забывайте: GPT-4 и GPT-3.5 лежат в основе бота ChatGPT; они также доступны через API OpenAI.

Беглый взгляд на страницу цен OpenAI показывает, что обработка входных данных и генерация выходных данных для точно настроенной модели GPT-3.5 Turbo обходится пользователям в 0,012 и 0,016 долларов США за 1000 токенов соответственно, что дешевле, чем базовые 0,03 и 0,06 долларов США за 1000 токенов для той же модели. вход и выход для GPT-4. Имейте в виду, что тонкая настройка GPT-3.5 Turbo приведет к дополнительным затратам на обучение в размере примерно 0,008 доллара США на 1000 токенов.

Тем не менее, трудно получить правильное сравнение яблок с яблоками с помощью OpenAI, поскольку эксплуатационные затраты модели зависят от размера контекстного окна — максимального количества токенов, которые модель может обработать за один входной запрос — который различается в зависимости от по конфигурации модели. Вот цены на GPT-4, который предлагает контекстные окна на 8000 и 32000 токенов:

Однако размер контекстного окна для точно настроенной модели GPT-3.5 Turbo не указан; оно может быть меньше 16 000. Нам известны размеры контекстных окон GPT-4 и GPT-3.5 Turbo, но не точно настроенного GPT-3.5 Turbo. Регистр обратился к OpenAI за разъяснениями; оно не дало ответа.

Ниже приведены цены на базовую модель GPT-3.5 Turbo с контекстными окнами на 4000 и 16000 токенов без тонкой настройки:

По оценкам OpenAI, точная настройка модели на обучающих данных, содержащих 100 000 токенов, для трех прогонов будет стоить 2,40 доллара.

«Точная настройка моделей GPT может сделать их лучше для конкретных приложений, но это требует тщательного инвестирования времени и усилий. Мы рекомендуем сначала попытаться получить хорошие результаты с помощью быстрого проектирования, цепочки подсказок (разбиение сложных задач на несколько подсказок) и функций. звоню”, – говорится в сообщении.

Между тем, использование доработанной модели GPT-3.5 Turbo может стоить до восьми раз дороже, чем базовая модель GPT 3.5 Turbo. Генерация выходных данных обычного GPT-3.5 Turbo составляет 0,002 доллара США за 1000 токенов, а для точно настроенного GPT-3.5 Turbo — 0,016 доллара США за 1000 токенов. Ниже представлена ​​полная стоимость:

Компаниям придется выяснить, стоит ли платить авансом за точную настройку модели для конкретной задачи или определить более эффективную подсказку, чтобы сэкономить последующие затраты на запуск ее в производство.

И да, похоже, что точно настроенные модели являются частными для соответствующих разработчиков, а данные обучения для точной настройки будут модерироваться.

OpenAI планирует предложить возможности тонкой настройки GPT-4 позднее в этом году. Подождем и посмотрим, какие будут цены на это. ®