Ученые из ETH Zurich в Швейцарии считают, что один из способов сделать большие языковые модели (LLM) более доступными и, возможно, немного более безопасными, заключается в том, чтобы не обращаться к ним непосредственно на естественном языке, таком как английский.
Скорее, они предлагают сделать LLM более программируемыми с помощью программирования языковых моделей (LMP).
Компьютерщики ETH Zurich Лука Бёрер-Келлнер, Марк Фишер, оба докторанта, и профессор Мартин Вечев разработали язык программирования и среду выполнения под названием LMQL, что означает Language Model Query Language.
Это немного похоже на SQL для LLM.
Программирование языковой модели предназначено для дополнения, а не замены текстовых подсказок. Он предназначен для упрощения взаимодействия с языковыми моделями для выполнения конкретной задачи, задачи, которую пытаются решить связанные проекты, такие как PromptChainer, langchain, OpenPrompt и PromptSource.
«LMP обобщает подсказки языковой модели от чисто текстовых подсказок до интуитивно понятной комбинации текстовых подсказок и сценариев», — объясняют авторы в исследовательской статье. [PDF]. «Кроме того, LMP позволяет указывать ограничения для выходных данных языковой модели».
И когда LLM можно уговорить говорить ужасные вещи, ограничение их производительности имеет определенную привлекательность.
Другие, такие как Nvidia, также, похоже, убеждены, что укрощение производительности LLM — цель, к которой стоит стремиться. Проект NeMo Guardrails от производителя чипов обещает «конкретные способы управления выводом большой языковой модели, например, запрет на обсуждение политики…»
LMQL позволяет разработчикам моделей объявлять логические ограничения, управляющие выводом модели. Они превращаются в «маски прогнозирования на уровне токенов» — токены — это то, с чем имеют дело LLM.
Вот пример из документации о запросе LMQL:
argmax """Review: We had a great stay. Hiking in the mountains was fabulous and the food is really good. Q: What is the underlying sentiment of this review and why? A:[ANALYSIS] Based on this, the overall sentiment of the message can be considered to be[CLASSIFICATION]""" from "openai/text-davinci-003" where not "\n" in ANALYSIS and CLASSIFICATION in [" positive", " neutral", " negative"]
Выход модели будет:
Review: We had a great stay. Hiking in the mountains was fabulous and the food is really good.⏎ Q: What is the underlying sentiment of this review and why?⏎ A: ANALYSIS⏎ Based on this, the overall sentiment of the message can be considered to be CLASSIFICATION positive
При отсутствии трех ограничений – положительный, нейтральный, отрицательный – модель могла сойти с рельсов и предложить какой-нибудь сумасшедший дескриптор настроений, например хороший или плохой. Вы поняли идею.
«Используя LMQL, вы можете ограничить свою языковую модель так, чтобы она строго следовала разработанной вами конкретной структуре», — сказал Лука Берер-Келлнер в заявлении для прессы ETH Zurich. «Это позволяет вам лучше контролировать поведение языковой модели. Конечно, полностью гарантированного предотвращения плохого поведения по-прежнему очень трудно добиться, но LMQL — один из шагов в этом направлении».
Ограничение вывода — серьезная проблема для LLM, известных тем, что их легко уговорить извергнуть токсичный контент из непроверенных данных обучения, хотя это не единственная проблема. Существует также проблема манипулятивного ввода, в частности атак с быстрым внедрением.
Саймон Уиллисон, который говорил с Регистр Недавно об этой проблеме выразили скептицизм в отношении того, что LMQL может полностью смягчить мошенничество с подсказками. «Мне нужно, чтобы они встали и сказали: «Особенно в отношении быстрой инъекции… вот почему наша методика решает проблему там, где предыдущие попытки не увенчались успехом», — сказал он.
Хотя LMQL утверждает, что имеет некоторую полезность для повышения безопасности LLM, его основной целью, по-видимому, является экономия денег. Язык сокращает модельные запросы и количество оплачиваемых токенов на 41% и 31% соответственно, что, в свою очередь, требует меньше вычислительных ресурсов.
«LMQL использует пользовательские ограничения и запрограммированные подсказки для сокращения пространства поиска LM путем маскирования, что приводит к снижению стоимости логического вывода до 80 процентов», — заявляют ученые, отмечая, что задержка также снижается.
Для платных API, таких как предлагаемые OpenAI, они прогнозируют экономию средств в диапазоне от 26 до 85 процентов, исходя из цены 0,02 доллара за 1 тысячу токенов модели GPT-3 davinci. ®
