Заказано Генеративный ИИ работает на основе данных, и многие организации пришли к выводу, что GenAI наиболее ценен, когда они объединяют его со своими уникальными и запатентованными данными. Но здесь кроется загадка. Как организация может воспользоваться сокровищницей своих данных, не подвергая свой бизнес неоправданному риску?
Многие организации решили эти проблемы, разработав специальное руководство о том, когда и как использовать генеративный ИИ с собственными данными. Другие организации полностью запретили его использование, опасаясь утечки ИС или раскрытия конфиденциальных данных.
Но что, если я скажу Вам, что есть простой путь вперед, который уже находится за Вашим брандмауэром либо в Вашем центре обработки данных, либо на рабочей станции? И замечательная новость заключается в том, что он не требует многомесячных циклов закупок или значительного развертывания минимально жизнеспособного продукта. Не убедились? Позвольте мне показать Вам, как это делается.
Шаг 1: Перепрофилируйте существующее оборудование для проведения испытаний
В зависимости от того, что Вы делаете с генеративным ИИ, рабочие нагрузки могут выполняться на любом оборудовании на пилотной стадии. Каким образом? С такими моделями существует фактически четыре этапа работы с данными. Первый и второй этапы – вывод и поиск-дополнение-генерация (RAG) – могут быть выполнены на относительно скромных аппаратных конфигурациях, в то время как последние два – тонкая настройка/обучение и создание новой модели – требуют обширной инфраструктуры, чтобы увидеть результаты. Более того, модели могут быть разных размеров, и не все должны быть “большой языковой моделью”. Поэтому мы видим, что многие организации добиваются успеха, используя “маленькие языковые модели”, предназначенные для очень узких областей применения. Это означает, что Вы можете перепрофилировать сервер, найти рабочую станцию, на которой может быть развернута такая модель, или, если Вы очень смелы, Вы даже можете загрузить LLaMA 2 на свой ноутбук и поиграть с ней. На самом деле не так уж и сложно поддерживать такой уровень экспериментов.
Шаг 2: Взять открытый исходный код
Пожалуй, нигде сообщество разработчиков открытого кода не находится так близко к краю возможного, как в GenAI. Мы видим, как относительно небольшие модели соперничают с некоторыми из самых крупных коммерческих внедрений на Земле по своим возможностям и применимости. Единственное, что мешает Вам начать работу, – это скорость загрузки. В Вашем распоряжении множество проектов с открытым исходным кодом, поэтому выберите дистрибутив и приступайте. После загрузки и установки Вы фактически активировали первую фазу GenAI: формирование выводов. Теоретически, на этом Ваши эксперименты могут закончиться, но что если, поработав еще немного, Вы сможете открыть настоящую магию?
Шаг 3: Определите Ваши сценарии использования
У Вас может возникнуть соблазн пропустить этот шаг, но я не рекомендую этого делать. Определите круг сценариев использования, которые Вы хотите решить. Следующий шаг – это сбор данных, и Вам необходимо убедиться, что Вы собираете правильные данные для получения правильных результатов с помощью предварительно обученного LLM с открытым исходным кодом, который Вы дополняете своими данными. Определите, кто будет Вашими пилотными пользователями, и спросите их о том, что для них важно – например, о текущем проекте, в котором они хотели бы получить помощь, и об имеющихся у них данных, с которыми было бы полезно провести пилотную работу.
Шаг 4: Активируйте функцию Retrieval-Augmented-Generation (RAG).
Вам может показаться, что добавление данных в модель звучит чрезвычайно сложно – именно такие вещи, как мы обычно думаем, требуют специалистов по анализу данных. Но знаете что: любая организация, в которой есть разработчик, может активировать генерацию с расширением поиска (retrieval-augmented generation, RAG). На самом деле, для многих случаев использования это может быть все, что Вам когда-либо потребуется сделать для добавления данных в генеративную модель ИИ. Как это работает? Эффективно RAG берет неструктурированные данные, такие как Ваши документы, изображения и видео, и помогает закодировать их и проиндексировать для использования. Мы сами опробовали эту систему, используя такие технологии с открытым исходным кодом, как LangChain, для создания векторных баз данных, которые позволяют модели GenAI анализировать данные менее чем за час. В результате получился полностью функционирующий чат-бот, который доказал эту концепцию в рекордно короткие сроки.
Диаграмма GenAI – Нажмите, чтобы увеличить
Источник: Dell Technologies
В заключение
Уникальные потребности и возможности GenAI создают уникальный опыт PoC, который может быть быстро опробован для получения немедленной выгоды и доказательства его ценности для организации. Пилотирование в собственной среде дает множество преимуществ с точки зрения безопасности и эффективности затрат, которые невозможно воспроизвести в публичном облаке.
Публичное облако отлично подходит для многих вещей, но за PoC Вам придется платить по капле, очень легко сжечь весь бюджет с пользователями, не имеющими опыта в оперативном проектировании. Публичное “облако” также не предлагает таких же гарантий защиты конфиденциальных и проприетарных данных. Это может привести к тому, что внутренние пользователи будут двигаться медленнее, поскольку каждый раз при использовании инструмента генеративного ИИ они будут задумываться о том, являются ли вводимые ими данные “безопасными”, которые можно использовать в данной конкретной системе. Как ни странно, это один из немногих случаев, когда центр обработки данных предлагает необычайно высокую маневренность и более низкие начальные затраты, чем его аналог – публичное облако.
Итак, идите, выделите время и проведите свой собственный PoC, а когда Вы будете готовы к следующему этапу, мы будем рады Вам помочь.
Вот где Вы можете узнать больше о решениях Dell Generative AI Solutions.
Предоставлено Вам компанией Dell Technologies.
