В прошлом месяце MongoDB анонсировала общедоступную предварительную версию Vector Search среди обновлений своей платформы для разработчиков своей базы данных Atlas как услуги. Этот шаг означает, что база данных документов MongoDB присоединяется к Cassandra, PostgreSQL и SingleStore среди систем, поддерживающих аналогичные функции, поскольку интерес к внедрению больших языковых моделей (LLM) в производство набирает обороты.
LLM получили много шума за последние шесть месяцев, а OpenAI GPT 4.0 поглотил львиную долю эфирного времени в СМИ. Идея состоит в том, чтобы извлечь некоторое значение — в форме ответа на вопрос на естественном языке из корпуса текста. Отношения между словами, предложениями и другими текстовыми единицами представлены в виде многомерных векторов (иногда насчитывающих сотни измерений), которые затем разрешаются для поиска наиболее вероятной связи.
Предвидя бум этой формы анализа текста и других данных, группа поставщиков разработала специализированные базы данных с архитектурой, разработанной специально для этой задачи. Вопрос в том, лучше ли использовать базу данных или использовать новые возможности системы, уже знакомой разработчикам и предприятиям, с выделенным в стеке технологий домом.
Однако MongoDB утверждает, что одноцелевые базы данных для вариантов использования, таких как векторные хранилища, часто были привязаны к существующим технологическим стекам, что приводило к большей административной сложности и увеличению времени окупаемости. Этот подход также требовал от разработчиков изучения новой системы.
Говоря с РегистрБен Фласт, руководитель отдела управления продуктами Vector Search, сказал, что многомерные векторы могут храниться в документах JSON, вокруг которых разработана MongoDB.
«Включить эти многомерные векторы в ваши документы довольно просто», — сказал он. «По мере того, как вы хотите добавить семантический поиск в качестве возможности своего приложения, возникают другие новые варианты использования LLM и чат-ботов, [you can] возьмите те же данные, которые вы хранили внутри своего развертывания MongoDB. Вы можете внедрить или векторизовать его, добавить этот вектор в отдельные документы, а затем создать для него индекс. Затем мы управляем всей сложностью за кулисами с точки зрения наличия этого индекса и поддержки этих запросов».
Другие популярные базы данных разработчиков, включая реляционную систему с открытым исходным кодом PostgreSQL и хранилище с широкими столбцами Cassandra, поддерживают аналогичные функции. Pgvector — векторное расширение с открытым исходным кодом для поиска сходства для PostgreSQL. «Поскольку при встраивании векторов вы можете использовать инструменты ИИ для фиксации отношений между объектами (векторными представлениями), вы также можете легко вычислять и масштабировать сходство между ними», — говорит поставщик услуг баз данных Айвен.
Функции Cassandra доступны в службе баз данных DataStax Astra и должны быть включены в Cassandra 5.0 с открытым исходным кодом позже в этом году. Патрик Макфадин, коммитер Apache Cassandra и вице-президент по связям с разработчиками в DataStax, сказал: Регистр: «Несколько новых стартапов создали бизнес, создав специализированную базу данных векторного поиска. Однако этот ограниченный подход позволяет избежать других важных данных в рабочих нагрузках ИИ. Эти стартапы взяли одну функцию и попытались преобразовать ее в отдельный продукт.
«В то время как векторный поиск когда-то был нишевым отраслевым требованием, эти новые продукты соответствуют только этим нишевым требованиям. В настоящее время, когда векторный поиск стал основным требованием, основные базы данных включают векторный поиск в качестве функции для своих разработчиков».
Но для специалистов вопрос масштаба и производительности, а не удобства разработчика, обеспечит постоянный спрос на их подход.
Созданный командой Amazon Sagemaker, Pinecone позволяет инженерам по машинному обучению выполнять поиск по каталогам вложений, непрерывных векторных представлений отдельных переменных, лежащих в основе общих алгоритмов машинного обучения. В апреле он привлек 100 миллионов долларов в рамках финансирования серии B, в результате чего оценочная стоимость составила 750 миллионов долларов.
Говоря с Регистрвице-президент по продукту Pinecone Элан Декель сказал, что, хотя в ближайшем будущем каждая база данных, вероятно, будет иметь некоторую поддержку векторов, это может быть не самый эффективный подход для всех случаев использования.
«Если ваш вариант использования относительно невелик, то [a general purpose system is] Возможно, этого достаточно, — сказал он. — Но в какой-то момент вы поймете, что начинаете нарушать ограничения существующей архитектуры. Если вы хотите достичь реального масштаба производства, модернизация существующих решений будет означать взрывной рост затрат для достижения этой производительности.
«Если ваш вариант использования относительно невелик или вы не заботитесь о производительности, все будет в порядке. Будут такие варианты использования среднего уровня, где вы можете с радостью продолжить, но когда вы дойдете до реального производства масштабирование, вы начнете достигать пределов существующих систем.Если вам нужна высокая производительность, поддержка крупномасштабных систем и вы хотите, чтобы это было эффективно и по разумной цене, вы в конечном итоге поймете, что вам нужна специально созданная база данных. “
Петр Зайцев, эксперт по производительности MySQL и основатель компании по обслуживанию баз данных Percona, сказал, что у этой дилеммы не будет ни одного ответа.
«Довольно часто на ранней стадии на рынке появляется несколько технологий с немного разными подходами, функциями и направленностью, и рынку потребуется время, чтобы устояться», — сказал он. Регистр.
«В конце концов, я ожидаю, что стандарт SQL будет включать некоторые вещи для поддержки приложений векторного поиска, и у нас будут некоторые уникальные расширения в различных существующих базах данных, будь то реляционные, документные и т. д. Наряду с этим мы получим от трех до пяти векторные базы данных специального назначения, контролирующие 95 процентов рынка векторных баз данных специального назначения».
Среди специализированных систем векторных баз данных к Pinecone присоединились Weaviate, Qdrant, Milvus и Vespa.
Ноэль Юханна, вице-президент и главный аналитик Forrester Research, сказал, что слышал положительные отзывы от организаций, использующих эти системы, которые обещают контроль доступа, высокую доступность, преобразование, оптимизацию запросов, управление ресурсами, масштабируемость, параллелизм и быстрые запросы данных, которые помогают поддерживать LLM.
Тем не менее, знание разработчиком будет сильным стимулом для большинства известных баз данных, поддерживающих векторный анализ.
«В то время как собственные векторные базы данных будут выделяться, имея более высокую производительность и масштабируемость, мы, вероятно, увидим, что организации также используют традиционные базы данных с векторными возможностями, которым требуются более интегрированные данные, включая системы записи, системы взаимодействия и векторные данные для предоставления гораздо более богатых приложений LLM. с меньшим кодированием», — сказал он.
Плакатный ребенок нынешней ажиотажной машины LLM OpenAI был оценен примерно в 29 миллиардов долларов в начале этого года, поскольку в него было вложено 300 миллионов долларов. Если бизнес-приложения отражают что-то подобное интересу, лучшие поддерживающие базы данных какое-то время бушуют. ®
