[ad_1]
Pinecone модернизировал свою векторную базу данных, ориентируясь на предприятия, которые стремятся повысить производительность в проектах машинного обучения.
Pinecone, созданный командой Amazon Sagemaker, позволяет инженерам машинного обучения выполнять поиск в каталогах встраиваний, непрерывных векторных представлений отдельных переменных, имеющих фундаментальное значение для распространенных алгоритмов машинного обучения, таких как word2vec.
В итерации 2.0 компания обещает хранение метаданных, таких как тема, автор и категория, для каждого элемента, что позволяет пользователям фильтровать векторные поиски по этим критериям за один этап.
Эдо Либерти, основатель и генеральный директор Pinecone, сказал, что в то время как реляционные базы данных используют SQL для организации и запроса данных, а текстовые документы требуют индекса, модели машинного обучения относятся к значениям или настроениям, представленным в многомерных векторах.
“Вам не важны конкретные слова; вы заботитесь о значениях и настроениях. Вам нужно делать это с помощью ИИ, и то, как это делается, не возвращается в инвертированном индексе, это делается с помощью векторного представления объектов, как модели глубокого обучения представляют собой текст “.
Бывший директор по исследованиям и разработкам Yahoo и AWS добавил: «У компаний есть эти представления данных и связанные с ними метаданные, чтобы вы знали, было ли предложение взято из определенного документа, его конкретное время, и произнесено ли оно конкретным человеком и и так далее. Все это индексируется Pinecone, становится доступным для поиска, нарезки и кости “.
Вторая разработка, восхваляемая вендором, – это объединение данных в памяти и на диске в одной системе, которая, по утверждению Liberty, будет выполнять одни и те же рабочие нагрузки за десятую часть стоимости, избегая переноса данных с диска в более дорогие системы RAM.
Liberty также сообщила, что компания улучшила горизонтальное масштабирование с помощью архитектуры, предназначенной для использования Kafka и Kubernetes, чтобы сделать векторную базу данных такой же надежной, как и любую другую базу данных корпоративного уровня.
Хён Пак, главный аналитик Amalgam Insights, сказал, что по мере того, как машинное и глубокое обучение все больше становится обычными бизнес-возможностями, организации столкнутся с ограничениями производительности в стандартных реляционных базах данных.
Для тех, кто начинает с нуля создавать архитектуру машинного обучения, было бы выгодно начать с должным образом спроектированных баз данных.
«Поиск на основе векторов – важный аспект, который следует учитывать, – сказал он, – поскольку он позволяет улучшить контекст, больше использовать человеческий язык и лучше согласовать графические и звуковые двоичные файлы с существующими семантическими таксономиями.
«С практической точки зрения векторный поиск помогает компаниям лучше согласовывать сложный текст, речь, изображения, видео и звуки с существующими бизнес-подразделениями, категориями и целями».
Парк сказал, что векторный поиск следует рассматривать как «следующий шаг» для организаций, желающих внести «целостность своей экосистемы данных в свои усилия по машинному обучению и искусственному интеллекту». ®
[ad_2]
