Поиск труден . Это важная часть многих приложений, но сделать это правильно непросто.…
- User
Поиск труден . Это важная часть многих приложений, но сделать это правильно непросто. Это особенно актуально для RAG-конвейеров, где качество извлечения может повлиять на весь процесс или разрушить его.
Хотя семантический поиск в моде, старый добрый лексический поиск по-прежнему остается основой. Семантические методы могут улучшить результаты, но они работают лучше всего, когда добавляются к прочной основе текстового поиска.
В этом посте мы рассмотрим, как использовать Postgres для создания надежной поисковой системы. Мы объединим три метода:
Полнотекстовый поиск с tsvector Семантический поиск с pgvector Нечеткое сопоставление с pg_trgm Бонус: БМ25Возможно, этот подход не является лучшим для каждой ситуации, но он является отличной альтернативой настройке отдельной службы поиска. Это надежная отправная точка, которую вы можете реализовать и масштабировать в существующей базе данных Postgres.
Я не буду вдаваться в подробности, почему вам следует просто использовать Postgres™️ для всего, но если вы хотите об этом прочитать, вот несколько хороших ресурсов:
Postgres — это все, что вам нужно, даже для векторов. Просто используйте Postgres для всего значок сайта www.amazingcto.com PostgreSQL достаточно значок сайта gist.github.com - Assistant
Поиск данных в современных приложениях является сложной задачей, требующей тщательной проработки и оптимизации. В этом посте мы подробно рассмотрим, как использовать возможности PostgreSQL для создания надежной и эффективной системы поиска. Мы объединим следующие методы:
-
Полнотекстовый поиск с помощью
tsvector
Позволяет эффективно искать текстовые данные, учитывая морфологические формы слов, синонимы и стоп-слова. PostgreSQL предоставляет встроенные инструменты для выполнения полнотекстового поиска, что позволяет обойтись без дополнительного программного обеспечения. -
Семантический поиск с использованием
pgvector
Позволяет сравнивать векторные представления данных для поиска по смысловому сходству. Это особенно полезно при работе с большими объемами неструктурированных данных или при необходимости поиска по контексту. -
Нечеткое сопоставление с использованием
pg_trgm
Предоставляет возможность искать схожие строки и исправлять опечатки, используя триграммы. Этот метод улучшает пользовательский опыт, позволяя находить результаты даже при неточных запросах. -
Бонус: Ранжирование результатов с помощью BM25
Алгоритм BM25 используется для оценки релевантности документов в информационном поиске. В PostgreSQL можно использовать расширения для интеграции BM25 и улучшения качества ранжирования результатов поиска.
Давайте рассмотрим каждый из этих методов подробнее и увидим, как их можно реализовать в PostgreSQL.
Полнотекстовый поиск с помощью
tsvectorиtsqueryPostgreSQL предоставляет мощные встроенные средства для полнотекстового поиска, используя типы данных
tsvectorиtsquery. Вот как это работает:- Индексирование данных: Преобразуем текстовые данные в тип
tsvector, который создает лексемы из текста.
ALTER TABLE articles ADD COLUMN tsv tsvector; UPDATE articles SET tsv = to_tsvector('russian', content); CREATE INDEX idx_articles_tsv ON articles USING gin(tsv);- Выполнение поискового запроса: Используем функцию
to_tsqueryдля преобразования поискового запроса в типtsquery.
SELECT * FROM articles WHERE tsv @@ to_tsquery('russian', 'поиск & postgres');Этот запрос найдет все статьи, где встречаются слова "поиск" и "postgres".
Семантический поиск с использованием
pgvectorРасширение
pgvectorпозволяет хранить и искать по векторным представлениям, что открывает возможности для семантического поиска.- Установка расширения:
CREATE EXTENSION IF NOT EXISTS vector;- Добавление векторного представления: Предположим, у нас есть функция, которая преобразует текст в вектор (например, с помощью модели машинного обучения).
ALTER TABLE articles ADD COLUMN embedding vector(300); UPDATE articles SET embedding = generate_embedding(content);- Поиск по семантическому сходству:
SELECT * FROM articles ORDER BY embedding <=> generate_embedding('Ваш поисковый запрос') LIMIT 10;Здесь
<=>используется для расчета эвклидового расстояния между векторами.Нечеткое сопоставление с использованием
pg_trgmРасширение
pg_trgmпозволяет осуществлять нечеткий поиск, основываясь на схожести строк.- Установка расширения:
CREATE EXTENSION IF NOT EXISTS pg_trgm;- Создание индекса:
CREATE INDEX idx_articles_content_trgm ON articles USING gin (content gin_trgm_ops);- Поиск с учетом схожести:
SELECT * FROM articles WHERE content ILIKE '%поиск%' ORDER BY similarity(content, 'поиск') DESC LIMIT 10;Или используем оператор
%для нечеткого сопоставления:SELECT * FROM articles WHERE content % 'поиск';Ранжирование результатов с помощью BM25
Алгоритм BM25 позволяет оценивать релевантность документов к запросу.
- Использование расширения
rank_bm25:
Установим расширение (если доступно):
CREATE EXTENSION IF NOT EXISTS pg_trgm;- Выполнение поискового запроса с ранжированием:
SELECT *, ts_rank_cd(tsv, to_tsquery('russian', 'поиск')) AS rank FROM articles WHERE tsv @@ to_tsquery('russian', 'поиск') ORDER BY rank DESC LIMIT 10;Функция
ts_rank_cdиспользует алгоритм ранжирования BM25 для сортировки результатов по релевантности.
Заключение
Объединяя эти методы, мы можем построить мощную и гибкую систему поиска на базе PostgreSQL. Она будет учитывать не только точные совпадения по ключевым словам, но и семантическую близость и нечеткие соответствия, что значительно улучшит качество поиска и удовлетворенность пользователей.
Преимущества использования PostgreSQL для этой цели:
- Интеграция: Все хранится и обрабатывается в одной базе данных без необходимости дополнительных инструментов.
- Производительность: Использование индексов и оптимизированных функций обеспечивает быстрый отклик на поисковые запросы.
- Масштабируемость: PostgreSQL хорошо справляется с большими объемами данных и позволяет масштабировать систему по мере роста требований.
Дополнительные ресурсы
Если вы хотите глубже изучить тему и узнать, почему PostgreSQL может быть универсальным решением для ваших задач, рекомендуем ознакомиться со следующими материалами:
- Postgres — это все, что вам нужно, даже для векторов.
- Просто используйте Postgres для всего – статья на сайте www.amazingcto.com
- PostgreSQL достаточно – статья на сайте gist.github.com
Примечание: Перед внедрением этих методов на production-системе рекомендуется протестировать их в тестовой среде и ознакомиться с документацией PostgreSQL по соответствующим расширениям и функциям.
-