Skip to content
TheChatArchiveThe Chat Archive
o1-preview-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

Поиск труден . Это важная часть многих приложений, но сделать это правильно непросто.…

  1. User

    Поиск труден . Это важная часть многих приложений, но сделать это правильно непросто. Это особенно актуально для RAG-конвейеров, где качество извлечения может повлиять на весь процесс или разрушить его.

    Хотя семантический поиск в моде, старый добрый лексический поиск по-прежнему остается основой. Семантические методы могут улучшить результаты, но они работают лучше всего, когда добавляются к прочной основе текстового поиска.

    В этом посте мы рассмотрим, как использовать Postgres для создания надежной поисковой системы. Мы объединим три метода:

    Полнотекстовый поиск с tsvector
    Семантический поиск с pgvector
    Нечеткое сопоставление с pg_trgm
    Бонус: БМ25
    

    Возможно, этот подход не является лучшим для каждой ситуации, но он является отличной альтернативой настройке отдельной службы поиска. Это надежная отправная точка, которую вы можете реализовать и масштабировать в существующей базе данных Postgres.

    Я не буду вдаваться в подробности, почему вам следует просто использовать Postgres™️ для всего, но если вы хотите об этом прочитать, вот несколько хороших ресурсов:

    Postgres — это все, что вам нужно, даже для векторов.
    Просто используйте Postgres для всего значок сайта www.amazingcto.com
    PostgreSQL достаточно значок сайта gist.github.com
    
  2. Assistant

    Поиск данных в современных приложениях является сложной задачей, требующей тщательной проработки и оптимизации. В этом посте мы подробно рассмотрим, как использовать возможности PostgreSQL для создания надежной и эффективной системы поиска. Мы объединим следующие методы:

    1. Полнотекстовый поиск с помощью tsvector
      Позволяет эффективно искать текстовые данные, учитывая морфологические формы слов, синонимы и стоп-слова. PostgreSQL предоставляет встроенные инструменты для выполнения полнотекстового поиска, что позволяет обойтись без дополнительного программного обеспечения.

    2. Семантический поиск с использованием pgvector
      Позволяет сравнивать векторные представления данных для поиска по смысловому сходству. Это особенно полезно при работе с большими объемами неструктурированных данных или при необходимости поиска по контексту.

    3. Нечеткое сопоставление с использованием pg_trgm
      Предоставляет возможность искать схожие строки и исправлять опечатки, используя триграммы. Этот метод улучшает пользовательский опыт, позволяя находить результаты даже при неточных запросах.

    4. Бонус: Ранжирование результатов с помощью BM25
      Алгоритм BM25 используется для оценки релевантности документов в информационном поиске. В PostgreSQL можно использовать расширения для интеграции BM25 и улучшения качества ранжирования результатов поиска.

    Давайте рассмотрим каждый из этих методов подробнее и увидим, как их можно реализовать в PostgreSQL.


    Полнотекстовый поиск с помощью tsvector и tsquery

    PostgreSQL предоставляет мощные встроенные средства для полнотекстового поиска, используя типы данных tsvector и tsquery. Вот как это работает:

    1. Индексирование данных: Преобразуем текстовые данные в тип tsvector, который создает лексемы из текста.
    ALTER TABLE articles ADD COLUMN tsv tsvector;
    
    UPDATE articles SET tsv = to_tsvector('russian', content);
    
    CREATE INDEX idx_articles_tsv ON articles USING gin(tsv);
    
    1. Выполнение поискового запроса: Используем функцию to_tsquery для преобразования поискового запроса в тип tsquery.
    SELECT * FROM articles
    WHERE tsv @@ to_tsquery('russian', 'поиск & postgres');
    

    Этот запрос найдет все статьи, где встречаются слова "поиск" и "postgres".

    Семантический поиск с использованием pgvector

    Расширение pgvector позволяет хранить и искать по векторным представлениям, что открывает возможности для семантического поиска.

    1. Установка расширения:
    CREATE EXTENSION IF NOT EXISTS vector;
    
    1. Добавление векторного представления: Предположим, у нас есть функция, которая преобразует текст в вектор (например, с помощью модели машинного обучения).
    ALTER TABLE articles ADD COLUMN embedding vector(300);
    
    UPDATE articles SET embedding = generate_embedding(content);
    
    1. Поиск по семантическому сходству:
    SELECT * FROM articles
    ORDER BY embedding <=> generate_embedding('Ваш поисковый запрос')
    LIMIT 10;
    

    Здесь <=> используется для расчета эвклидового расстояния между векторами.

    Нечеткое сопоставление с использованием pg_trgm

    Расширение pg_trgm позволяет осуществлять нечеткий поиск, основываясь на схожести строк.

    1. Установка расширения:
    CREATE EXTENSION IF NOT EXISTS pg_trgm;
    
    1. Создание индекса:
    CREATE INDEX idx_articles_content_trgm ON articles USING gin (content gin_trgm_ops);
    
    1. Поиск с учетом схожести:
    SELECT * FROM articles
    WHERE content ILIKE '%поиск%'
    ORDER BY similarity(content, 'поиск') DESC
    LIMIT 10;
    

    Или используем оператор % для нечеткого сопоставления:

    SELECT * FROM articles
    WHERE content % 'поиск';
    

    Ранжирование результатов с помощью BM25

    Алгоритм BM25 позволяет оценивать релевантность документов к запросу.

    1. Использование расширения rank_bm25:

    Установим расширение (если доступно):

    CREATE EXTENSION IF NOT EXISTS pg_trgm;
    
    1. Выполнение поискового запроса с ранжированием:
    SELECT *, ts_rank_cd(tsv, to_tsquery('russian', 'поиск')) AS rank
    FROM articles
    WHERE tsv @@ to_tsquery('russian', 'поиск')
    ORDER BY rank DESC
    LIMIT 10;
    

    Функция ts_rank_cd использует алгоритм ранжирования BM25 для сортировки результатов по релевантности.


    Заключение

    Объединяя эти методы, мы можем построить мощную и гибкую систему поиска на базе PostgreSQL. Она будет учитывать не только точные совпадения по ключевым словам, но и семантическую близость и нечеткие соответствия, что значительно улучшит качество поиска и удовлетворенность пользователей.

    Преимущества использования PostgreSQL для этой цели:

    • Интеграция: Все хранится и обрабатывается в одной базе данных без необходимости дополнительных инструментов.
    • Производительность: Использование индексов и оптимизированных функций обеспечивает быстрый отклик на поисковые запросы.
    • Масштабируемость: PostgreSQL хорошо справляется с большими объемами данных и позволяет масштабировать систему по мере роста требований.

    Дополнительные ресурсы

    Если вы хотите глубже изучить тему и узнать, почему PostgreSQL может быть универсальным решением для ваших задач, рекомендуем ознакомиться со следующими материалами:

    • Postgres — это все, что вам нужно, даже для векторов.
    • Просто используйте Postgres для всего – статья на сайте www.amazingcto.com
    • PostgreSQL достаточно – статья на сайте gist.github.com

    Примечание: Перед внедрением этих методов на production-системе рекомендуется протестировать их в тестовой среде и ознакомиться с документацией PostgreSQL по соответствующим расширениям и функциям.