Skip to content
The Chat Archive
gpt-3.5-turbo-0301· OpenAI WildChat-4.8M (AI2)

У меня есть полнотекстовый поиск schema = Schema(id=ID(stored=True),…

  1. User

    У меня есть полнотекстовый поиск

    schema = Schema(id=ID(stored=True), task=TEXT(stored=True), answer=TEXT(stored=True), topics_name = TEXT(stored=True))

    index_dir = 'tasks_index' if not os.path.exists(index_dir): os.mkdir(index_dir) ix = create_in(index_dir, schema) else: ix = open_dir(index_dir)

    query_fields = ['task', 'topics_name','id','answer'] text_to_find_array = ['маши']

    with ix.searcher() as searcher: query = None for field in query_fields: for text_to_find in text_to_find_array: if query is None: query = QueryParser(field, ix.schema).parse(text_to_find) else: query |= QueryParser(field, ix.schema).parse(text_to_find)

    results = searcher.search(query, limit=None)
    print(results)
    for res in results:
        print(res)
    

    Мне нужно,чтобы для слова "маши" он находил также результаты "машинист","машина",'машине' и т.д.

  2. Assistant

    Для этого можно использовать FuzzyQuery вместо обычного QueryParser:

    from whoosh.qparser import FuzzyQuery

    query = None for field in query_fields: for text_to_find in text_to_find_array: if query is None: query = FuzzyQuery(field, text_to_find) else: query |= FuzzyQuery(field, text_to_find)

    FuzzyQuery ищет совпадения с учетом опечаток, поэтому для слова "маши" он будет находить также слова, похожие на него. Однако, стоит учитывать, что использование FuzzyQuery может привести к небольшому ухудшению точности поиска. Поэтому стоит оценить, насколько важно для вашего поиска находить также слова с опечатками, и выбирать подходящий метод поиска.

  3. User

    ImportError: cannot import name 'FuzzyQuery' from 'whoosh.qparser'

  4. Assistant

    Из сообщения об ошибке следует, что FuzzyQuery не найден в модуле whoosh.qparser. Вероятно, у вас установлена устаревшая версия Whoosh. FuzzyQuery появился в версии 2.7.0.

    Попробуйте обновить Whoosh до последней версии с помощью команды:

    pip install --upgrade whoosh
    

    Если обновление не помогло, попробуйте импортировать FuzzyTermPlugin и использовать его в парсере запросов:

    from whoosh.qparser import QueryParser
    from whoosh.qparser.plugins import FuzzyTermPlugin
    
    qp = QueryParser(field, schema, plugins=[FuzzyTermPlugin()])
    query = qp.parse(text_to_find)
    

    FuzzyTermPlugin позволяет использовать "фаззи-синтаксис" в запросе. Например, для поиска слова "маши" можно использовать запрос "маши~", который будет искать слова, похожие на "маши" с помощью модуля fuzzywuzzy.