Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0301· OpenAIAi2 WildChat-4.8M (AI2)

class Tasks(db.Model): tablename = ‘tasks’ searchable = [‘task’, ‘id’] # these fields…

  1. User

    class Tasks(db.Model): tablename = ‘tasks’ searchable = [‘task’, ‘id’] # these fields will be indexed by whoosh

    id = db.Column(db.Integer, primary_key=True, autoincrement=True) url = db.Column(db.String(120), comment=“ЧПУ задачи в адресе (транслитом)”) task = db.Column(db.Text, comment=‘Условие задачи’) answer = db.Column(db.Text, comment=‘Ответ’) status = db.Column(db.Boolean, default=0, comment=‘Статус: опубликована/неактивна (по умолчанию нет)’) created_t = db.Column(db.DateTime, comment=‘Дата и время создания’) level = db.Column(db.SmallInteger, default=1, comment=‘Уровень сложности: 1,2 … (по умолчанию 1 уровень)’)

    связи

    topics = db.relationship(‘Topics’, secondary=tasks_topics, back_populates=“tasks”) есть вот такой класс. Я попытался сделать полнотекстовый поиск с помощью whoosh schema = Schema(id=ID(stored=True), task=TEXT(stored=True), answer=TEXT(stored=True))

    index_dir = 'tasks_index' if not os.path.exists(index_dir): os.mkdir(index_dir) ix = create_in(index_dir, schema)

    ix = open_dir(index_dir)

    writer = ix.writer() all_tasks = Tasks.query.all() for task in all_tasks: writer.add_document(id=str(task.id), task=task.task, answer=task.answer) writer.commit()

    with ix.searcher() as searcher: query = QueryParser('task', ix.schema).parse('решить') results = searcher.search(query) print(results) line 573, in writer.add_document(id=str(task.id), task=task.task, answer=task.answer) raise IndexingError("This writer is closed") whoosh.writing.IndexingError: This writer is closed. Как это исправить?

  2. Assistant

    Ошибка возникает потому, что вы пытаетесь добавить документы в индекс после того, как писатель (writer) был закрыт. В вашем случае это происходит потому, что вы закрываете писатель (writer) после добавления каждого документа. Это неправильно, потому что каждое закрытие писателя приводит к сохранению всех документов в индексе, а это может занять значительное количество времени.

    Для исправления ошибки вам нужно сначала добавить все документы в индекс, а затем закрыть писателя. Вот как можно переписать ваш код:

    schema = Schema(id=ID(stored=True), task=TEXT(stored=True), answer=TEXT(stored=True))

    index_dir = 'tasks_index' if not os.path.exists(index_dir): os.mkdir(index_dir) ix = create_in(index_dir, schema) else: ix = open_dir(index_dir)

    writer = ix.writer() all_tasks = Tasks.query.all() for task in all_tasks: writer.add_document(id=str(task.id), task=task.task, answer=task.answer)

    writer.commit() # добавление всех документов и сохранение их в индексе writer.close() # закрытие писателя

    with ix.searcher() as searcher: query = QueryParser('task', ix.schema).parse('решить') results = searcher.search(query) print(results)

    Теперь писатель (writer) будет закрыт только один раз после добавления всех документов в индекс.

  3. User

    writer.close() # закрытие писателя AttributeError: 'SegmentWriter' object has no attribute 'close'

  4. Assistant

    Изменение к пакету Whoosh версии 2.7.0 привело к изменению некоторых методов, включая метод close() для SegmentWriter. В версии Whoosh 2.7.1, метод close() переименован в commit().

    Поэтому для закрытия писателя в версии Whoosh 2.7.1 и выше нужно использовать метод commit() вместо close(). Вот корректированный код с использованием метода commit():

    schema = Schema(id=ID(stored=True), task=TEXT(stored=True), answer=TEXT(stored=True))
    
    index_dir = 'tasks_index'
    if not os.path.exists(index_dir):
        os.mkdir(index_dir)
        ix = create_in(index_dir, schema)
    else:
        ix = open_dir(index_dir)
    
    writer = ix.writer()
    all_tasks = Tasks.query.all()
    for task in all_tasks:
        writer.add_document(id=str(task.id), task=task.task, answer=task.answer)
    
    writer.commit()  # добавление всех документов и сохранение их в индексе
    writer.commit()  # закрытие писателя
    
    with ix.searcher() as searcher:
        query = QueryParser('task', ix.schema).parse('решить')
        results = searcher.search(query)
        print(results)
    

    Теперь писатель (writer) будет закрыт только после добавления всех документов в индекс.

  5. User

    index_dir = 'tasks_index' if not os.path.exists(index_dir): os.mkdir(index_dir) ix = create_in(index_dir, schema) else: ix = open_dir(index_dir)

    writer = ix.writer() all_tasks = Tasks.query.all() for task in all_tasks: writer.add_document(id=str(task.id), task=task.task, answer=task.answer)/ IndexingError("This writer is closed") whoosh.writing.IndexingError: This writer is closed

  6. Assistant

    Ошибка в том, что метод writer() возвращает новый писатель (writer) каждый раз при вызове, поэтому вы должны вызывать его за пределами цикла добавления документов. Также внутри цикла добавления документов вы не должны вызывать метод закрытия писателя (writer), иначе он будет закрыт после первого добавления документа.

    Вот исправленный код:

    schema = Schema(id=ID(stored=True), task=TEXT(stored=True), answer=TEXT(stored=True))
    
    index_dir = 'tasks_index'
    if not os.path.exists(index_dir):
        os.mkdir(index_dir)
        ix = create_in(index_dir, schema)
    else:
        ix = open_dir(index_dir)
    
    with ix.writer() as writer:
        all_tasks = Tasks.query.all()
        for task in all_tasks:
            writer.add_document(id=str(task.id), task=task.task, answer=task.answer)
    
    with ix.searcher() as searcher:
        query = QueryParser('task', ix.schema).parse('решить')
        results = searcher.search(query)
        print(results)
    

    В этом коде мы используем менеджер контекста (with ... as ...) для открытия писателя (writer) и автоматического закрытия его после добавления всех документов.