import os import tensorflow as tf from transformers import…
- User
import os import tensorflow as tf from transformers import TFDistilBertForQuestionAnswering, DistilBertTokenizer
загрузка модели
model = TFDistilBertForQuestionAnswering.from_pretrained('distilbert-base-uncased-distilled-squad')
загрузка токенизатора
tokenizer = DistilBertTokenizer.from_pretrained('distilbert-base-uncased-distilled-squad')
установим переменные окружения CUDA
os.environ['CUDA_VISIBLE_DEVICES'] = '0'
установка максимальной длины вопроса и контекста
max_query_length = 64 max_context_length = 512
функция для выполнения поиска ответа
def search_answer(question): # загружаем контекст из файла with open("гении для модели.txt", 'r') as f: context = f.read()
# объединяем вопрос и контекст в единую последовательность input_text = f"Question: {question} Context: {context}" # преобразуем последовательность в токены модели DistilBERT input_ids = tokenizer.encode(input_text) # разбиваем входную последовательность на вопрос и контекст input_tokens = tokenizer.convert_ids_to_tokens(input_ids) sep_index = input_ids.index(tokenizer.sep_token_id) num_tokens = len(input_ids) # разбиваем на вопрос и контекст context_ids = input_ids[sep_index+1:num_tokens] question_ids = input_ids[1:sep_index] # усекаем контекст, если его длина больше максимальной if len(context_ids) > max_context_length: context_ids = context_ids[:max_context_length] # усекаем вопрос, если его длина больше максимальной if len(question_ids) > max_query_length: question_ids = question_ids[:max_query_length] # составляем батч из пары контекст-вопрос input_ids = tokenizer.build_inputs_with_special_tokens( question_ids, context_ids) token_type_ids = tokenizer.create_token_type_ids_from_sequences( question_ids, context_ids) # преобразуем вход в формат, который принимает модель inputs = {"input_ids": tf.expand_dims(input_ids, 0), "token_type_ids": tf.expand_dims(token_type_ids, 0)} # получение ответа outputs = model(inputs) start_logits = outputs.start_logits end_logits = outputs.end_logits # получение индексов начала и конца ответа start_index = tf.argmax(start_logits, axis=1)[0].numpy().tolist() end_index = tf.argmax(end_logits, axis=1)[0].numpy().tolist() # получение ответа в формате строки answer = tokenizer.convert_tokens_to_string( tokenizer.convert_ids_to_tokens(context_ids[start_index:end_index+1])) return answerwhile True: # принимаем текстовый запрос пользователя question = input("Введите вопрос: ") # генерируем ответ на основе входного текста response = search_answer(question) # выводим ответ на экран print(response)
- Assistant
Добрый день! Я - виртуальный помощник, готовый ответить на ваши вопросы. Какой вопрос у вас есть для меня?