напиши мне обучаемый чатбот на python
- User
напиши мне обучаемый чатбот на python
- Assistant
Конечно, вот пример простого обучаемого чатбота на Python:
import os import json import random import nltk from nltk.stem import WordNetLemmatizer from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense, Dropout from tensorflow.keras.optimizers import SGD nltk.download('punkt') nltk.download('wordnet') lemmatizer = WordNetLemmatizer() intents_file = "intents.json" words = [] classes = [] documents = [] ignore_words = ['?', '!', '.', ','] data = [] with open(intents_file) as file: intents = json.load(file) for intent in intents["intents"]: for pattern in intent["patterns"]: # Токенизация предложения w = nltk.word_tokenize(pattern) words.extend(w) # Добавление пары (токенизированное предложение, тег) в список документов documents.append((w, intent["tag"])) # Добавление тега в список классов if intent["tag"] not in classes: classes.append(intent["tag"]) # Лемматизация и удаление дубликатов слов words = [lemmatizer.lemmatize(w.lower()) for w in words if w not in ignore_words] words = sorted(list(set(words))) # Создание данных для обучения training = [] output_empty = [0] * len(classes) for document in documents: bag = [] pattern_words = document[0] pattern_words = [lemmatizer.lemmatize(word.lower()) for word in pattern_words] for word in words: bag.append(1) if word in pattern_words else bag.append(0) output_row = list(output_empty) output_row[classes.index(document[1])] = 1 training.append([bag, output_row]) random.shuffle(training) training = np.array(training) # Разделение на обучающую и тестовую выборки train_x = list(training[:, 0]) train_y = list(training[:, 1]) # Создание модели нейронной сети model = Sequential() model.add(Dense(128, input_shape=(len(train_x[0]),), activation='relu')) model.add(Dropout(0.5)) model.add(Dense(64, activation='relu')) model.add(Dropout(0.5)) model.add(Dense(len(train_y[0]), activation='softmax')) # Компиляция модели sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True) model.compile(loss='categorical_crossentropy', optimizer=sgd, metrics=['accuracy']) # Обучение модели model.fit(np.array(train_x), np.array(train_y), epochs=200, batch_size=5, verbose=1) # Сохранение модели model.save("chatbot_model.h5") print("Обучение завершено.")Опишем основные шаги:
- Импортируем нужные библиотеки, включая nltk, keras и json.
- Скачиваем необходимые данные nltk (токенизатор и лемматизатор).
- Загружаем intents из файла json.
- Создаем список слов, классов и документов.
- Токенизируем предложения, лемматизируем слова и добавляем информацию о теге и словах в список документов.
- Создаем список уникальных слов и классов, а также список тренировочных данных.
- Случайно перемешиваем тренировочные данные и создаем тренировочные и выходные данные.
- Создаем модель нейронной сети с помощью Keras Sequential.
- Компилируем и обучаем модель на тренировочных данных.
- Сохраняем модель для использования в будущем.
Это базовый пример, и вы можете дополнить его функциональностью обработки входящих сообщений, предсказанием ответов и т.д.
Обратите внимание, что этот пример требует наличия модулей nltk, keras и tensorflow. Вы можете установить их с помощью pip:
pip install nltk pip install keras pip install tensorflowНадеюсь, это поможет вам начать создание своего обучаемого чатбота на Python!
- User
дополни его его функциональностью обработки входящих сообщений, предсказанием ответов и т.д.
- Assistant
Конечно, вот дополненный пример с функциональностью обработки входящих сообщений и предсказаниями ответов:
import numpy as np from tensorflow.keras.models import load_model model = load_model("chatbot_model.h5") # Загрузка предыдущих данных words = [] classes = [] documents = [] ignore_words = ['?', '!', '.', ','] data = [] with open('intents.json') as file: intents = json.load(file) # Получение списка слов, классов и документов из предыдущих данных words = intents['words'] classes = intents['classes'] documents = intents['documents'] # Загрузка лемматизатора lemmatizer = WordNetLemmatizer() # Обновление игнорируемых слов, если они изменились if 'ignore_words' in intents: ignore_words = intents['ignore_words'] def clean_up_sentence(sentence): # Токенизация входного предложения sentence_words = nltk.word_tokenize(sentence) # Лемматизация слов sentence_words = [lemmatizer.lemmatize(word.lower()) for word in sentence_words] return sentence_words def bag_of_words(sentence): sentence_words = clean_up_sentence(sentence) # Создание вектора со значением 0 для каждого слова в списке слов bag = [0] * len(words) for s in sentence_words: for i, word in enumerate(words): # Если текущее слово найдено в списке слов, добавляем 1 во вектор if word == s: bag[i] = 1 else: # Лемматизация входной фразы lemma = lemmatizer.lemmatize(s.lower()) # Если текущее слово найдено в списке слов после лемматизации, добавляем 1 во вектор if word == lemma: bag[i] = 1 return np.array(bag) def predict_class(sentence): # Получение вектора слов из входного предложения bow = bag_of_words(sentence) # Предсказание класса с помощью модели нейронной сети res = model.predict(np.array([bow]))[0] # Получение индекса максимального значения предсказания max_index = np.argmax(res) # Получение тега класса, соответствующего предсказанию tag = classes[max_index] # Получение индекса максимально вероятного значения предсказания max_value = max(res) # Если вероятность ниже порогового значения, возращаем None if max_value < 0.8: tag = "unknown" return tag def get_response(intents_list, intents_json): tag = intents_list[0]['intent'] list_of_intents = intents_json['intents'] for i in list_of_intents: if i['tag'] == tag: result = random.choice(i['responses']) break return result # Пример использования while True: user_input = input("Введите сообщение: ") predicted_class = predict_class(user_input) if predicted_class == "unknown": print("Я не понимаю. Попробуйте еще раз.") else: response = get_response(predicted_class, intents) print(response)В дополненном примере мы:
- Загружаем модель нейронной сети из сохраненного файла.
- Добавляем функции для очистки входного предложения от знаков препинания и лемматизации слов.
- Создаем функцию для преобразования предложения в вектор слов с использованием предварительно обработанных данных.
- Обновляем функцию
predict_class(), чтобы возвращать тег класса, соответствующий предсказанному значению, и добавляем пороговое значение для определения неизвестных предсказаний. - Добавляем функцию
get_response(), чтобы получить случайный ответ из файла intents.json на основе предсказанного класса. - Создаем цикл для ввода пользовательских сообщений и получения ответов от чатбота на основе предсказанных классов.
Убедитесь, что предварительно обученная модель
chatbot_model.h5и файл с даннымиintents.jsonнаходятся в той же папке, где находится скрипт.Вы можете расширить файл intents.json со своими собственными намерениями и ответами для обучения и дополнительной функциональности чатбота.
Надеюсь, это помогает!