Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0613· OpenAIAi2 WildChat-4.8M (AI2)

напиши мне обучаемый чатбот на python

  1. User

    напиши мне обучаемый чатбот на python

  2. Assistant

    Конечно, вот пример простого обучаемого чатбота на Python:

    import os
    import json
    import random
    import nltk
    from nltk.stem import WordNetLemmatizer
    from tensorflow.keras.models import Sequential
    from tensorflow.keras.layers import Dense, Dropout
    from tensorflow.keras.optimizers import SGD
    
    nltk.download('punkt')
    nltk.download('wordnet')
    lemmatizer = WordNetLemmatizer()
    
    intents_file = "intents.json"
    
    words = []
    classes = []
    documents = []
    ignore_words = ['?', '!', '.', ',']
    data = []
    
    with open(intents_file) as file:
        intents = json.load(file)
    
    for intent in intents["intents"]:
        for pattern in intent["patterns"]:
            # Токенизация предложения
            w = nltk.word_tokenize(pattern)
            words.extend(w)
            # Добавление пары (токенизированное предложение, тег) в список документов
            documents.append((w, intent["tag"]))
            # Добавление тега в список классов
            if intent["tag"] not in classes:
                classes.append(intent["tag"])
    
    # Лемматизация и удаление дубликатов слов
    words = [lemmatizer.lemmatize(w.lower()) for w in words if w not in ignore_words]
    words = sorted(list(set(words)))
    
    # Создание данных для обучения
    training = []
    output_empty = [0] * len(classes)
    
    for document in documents:
        bag = []
        pattern_words = document[0]
        pattern_words = [lemmatizer.lemmatize(word.lower()) for word in pattern_words]
        for word in words:
            bag.append(1) if word in pattern_words else bag.append(0)
    
        output_row = list(output_empty)
        output_row[classes.index(document[1])] = 1
        training.append([bag, output_row])
    
    random.shuffle(training)
    training = np.array(training)
    
    # Разделение на обучающую и тестовую выборки
    train_x = list(training[:, 0])
    train_y = list(training[:, 1])
    
    # Создание модели нейронной сети
    model = Sequential()
    model.add(Dense(128, input_shape=(len(train_x[0]),), activation='relu'))
    model.add(Dropout(0.5))
    model.add(Dense(64, activation='relu'))
    model.add(Dropout(0.5))
    model.add(Dense(len(train_y[0]), activation='softmax'))
    
    # Компиляция модели
    sgd = SGD(lr=0.01, decay=1e-6, momentum=0.9, nesterov=True)
    model.compile(loss='categorical_crossentropy', optimizer=sgd, metrics=['accuracy'])
    
    # Обучение модели
    model.fit(np.array(train_x), np.array(train_y), epochs=200, batch_size=5, verbose=1)
    
    # Сохранение модели
    model.save("chatbot_model.h5")
    
    print("Обучение завершено.")
    

    Опишем основные шаги:

    1. Импортируем нужные библиотеки, включая nltk, keras и json.
    2. Скачиваем необходимые данные nltk (токенизатор и лемматизатор).
    3. Загружаем intents из файла json.
    4. Создаем список слов, классов и документов.
    5. Токенизируем предложения, лемматизируем слова и добавляем информацию о теге и словах в список документов.
    6. Создаем список уникальных слов и классов, а также список тренировочных данных.
    7. Случайно перемешиваем тренировочные данные и создаем тренировочные и выходные данные.
    8. Создаем модель нейронной сети с помощью Keras Sequential.
    9. Компилируем и обучаем модель на тренировочных данных.
    10. Сохраняем модель для использования в будущем.

    Это базовый пример, и вы можете дополнить его функциональностью обработки входящих сообщений, предсказанием ответов и т.д.

    Обратите внимание, что этот пример требует наличия модулей nltk, keras и tensorflow. Вы можете установить их с помощью pip:

    pip install nltk
    pip install keras
    pip install tensorflow
    

    Надеюсь, это поможет вам начать создание своего обучаемого чатбота на Python!

  3. User

    дополни его его функциональностью обработки входящих сообщений, предсказанием ответов и т.д.

  4. Assistant

    Конечно, вот дополненный пример с функциональностью обработки входящих сообщений и предсказаниями ответов:

    import numpy as np
    from tensorflow.keras.models import load_model
    
    model = load_model("chatbot_model.h5")
    
    # Загрузка предыдущих данных
    words = []
    classes = []
    documents = []
    ignore_words = ['?', '!', '.', ',']
    data = []
    
    with open('intents.json') as file:
        intents = json.load(file)
    
        # Получение списка слов, классов и документов из предыдущих данных
        words = intents['words']
        classes = intents['classes']
        documents = intents['documents']
    
        # Загрузка лемматизатора
        lemmatizer = WordNetLemmatizer()
        # Обновление игнорируемых слов, если они изменились
        if 'ignore_words' in intents:
            ignore_words = intents['ignore_words']
    
    def clean_up_sentence(sentence):
        # Токенизация входного предложения
        sentence_words = nltk.word_tokenize(sentence)
        # Лемматизация слов
        sentence_words = [lemmatizer.lemmatize(word.lower()) for word in sentence_words]
        return sentence_words
    
    def bag_of_words(sentence):
        sentence_words = clean_up_sentence(sentence)
        # Создание вектора со значением 0 для каждого слова в списке слов
        bag = [0] * len(words)
        for s in sentence_words:
            for i, word in enumerate(words):
                # Если текущее слово найдено в списке слов, добавляем 1 во вектор
                if word == s:
                    bag[i] = 1
                else:
                    # Лемматизация входной фразы
                    lemma = lemmatizer.lemmatize(s.lower())
                    # Если текущее слово найдено в списке слов после лемматизации, добавляем 1 во вектор
                    if word == lemma:
                        bag[i] = 1
        return np.array(bag)
    
    def predict_class(sentence):
        # Получение вектора слов из входного предложения
        bow = bag_of_words(sentence)
    
        # Предсказание класса с помощью модели нейронной сети
        res = model.predict(np.array([bow]))[0]
    
        # Получение индекса максимального значения предсказания
        max_index = np.argmax(res)
        # Получение тега класса, соответствующего предсказанию
        tag = classes[max_index]
    
        # Получение индекса максимально вероятного значения предсказания
        max_value = max(res)
        # Если вероятность ниже порогового значения, возращаем None
        if max_value < 0.8:
            tag = "unknown"
    
        return tag
    
    def get_response(intents_list, intents_json):
        tag = intents_list[0]['intent']
        list_of_intents = intents_json['intents']
        for i in list_of_intents:
            if i['tag'] == tag:
                result = random.choice(i['responses'])
                break
        return result
    
    # Пример использования
    while True:
        user_input = input("Введите сообщение: ")
        predicted_class = predict_class(user_input)
    
        if predicted_class == "unknown":
            print("Я не понимаю. Попробуйте еще раз.")
        else:
            response = get_response(predicted_class, intents)
            print(response)
    

    В дополненном примере мы:

    • Загружаем модель нейронной сети из сохраненного файла.
    • Добавляем функции для очистки входного предложения от знаков препинания и лемматизации слов.
    • Создаем функцию для преобразования предложения в вектор слов с использованием предварительно обработанных данных.
    • Обновляем функцию predict_class(), чтобы возвращать тег класса, соответствующий предсказанному значению, и добавляем пороговое значение для определения неизвестных предсказаний.
    • Добавляем функцию get_response(), чтобы получить случайный ответ из файла intents.json на основе предсказанного класса.
    • Создаем цикл для ввода пользовательских сообщений и получения ответов от чатбота на основе предсказанных классов.

    Убедитесь, что предварительно обученная модель chatbot_model.h5 и файл с данными intents.json находятся в той же папке, где находится скрипт.

    Вы можете расширить файл intents.json со своими собственными намерениями и ответами для обучения и дополнительной функциональности чатбота.

    Надеюсь, это помогает!