Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-2024-08-06· OpenAIAi2 WildChat-4.8M (AI2)

можешь улучшить код 1.Загрузка необходимых библиотек !pip install gensim lightgbm…

  1. User

    можешь улучшить код 1.Загрузка необходимых библиотек !pip install gensim lightgbm scikit-learn

    2.Загрузка предобученной модели Word2Vec Google News from gensim.models import KeyedVectors

    Загрузка модели Google News

    word2vec_model = KeyedVectors.load_word2vec_format('path_to/GoogleNews-vectors-negative300.bin', binary=True)

    3.Подготовка данных import pandas as pd

    Загрузка датасета

    data = pd.read_csv('path_to_your_data.csv') reviews = data['review'] sentiments = data['sentiment']

    4.Векторизация текстов с использованием предобученных Word2Vec и TF-IDF from sklearn.feature_extraction.text import TfidfVectorizer import numpy as np

    Настройка и обучение TF-IDF

    tfidf = TfidfVectorizer(max_features=5000) tfidf.fit(reviews) tfidf_dict = dict(zip(tfidf.get_feature_names_out(), tfidf.idf_))

    Функция для создания средневзвешенного вектора отзыва

    def tfidf_word2vec_vector(text, model, tfidf_dict, vector_size=300): words = text.split() word_vecs = [] for word in words: if word in model and word in tfidf_dict: word_vec = model[word] * tfidf_dict[word] # Умножаем на вес TF-IDF word_vecs.append(word_vec) return np.mean(word_vecs, axis=0) if word_vecs else np.zeros(vector_size)

    Применяем функцию к каждому отзыву

    X = np.array([tfidf_word2vec_vector(review, word2vec_model, tfidf_dict) for review in reviews]) y = sentiments.values

    5.Разделение данных на обучающую и тестовую выборки from sklearn.model_selection import train_test_split

    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

    6.Обучение модели LGBMClassifier и подбор гиперпараметров с помощью GridSearchCV from lightgbm import LGBMClassifier from sklearn.model_selection import GridSearchCV

    param_grid = { 'num_leaves': [15, 30, 50], 'max_depth': [5, 10, 15], 'learning_rate': [0.01, 0.05, 0.1], 'n_estimators': [100, 200] }

    lgbm = LGBMClassifier() grid_search = GridSearchCV(lgbm, param_grid, cv=3, scoring='accuracy', n_jobs=-1) grid_search.fit(X_train, y_train)

    print("Лучшие параметры:", grid_search.best_params_)

    7.Оценка точности модели на тестовой выборке from sklearn.metrics import accuracy_score

    Предсказание и оценка точности

    y_pred = grid_search.best_estimator_.predict(X_test) accuracy = accuracy_score(y_test, y_pred) print(f'Точность на тестовой выборке: {accuracy:.2f}')

  2. Assistant

    Конечно! Ваш код уже довольно хорошо организован, но я могу предложить несколько улучшений для оптимизации и повышения читаемости:

    1. Импорт всех библиотек в начале: Старайтесь импортировать все используемые библиотеки в начале скрипта для лучшей структуры.

    2. Оптимизации и улучшения:

      • Разделите логику подготовки данных и векторизации на функции для большей читаемости и повторного использования.
      • Добавьте обработку исключений и проверку на наличие загружаемых файлов.
      • Используйте logging для более информативной отладки.

    Ниже представлен улучшенный код с учетом вышеуказанных рекомендаций:

    # Импорт необходимых библиотек
    import os
    import numpy as np
    import pandas as pd
    from gensim.models import KeyedVectors
    from sklearn.feature_extraction.text import TfidfVectorizer
    from sklearn.model_selection import train_test_split, GridSearchCV
    from sklearn.metrics import accuracy_score
    from lightgbm import LGBMClassifier
    
    # Загрузка предобученной модели Word2Vec Google News
    def load_word2vec_model(model_path):
        try:
            return KeyedVectors.load_word2vec_format(model_path, binary=True)
        except FileNotFoundError:
            raise Exception(f"Файл модели не найден по пути: {model_path}")
    
    # Подготовка данных
    def load_data(csv_path):
        if not os.path.exists(csv_path):
            raise Exception(f"Файл данных не найден по пути: {csv_path}")
        data = pd.read_csv(csv_path)
        return data['review'], data['sentiment']
    
    # Функция для векторизации текста
    def vectorize_reviews(reviews, model, tfidf):
        tfidf_dict = dict(zip(tfidf.get_feature_names_out(), tfidf.idf_))
        vectors = [
            tfidf_word2vec_vector(review, model, tfidf_dict) for review in reviews
        ]
        return np.array(vectors)
    
    def tfidf_word2vec_vector(text, model, tfidf_dict, vector_size=300):
        words = text.split()
        word_vecs = [
            model[word] * tfidf_dict[word]
            for word in words if word in model and word in tfidf_dict
        ]
        return np.mean(word_vecs, axis=0) if word_vecs else np.zeros(vector_size)
    
    # Основной код
    word2vec_model_path = 'path_to/GoogleNews-vectors-negative300.bin'
    data_path = 'path_to_your_data.csv'
    
    word2vec_model = load_word2vec_model(word2vec_model_path)
    reviews, sentiments = load_data(data_path)
    
    # Векторизация текстов
    tfidf = TfidfVectorizer(max_features=5000)
    tfidf.fit(reviews)
    X = vectorize_reviews(reviews, word2vec_model, tfidf)
    y = sentiments.values
    
    # Разделение данных на обучающую и тестовую выборки
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
    
    # Обучение модели LGBMClassifier и подбор гиперпараметров
    param_grid = {
        'num_leaves': [15, 30, 50],
        'max_depth': [5, 10, 15],
        'learning_rate': [0.01, 0.05, 0.1],
        'n_estimators': [100, 200]
    }
    lgbm = LGBMClassifier()
    grid_search = GridSearchCV(lgbm, param_grid, cv=3, scoring='accuracy', n_jobs=-1)
    grid_search.fit(X_train, y_train)
    print("Лучшие параметры:", grid_search.best_params_)
    
    # Оценка точности модели на тестовой выборке
    y_pred = grid_search.best_estimator_.predict(X_test)
    accuracy = accuracy_score(y_test, y_pred)
    print(f'Точность на тестовой выборке: {accuracy:.2f}')
    

    Основные изменения:

    • Созданы функции load_word2vec_model и load_data для загрузки модели и данных, которые также проверяют наличие файлов.
    • vectorize_reviews и tfidf_word2vec_vector отделены в функции для улучшения логики.
    • Обработка ошибок использована для предупреждения о проблемах с файлами.
    • Весь скрипт более структурирован, что облегчает его поддержание и изменение.

    Подумайте о добавлении логирования вместо просто вывода в консоль, чтобы улучшить отладочную информацию.

  3. User

    можешь объединить написааный выше код и этот код, чтобы не было повторений и повторных вычислений. В результате должено получится сравнение что лучше самостоятельно векторизовать текст или использовать уже имеющиеся из wordtovec. import pandas as pd from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.feature_extraction.text import TfidfVectorizer from lightgbm import LGBMClassifier from sklearn.metrics import classification_report from sklearn.preprocessing import LabelEncoder import gensim.downloader as api import numpy as np

    !unzip -j IMDB_Dataset.csv.zip -d ./

    data = pd.read_csv("IMDB Dataset.csv")

    data['sentiment'] = data['sentiment'].map({'positive': 1, 'negative': 0})

    X_train, X_test, y_train, y_test = train_test_split( data['review'], data['sentiment'], test_size=0.2, random_state=42 )

    tfidf = TfidfVectorizer( ngram_range=(1, 2), stop_words='english', min_df=5, max_df=0.8, norm=None)

    %%time X_train_tfidf = tfidf.fit_transform(X_train) X_test_tfidf = tfidf.transform(X_test) model = LGBMClassifier(random_state=42)

    param_grid = { 'n_estimators': [200, 400, 600], 'max_depth': [10, 30, 50], 'learning_rate': [0.01, 0.1, 0.15] }

    grid_search = GridSearchCV(model, param_grid, cv=3, scoring='accuracy', n_jobs=-1, verbose=2)

    %%time grid_search.fit(X_train_tfidf, y_train)

    best_model = grid_search.best_estimator_ print("Лучшие параметры:", grid_search.best_params_)

    y_pred = best_model.predict(X_test_tfidf) print(classification_report(y_test, y_pred))

  4. Assistant

    Конечно! Мы можем объединить оба кода так, чтобы избежать повторных вычислений и позволить провести сравнение векторизаций. Мы будем использовать и предобученные вектора из Word2Vec, и TF-IDF. Затем обучим модели LGBM на каждой из этих векторизаций и сравним результаты. Вот как это можно сделать:

    # Импорт необходимых библиотек
    import os
    import numpy as np
    import pandas as pd
    from gensim.models import KeyedVectors
    from sklearn.feature_extraction.text import TfidfVectorizer
    from sklearn.model_selection import train_test_split, GridSearchCV
    from sklearn.metrics import classification_report, accuracy_score
    from lightgbm import LGBMClassifier
    import gensim.downloader as api
    
    # Загрузка предобученной модели Word2Vec Google News
    def load_word2vec_model(model_path):
        try:
            return KeyedVectors.load_word2vec_format(model_path, binary=True)
        except FileNotFoundError:
            raise Exception(f"Файл модели не найден по пути: {model_path}")
    
    # Функция для векторизации текста с использованием TF-IDF и Word2Vec
    def vectorize_with_word2vec(reviews, model, tfidf):
        tfidf_dict = dict(zip(tfidf.get_feature_names_out(), tfidf.idf_))
        vectors = [
            tfidf_word2vec_vector(review, model, tfidf_dict) for review in reviews
        ]
        return np.array(vectors)
    
    def tfidf_word2vec_vector(text, model, tfidf_dict, vector_size=300):
        words = text.split()
        word_vecs = [
            model[word] * tfidf_dict[word]
            for word in words if word in model and word in tfidf_dict
        ]
        return np.mean(word_vecs, axis=0) if word_vecs else np.zeros(vector_size)
    
    # Загрузка и обработка данных
    def load_and_preprocess_data(csv_url):
        data = pd.read_csv(csv_url)
        data['sentiment'] = data['sentiment'].map({'positive': 1, 'negative': 0})
        return train_test_split(data['review'], data['sentiment'], test_size=0.2, random_state=42)
    
    # Основной код
    word2vec_model_path = 'path_to/GoogleNews-vectors-negative300.bin'
    csv_url = 'IMDB Dataset.csv'
    
    # Перед использованием убедитесь, что файл находится по указанному пути
    word2vec_model = load_word2vec_model(word2vec_model_path)
    
    X_train, X_test, y_train, y_test = load_and_preprocess_data(csv_url)
    
    # TF-IDF векторизация для модели
    tfidf = TfidfVectorizer(ngram_range=(1, 2), stop_words='english', min_df=5, max_df=0.8, norm=None)
    
    # TF-IDF векторизация данных
    X_train_tfidf = tfidf.fit_transform(X_train)
    X_test_tfidf = tfidf.transform(X_test)
    
    # Обучение модели с TF-IDF
    param_grid = {
        'n_estimators': [200, 400, 600],
        'max_depth': [10, 30, 50],
        'learning_rate': [0.01, 0.1, 0.15]
    }
    model_tfidf = LGBMClassifier(random_state=42)
    grid_search_tfidf = GridSearchCV(model_tfidf, param_grid, cv=3, scoring='accuracy', n_jobs=-1, verbose=2)
    grid_search_tfidf.fit(X_train_tfidf, y_train)
    
    best_model_tfidf = grid_search_tfidf.best_estimator_
    tfidf_pred = best_model_tfidf.predict(X_test_tfidf)
    print("Лучшие параметры для TF-IDF:", grid_search_tfidf.best_params_)
    print("Классификационный отчет для TF-IDF:\n", classification_report(y_test, tfidf_pred))
    
    # Векторизация данных с использованием Word2Vec
    X_train_w2v = vectorize_with_word2vec(X_train, word2vec_model, tfidf)
    X_test_w2v = vectorize_with_word2vec(X_test, word2vec_model, tfidf)
    
    # Обучение модели с Word2Vec
    model_w2v = LGBMClassifier(random_state=42)
    grid_search_w2v = GridSearchCV(model_w2v, param_grid, cv=3, scoring='accuracy', n_jobs=-1, verbose=2)
    grid_search_w2v.fit(X_train_w2v, y_train)
    
    best_model_w2v = grid_search_w2v.best_estimator_
    w2v_pred = best_model_w2v.predict(X_test_w2v)
    print("Лучшие параметры для Word2Vec:", grid_search_w2v.best_params_)
    print("Классификационный отчет для Word2Vec:\n", classification_report(y_test, w2v_pred))
    

    Пояснения:

    • Функции: Добавлены функции для раздельной обработки данных и векторизации.
    • Сравнение векторизаций: Мы используем обе векторизации (TF-IDF и Word2Vec) и обучаем отдельные модели LGBM для каждой из них. Затем сравниваем их производительность.
    • Отчеты о классификации: Использование classification_report для более детального анализа производительности моделей.

    Убедитесь, что путь к файлу GoogleNews-vectors-negative300.bin указан правильно, и у вас есть необходимые данные IMDB в файле IMDB Dataset.csv.

  5. User

    напиши функцию приведение к нижнему регистру , лемматизации тескта

  6. Assistant

    Чтобы создать функцию для приведения текста к нижнему регистру и выполнения лемматизации, мы можем использовать библиотеку nltk, которая предоставляет инструменты для обработки естественного языка, включая лемматизацию. Вот как можно написать такую функцию:

    import nltk
    from nltk.stem import WordNetLemmatizer
    from nltk.corpus import wordnet
    
    # Убедитесь, что необходимые данные загружены
    nltk.download('punkt')
    nltk.download('wordnet')
    nltk.download('averaged_perceptron_tagger')
    
    def get_wordnet_pos(treebank_tag):
        """Преобразование тегов POS из формата Penn Treebank в формат WordNet"""
        if treebank_tag.startswith('J'):
            return wordnet.ADJ
        elif treebank_tag.startswith('V'):
            return wordnet.VERB
        elif treebank_tag.startswith('N'):
            return wordnet.NOUN
        elif treebank_tag.startswith('R'):
            return wordnet.ADV
        else:
            return wordnet.NOUN  # По умолчанию используем существительное
    
    def preprocess_text(text):
        """Приведение к нижнему регистру и лемматизация текста"""
        # Приведение к нижнему регистру
        text = text.lower()
        
        # Инициализация лемматизатора
        lemmatizer = WordNetLemmatizer()
        
        # Токенизация текста
        tokens = nltk.word_tokenize(text)
        
        # Получение POS тегов
        pos_tags = nltk.pos_tag(tokens)
        
        # Лемматизация
        lemmatized_tokens = [
            lemmatizer.lemmatize(token, get_wordnet_pos(pos)) for token, pos in pos_tags
        ]
        
        # Возвращаем объединенные лемматизированные токены
        return ' '.join(lemmatized_tokens)
    
    # Пример использования:
    example_text = "The striped bats are hanging on their feet and are eating best fishes"
    processed_text = preprocess_text(example_text)
    print(processed_text)
    

    Краткое объяснение:

    • nltk.word_tokenize: Используется для токенизации текста (разделения текста на отдельные слова).
    • nltk.pos_tag: Присваивает части речи каждому токену (например, существительное, глагол, прилагательное и т.д.).
    • WordNetLemmatizer: Лемматизирует каждое слово в зависимости от его части речи. Мы преобразуем теги частей речи из формата Penn Treebank к формату, который поддерживает лемматизатор nltk.
    • Лемматизация: Преобразует слова к их базовой форме (например, "running" -> "run").

    Не забудьте предварительно установить пакет nltk и загрузить необходимые ресурсы, если вы их еще не загрузили. Этот скрипт подходит для использования в английском языке. Для других языков может потребоваться другая библиотека или методы.

  7. User

    что ты можешь улучшить в своем коде

  8. Assistant

    Конечно, всегда есть возможности для улучшения кода. Вот несколько предложений для улучшения функции приведения текста к нижнему регистру и лемматизации:

    1. Обработка исключений: Добавить обработку исключений для более надежного выполнения функции.

    2. Оптимизация загрузки ресурсов: Убедиться, что ресурсы NLTK загружаются только один раз, чтобы избежать лишних загрузок при многократном вызове функции.

    3. Удаление пунктуации: Добавить обработку для удаления пунктуации, так как она может мешать анализу текста.

    4. Документация: Улучшить документацию и комментарии для более ясного понимания кода.

    5. Проверка на пустой ввод: Добавить проверку на случай, если функция получает пустую строку.

    Вот обновленный код с учетом этих улучшений:

    import nltk
    from nltk.stem import WordNetLemmatizer
    from nltk.corpus import wordnet
    import string
    
    # Убедитесь, что необходимые данные загружены
    nltk.download('punkt', quiet=True)
    nltk.download('wordnet', quiet=True)
    nltk.download('averaged_perceptron_tagger', quiet=True)
    
    def get_wordnet_pos(treebank_tag):
        """Преобразование тегов POS из формата Penn Treebank в формат WordNet"""
        if treebank_tag.startswith('J'):
            return wordnet.ADJ
        elif treebank_tag.startswith('V'):
            return wordnet.VERB
        elif treebank_tag.startswith('N'):
            return wordnet.NOUN
        elif treebank_tag.startswith('R'):
            return wordnet.ADV
        else:
            return wordnet.NOUN  # По умолчанию используем существительное
    
    def preprocess_text(text):
        """
        Приведение текста к нижнему регистру и лемматизация.
        
        Аргументы:
        text -- строка, содержащая текст для обработки.
        
        Возвращает:
        Строку с лемматизированным текстом без пунктуации.
        """
        if not text:
            return ""
    
        try:
            # Приведение к нижнему регистру
            text = text.lower()
    
            # Удаление пунктуации
            text = text.translate(str.maketrans('', '', string.punctuation))
    
            # Инициализация лемматизатора
            lemmatizer = WordNetLemmatizer()
    
            # Токенизация текста
            tokens = nltk.word_tokenize(text)
    
            # Получение POS тегов
            pos_tags = nltk.pos_tag(tokens)
    
            # Лемматизация
            lemmatized_tokens = [
                lemmatizer.lemmatize(token, get_wordnet_pos(pos)) for token, pos in pos_tags
            ]
    
            # Возвращаем объединенные лемматизированные токены
            return ' '.join(lemmatized_tokens)
        except Exception as e:
            print(f"Ошибка при обработке текста: {e}")
            return ""
    
    # Пример использования:
    example_text = "The striped bats are hanging on their feet and are eating best fishes."
    processed_text = preprocess_text(example_text)
    print(processed_text)
    

    Улучшения:

    • Обработка исключений: Добавлена обработка исключений с выводом сообщения об ошибке.
    • Удаление пунктуации: Используется str.translate для удаления пунктуации.
    • Проверка на пустой ввод: Проверяется, не является ли входной текст пустым.
    • Загрузка ресурсов: Используется параметр quiet=True для nltk.download, чтобы избежать лишних сообщений в консоли.
    • Документация: Добавлены более подробные комментарии и описание функции.

    Эти изменения делают функцию более надежной и универсальной для обработки текстовых данных.

  9. User

    измени код для использования в обработке колонки review датасета data

  10. Assistant

    Чтобы применить функцию предобработки к колонке review в вашем датафрейме data, мы можем использовать метод apply, который применяет заданную функцию к каждому элементу столбца. Вот как можно изменить код для этого:

    import nltk
    from nltk.stem import WordNetLemmatizer
    from nltk.corpus import wordnet
    import string
    import pandas as pd
    
    # Убедитесь, что необходимые данные загружены
    nltk.download('punkt', quiet=True)
    nltk.download('wordnet', quiet=True)
    nltk.download('averaged_perceptron_tagger', quiet=True)
    
    def get_wordnet_pos(treebank_tag):
        """Преобразование тегов POS из формата Penn Treebank в формат WordNet"""
        if treebank_tag.startswith('J'):
            return wordnet.ADJ
        elif treebank_tag.startswith('V'):
            return wordnet.VERB
        elif treebank_tag.startswith('N'):
            return wordnet.NOUN
        elif treebank_tag.startswith('R'):
            return wordnet.ADV
        else:
            return wordnet.NOUN  # По умолчанию используем существительное
    
    def preprocess_text(text):
        """
        Приведение текста к нижнему регистру и лемматизация.
        
        Аргументы:
        text -- строка, содержащая текст для обработки.
        
        Возвращает:
        Строку с лемматизированным текстом без пунктуации.
        """
        if not text:
            return ""
    
        try:
            # Приведение к нижнему регистру
            text = text.lower()
    
            # Удаление пунктуации
            text = text.translate(str.maketrans('', '', string.punctuation))
    
            # Инициализация лемматизатора
            lemmatizer = WordNetLemmatizer()
    
            # Токенизация текста
            tokens = nltk.word_tokenize(text)
    
            # Получение POS тегов
            pos_tags = nltk.pos_tag(tokens)
    
            # Лемматизация
            lemmatized_tokens = [
                lemmatizer.lemmatize(token, get_wordnet_pos(pos)) for token, pos in pos_tags
            ]
    
            # Возвращаем объединенные лемматизированные токены
            return ' '.join(lemmatized_tokens)
        except Exception as e:
            print(f"Ошибка при обработке текста: {e}")
            return ""
    
    # Пример загрузки данных
    # Замените 'path_to_your_data.csv' на путь к вашему файлу CSV
    data = pd.read_csv('path_to_your_data.csv')
    
    # Применение функции предобработки к колонке 'review'
    data['processed_review'] = data['review'].apply(preprocess_text)
    
    # Вывод первых нескольких строк обработанного датафрейма
    print(data.head())
    

    Объяснение:

    • Загрузка данных: Предполагается, что у вас есть CSV-файл с колонкой review. Замените 'path_to_your_data.csv' на фактический путь к вашему файлу.

    • Обработка колонки: Используем метод apply для применения функции preprocess_text к каждому элементу в колонке review. Результат сохраняется в новой колонке processed_review.

    • Вывод: Печатаются первые несколько строк датафрейма для проверки результатов.

    Этот подход позволяет вам легко обрабатывать текстовые данные в колонке review и сохранять результаты в новом столбце, что удобно для дальнейшего анализа или моделирования.

  11. User

    сохранить датасет в файл .scv

  12. Assistant

    Чтобы сохранить обработанный датафрейм в файл с расширением .csv, вы можете использовать метод to_csv из библиотеки pandas. Этот метод позволяет экспортировать данные в CSV-файл, который затем можно использовать для дальнейшего анализа или обмена данными. Вот как это можно сделать:

    # Сохранение обработанного датафрейма в CSV-файл
    # Замените 'processed_data.csv' на желаемое имя вашего выходного файла
    data.to_csv('processed_data.csv', index=False)
    
    # Вывод подтверждения
    print("Датасет успешно сохранен в файл 'processed_data.csv'.")
    

    Объяснение:

    • data.to_csv('processed_data.csv', index=False): Этот вызов сохраняет датафрейм data в файл processed_data.csv. Параметр index=False указывает, что индексы строк не будут сохранены в файл, что обычно удобно при экспорте данных для использования в других системах.

    • Имя файла: Убедитесь, что вы указали желаемое имя файла и путь, если хотите сохранить файл в определенной директории.

    Этот код сохранит все колонки вашего датафрейма, включая оригинальные и обработанные данные, в указанный CSV-файл.

  13. User

    def get_wordnet_pos(treebank_tag): """Преобразование тегов POS из формата Penn Treebank в формат WordNet""" if treebank_tag.startswith('J'): return wordnet.ADJ elif treebank_tag.startswith('V'): return wordnet.VERB elif treebank_tag.startswith('N'): return wordnet.NOUN elif treebank_tag.startswith('R'): return wordnet.ADV else: return wordnet.NOUN # По умолчанию используем существительное

    объясни

  14. Assistant

    Функция get_wordnet_pos предназначена для преобразования тегов частей речи (POS tags), полученных с помощью nltk.pos_tag, из формата Penn Treebank в формат, который используется в WordNet. Это необходимо для корректной лемматизации слов с помощью WordNetLemmatizer из библиотеки nltk.

    Объяснение кода:

    • Формат Penn Treebank: Это стандартный набор тегов, используемый для обозначения частей речи в текстах. Например, JJ для прилагательных, VB для глаголов, NN для существительных и RB для наречий.

    • Формат WordNet: WordNet использует свои собственные обозначения для частей речи. Например, wordnet.ADJ для прилагательных, wordnet.VERB для глаголов, wordnet.NOUN для существительных и wordnet.ADV для наречий.

    • Функция get_wordnet_pos:

      • Принимает на вход тег части речи в формате Penn Treebank.
      • Проверяет, с какой буквы начинается тег:
        • Если тег начинается с J, это прилагательное, и функция возвращает wordnet.ADJ.
        • Если тег начинается с V, это глагол, и функция возвращает wordnet.VERB.
        • Если тег начинается с N, это существительное, и функция возвращает wordnet.NOUN.
        • Если тег начинается с R, это наречие, и функция возвращает wordnet.ADV.
        • Если тег не соответствует ни одному из указанных условий, по умолчанию возвращается wordnet.NOUN, что предполагает, что слово является существительным.

    Зачем это нужно:

    Когда мы лемматизируем слово, важно знать его часть речи, чтобы правильно выбрать базовую форму слова. Например, слово "running" может быть лемматизировано как "run", если оно используется как глагол, или как "running", если оно используется как существительное (например, "running is fun"). Правильное определение части речи позволяет WordNetLemmatizer корректно выполнять свою работу.