Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-2024-08-06· OpenAIAi2 WildChat-4.8M (AI2)

Помоги разобраться, пожалуйста, с кодом (это только фрагмент): !pip install datasets…

  1. User

    Помоги разобраться, пожалуйста, с кодом (это только фрагмент): !pip install datasets

    !pip install transformers

    !pip install accelerate

    !pip install fuzzywuzzy

    !pip install python-Levenshtein

    import random from typing import Dict, List, Union

    from datasets import load_dataset from fuzzywuzzy import fuzz, process from sklearn.metrics import classification_report from tqdm.notebook import tqdm from transformers import pipeline

    def prepare_message_for_llm(text: Union[str, List[str]], categories: Dict[str, str]) -> Dict[str, Union[List[Dict[str, str]], List[List[Dict[str, str]]]]]: if len(categories) < 2: raise RuntimeError(f'The category list is too small! Expected 2 or more categories, got {len(categories)} ones.') categories_ = sorted(list(categories.keys())) categories_as_string = ', '.join(categories_[:-1]) + ' и ' + categories_[-1] if isinstance(text, str): prompt = f'Прочтите, пожалуйста, следующий текст и определите, какая тема из известного '
    f'списка тем наиболее представлена в следующем тексте. '
    f'В качестве ответа напишите только название темы из списка, больше ничего.\n'
    f'Список тем: {categories_as_string}.\n' for cur in categories_: prompt += f'Текст: {" ".join(categories[cur].split())}\nВаш ответ: {cur}\n' prompt += f'Текст: {" ".join(text.split())}\nВаш ответ: ' messages = [ { 'role': 'system', 'content': 'Вы - полезный помощник, умеющий читать тексты на русском языке, глубоко понимать их и анализировать.' }, { 'role': 'user', 'content': prompt } ] else: messages = [] for it in text: prompt = f'Прочтите, пожалуйста, следующий текст и определите, какая тема из известного '
    f'списка тем наиболее представлена в следующем тексте. '
    f'В качестве ответа напишите только название темы из списка, больше ничего.\n'
    f'Список тем: {categories_as_string}.\n' for cur in categories_: prompt += f'Текст: {" ".join(categories[cur].split())}\nВаш ответ: {cur}\n' prompt += f'Текст: {" ".join(text.split())}\nВаш ответ: ' messages.append([ { 'role': 'system', 'content': 'Вы - полезный помощник, умеющий читать тексты на русском языке, глубоко понимать их и анализировать.' }, { 'role': 'user', 'content': prompt } ]) return {'message_for_llm': messages}

    llm_pipeline = pipeline(model='Qwen/Qwen2-7B-Instruct', device_map='auto', torch_dtype='auto')

    DATASET_NAME = 'Davlan/sib200' DATASET_LANGUAGE = 'rus_Cyrl' train_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='train') validation_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='validation') test_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='test')

  2. Assistant

    Давайте разберем ваш код и посмотрим, как он работает и чему служит каждый его компонент.

    Установка библиотек

    В начале кода вы устанавливаете необходимые библиотеки:

    • datasets – для загрузки датасетов.
    • transformers – для работы с моделями машинного обучения от Hugging Face.
    • accelerate – для оптимизации и ускорения обучения моделей (хотя в данном фрагменте не используется напрямую).
    • fuzzywuzzy и python-Levenshtein – для работы со строками и подсчета расстояния Левенштейна.

    Импорт модулей и функций

    Вы импортируете необходимые модули и функции:

    • random, Dict, List, Union - стандартные библиотеки Python для работы с коллекциями и типами.
    • load_dataset из библиотеки datasets для загрузки датасета.
    • fuzz и process из библиотеки fuzzywuzzy для обработки строк.
    • classification_report из библиотеки sklearn.metrics для вывода результатов классификации (в текущем коде не используется).
    • tqdm для отображения прогресса (в текущем коде не используется).
    • pipeline из transformers для создания пайплайна обработки текстов с использованием модели машинного обучения.

    Функция prepare_message_for_llm

    Эта функция генерирует сообщения, которые затем могут быть использованы для обработки текстов языковой моделью.

    • Проверка, что количество категорий больше двух, иначе вызывается исключение.
    • Генерация строки с перечислением категорий.
    • Создание подсказки (prompt), в которой пользователь должен выбрать наиболее подходящую тему для данного текста.
    • Формирование сообщений для отправки модели – они состоят из системного сообщения и сообщения пользователя, заключающего созданный prompt.

    Создание пайплайна

    llm_pipeline = pipeline(model='Qwen/Qwen2-7B-Instruct', device_map='auto', torch_dtype='auto')

    Здесь создается пайплайн для обработки текстов с использованием модели Qwen/Qwen2-7B-Instruct, которая автоматически распределяется по доступным устройствам и настройкам типа данных.

    Загрузка датасета

    Используются функции load_dataset, чтобы загрузить тренировочные, валидационные и тестовые наборы данных из датасета Davlan/sib200 с русским языком rus_Cyrl.

    Проблемы, которые могут возникнуть:

    1. Обратите внимание, что модель Qwen/Qwen2-7B-Instruct должна быть доступна на вашей системе, а также потребует достаточного объема памяти.
    2. Отсутствие использования некоторых импортированных модулей (classification_report, tqdm) может говорить о том, что код требует доработки либо эти компоненты будут использованы позже.
    3. fuzzywuzzy и python-Levenshtein не применяются в приведенном сегменте кода, возможно, они понадобятся в дальнейших частях вашего проекта.

    Если у вас есть еще вопросы по работе этого кода или вы хотите обсудить его расширение, пожалуйста, дайте знать!

  3. User

    Продолжение кода: list_of_categories = sorted(list( set(train_set['category']) | set(validation_set['category']) | set(test_set['category']) )) print(f'Categories for classification are: {list_of_categories}')

    Prints : Categories for classification are: ['entertainment', 'geography', 'health', 'politics', 'science/technology', 'sports', 'travel']

    print(validation_set) ''' Prints : Dataset({ features: ['index_id', 'category', 'text'], num_rows: 99 }) '''

    examples_by_categories = dict() for current_category in list_of_categories: examples_by_categories[current_category] = random.choice( train_set.filter(lambda it: it['category'] == current_category)['text'] ) print(f'Category: {current_category}\n') print(f'Random text: {examples_by_categories[current_category]}\n\n')

    validation_set_for_llm = validation_set.map(lambda it: prepare_message_for_llm(it['text'], examples_by_categories)) test_set_for_llm = test_set.map(lambda it: prepare_message_for_llm(it['text'], examples_by_categories))

    print(validation_set_for_llm)

    ''' Prints : Dataset({ features: ['index_id', 'category', 'text', 'message_for_llm'], num_rows: 99 }) '''

    print(validation_set['text'][0])

    Prints : Если увеличить расстояние для бега с четверти до половины мили, скорость становится не так важна, тогда как выносливость превращается в абсолютную необходимость.

    print(validation_set_for_llm['message_for_llm'][0])

    y_pred = list(map( lambda x: llm_pipeline(x, max_new_tokens=10)[0]['generated_text'], tqdm(validation_set_for_llm['message_for_llm']) )) y_true = validation_set['category']

    print(y_pred[0])

    print(classification_report(y_true=y_true, y_pred=[x[-1]['content'] for x in y_pred]))

    y_pred_with_normalization = list(map( lambda it: process.extractOne(it[-1]['content'], list_of_categories, scorer=fuzz.token_sort_ratio)[0], y_pred ))

    print(y_pred_with_normalization[0]) # Prints : sports

    print(classification_report(y_true=y_true, y_pred=y_pred_with_normalization))

    y_pred = list(map( lambda x: llm_pipeline(x, max_new_tokens=10)[0]['generated_text'], tqdm(test_set_for_llm['message_for_llm']) )) y_true = test_set['category']

    print(classification_report(y_true=y_true, y_pred=[x[-1]['content'] for x in y_pred]))

    y_pred_with_normalization = list(map( lambda it: process.extractOne(it[-1]['content'], list_of_categories, scorer=fuzz.token_sort_ratio)[0], y_pred ))

    print(classification_report(y_true=y_true, y_pred=y_pred_with_normalization))

  4. Assistant

    Продолжим разбор вашего кода, начиная с места, где мы остановились.

    Список категорий

    list_of_categories = sorted(list(
        set(train_set['category']) | set(validation_set['category']) | set(test_set['category'])
    ))
    print(f'Categories for classification are: {list_of_categories}')
    

    Этот блок кода определяет все уникальные категории из заданных наборов данных (train_set, validation_set, test_set), объединяя их в один список.

    Генерация примеров по категориям

    examples_by_categories = dict()
    for current_category in list_of_categories:
        examples_by_categories[current_category] = random.choice(
            train_set.filter(lambda it: it['category'] == current_category)['text']
        )
        print(f'Category: {current_category}\n')
        print(f'Random text: {examples_by_categories[current_category]}\n\n')
    

    Для каждой категории из списка случайным образом выбирается один текст из тренировочного набора данных. Эти тексты позже используются в качестве примеров, чтобы помочь модели классифицировать тексты валидационного и тестового наборов.

    Подготовка данных для модели

    validation_set_for_llm = validation_set.map(lambda it: prepare_message_for_llm(it['text'], examples_by_categories))
    test_set_for_llm = test_set.map(lambda it: prepare_message_for_llm(it['text'], examples_by_categories))
    

    Функция prepare_message_for_llm применятся к текстам валидационного и тестового наборов, чтобы подготовить их для подачи в языковую модель.

    Предсказания и оценка на валидационном наборе

    y_pred = list(map(
        lambda x: llm_pipeline(x, max_new_tokens=10)[0]['generated_text'],
        tqdm(validation_set_for_llm['message_for_llm'])
    ))
    y_true = validation_set['category']
    
    print(classification_report(y_true=y_true, y_pred=[x[-1]['content'] for x in y_pred]))
    

    Этот блок кода:

    • Подает каждое сообщение из валидационного набора в языковую модель и получает предсказания.
    • Сравнивает предсказания с истинными метками и выводит отчет классификации с метриками точности, полноты и F1-меры.

    Нормализация предсказаний

    y_pred_with_normalization = list(map(
        lambda it: process.extractOne(it[-1]['content'], list_of_categories, scorer=fuzz.token_sort_ratio)[0],
        y_pred
    ))
    

    Этот шаг включает использование fuzzywuzzy для нормализации предсказаний, сравнивая предсказанный текст с возможными категориями и выбирая наиболее похожую с точки зрения расстояния Левенштейна.

    Оценка на тестовом наборе

    После оценки на валидационном наборе, та же процедура повторяется для тестового набора данных, с целью проверки обобщения модели.

    Замечания

    1. Поляризация данных: Балансировка категорий в тренировочном наборе может повлиять на точность предсказания.
    2. Объем данных: Для уверенной оценки модели необходима достаточная выборка как для обучения, так и для тестирования.
    3. Производительность: Представленный код может занимать значительное время для выполнения, в зависимости от объема данных и сложности модели.

    Если у вас возникнут вопросы по коду или его дополнительных фрагментах, не стесняйтесь спрашивать!

  5. User

    У тебя есть идеи, как можно повысить значение f1-score в данном коде? Что можно сделать? Как можно улучшить и чем? Я просто не очень погружён в тему глубоких нейронных сетей

  6. Assistant

    Повышение значения F1-меры (F1-score) требует улучшения как точности, так и полноты модели. Вот несколько стратегий, которые могут помочь добиться этого:

    1. Улучшение качества данных:

      • Аннотация данных: Убедитесь в качестве аннотаций в вашем наборе данных. Ошибки в метках могут значительно повлиять на производительность модели.
      • Балансировка классов: Если данные несбалансированы, стоит рассмотреть методы балансировки, такие как уменьшение количества примеров для часто встречающихся классов (undersampling) или увеличение количества примеров для редко встречающихся классов (oversampling).
      • Очистка данных: Удалите дублирующиеся или нерелевантные тексты. Неоднозначные или шумные данные могут ухудшить обучаемость модели.
    2. Модель и архитектура:

      • Использование более мощной модели: Возможно, используемая модель не оптимальна для вашей задачи. Рассмотрите более сложные модели, такие как BERT, RoBERTa или их аналоги, которые могут лучше справляться с задачами классификации текста.
      • Тонкая настройка: Попробуйте дообучение (fine-tuning) предобученной модели на вашем наборе данных. Это может помочь модели адаптироваться к специфике вашей задачи.
    3. Оптимизация гиперпараметров:

      • Изучение гиперпараметров: Проверьте различные настройки гиперпараметров, такие как learning rate, batch size, количество эпох и другие параметры обучения.
      • Использование методов поиска: Рассмотрите возможность использования методов сеточного поиска (grid search) или байесовской оптимизации для нахождения оптимальных гиперпараметров.
    4. Обработка данных:

      • Аугментация: Применение методов аугментации данных, таких как перефразирование текстов или синтетическая генерация данных, может помочь увеличить объем данных и усилить обобщающую способность модели.
    5. Нормализация и предобработка текста:

      • Очистка и нормализация текстов: Применение техник предобработки, таких как удаление стоп-слов, лемматизация или стемминг, может улучшить качество входных данных для модели.
      • Векторизация текстов: Использование более качественных текстовых эмбеддингов может улучшить представление текстов.
    6. Оценка и метрики:

      • Используйте более детальный анализ ошибок, чтобы понять, в каких случаях модель ошибается, и работайте над разрешением этих ошибок.
    7. Использование ансамблей:

      • Объединение нескольких моделей в ансамбль может помочь улучшить результаты, используя разные подходы к апроксимации функций.

    Попробуйте применить эти подходы по отдельности или в комбинации, чтобы оценить их влияние на производительность модели. Возможно, вам придется провести несколько итераций экспериментов, прежде чем вы достигнете значительного улучшения.

  7. User

    А чтобы ты предложил? Мы можем мой код модифицировать, применяя что-то из предложенного тобой?

  8. Assistant

    Конечно, давайте попробуем применить некоторые из предложенных улучшений к вашему коду. Мы можем сосредоточиться на следующих аспектах:

    1. Использование более мощной модели из библиотеки Hugging Face:

      • Попробуем заменить текущую модель на предобученную модель типа BERT или подобную ей, которая показала хорошую производительность в текстовых задачах.
    2. Тонкая настройка предобученной модели на вашем наборе данных:

      • Реализуем fine-tuning, чтобы модель лучше адаптировалась к вашей задаче классификации.
    3. Применение аугментации данных:

      • Можем использовать простые техники аугментации, такие как замена синонимов или вставка шумов, чтобы увеличить разнообразие данных.

    Пример изменения вашего кода:

    1. Замена модели:
    from transformers import AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments
    
    # Загрузите более мощную предобученную модель и токенизатор
    model_name = "bert-base-uncased"  # Можно заменить на другие модели, например, "distilbert-base-uncased"
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=len(list_of_categories))
    
    1. Подготовка данных для обучения:
    from datasets import Dataset
    
    # Создание датасетов, совместимых с Trainer
    train_dataset = Dataset.from_dict({
        'text': train_set['text'], 
        'label': [list_of_categories.index(cat) for cat in train_set['category']]
    })
    
    validation_dataset = Dataset.from_dict({
        'text': validation_set['text'], 
        'label': [list_of_categories.index(cat) for cat in validation_set['category']]
    })
    
    1. Тонкая настройка модели:
    def tokenize_function(examples):
        return tokenizer(examples['text'], padding="max_length", truncation=True)
    
    train_dataset = train_dataset.map(tokenize_function, batched=True)
    validation_dataset = validation_dataset.map(tokenize_function, batched=True)
    
    training_args = TrainingArguments(
        output_dir="./results",
        evaluation_strategy="epoch",
        learning_rate=2e-5,
        per_device_train_batch_size=8,
        per_device_eval_batch_size=8,
        num_train_epochs=3,
        weight_decay=0.01,
    )
    
    trainer = Trainer(
        model=model,
        args=training_args,
        train_dataset=train_dataset,
        eval_dataset=validation_dataset,
        tokenizer=tokenizer
    )
    
    # Обучение модели
    trainer.train()
    
    1. Применение аугментации (например, замена синонимов):

    Для аугментации текста можно использовать различные библиотеки, например nlpaug, но это может существенно увеличить сложность, поэтому я не включил это в код. Если интересно, могу подробнее объяснить, как это сделать.

    1. Проверка модели:

    После обучения вы можете использовать модель для предсказаний, опять же с помощью Trainer или напрямую через pipeline.

    Применив приведенные модификации, вы можете оценить влияние на F1-score и другие метрики. Если нужно будет добавить еще что-то или углубиться в детали, дайте знать!