Помоги разобраться, пожалуйста, с кодом (это только фрагмент): !pip install datasets…
- User
Помоги разобраться, пожалуйста, с кодом (это только фрагмент): !pip install datasets
!pip install transformers
!pip install accelerate
!pip install fuzzywuzzy
!pip install python-Levenshtein
import random from typing import Dict, List, Union
from datasets import load_dataset from fuzzywuzzy import fuzz, process from sklearn.metrics import classification_report from tqdm.notebook import tqdm from transformers import pipeline
def prepare_message_for_llm(text: Union[str, List[str]], categories: Dict[str, str]) -> Dict[str, Union[List[Dict[str, str]], List[List[Dict[str, str]]]]]: if len(categories) < 2: raise RuntimeError(f'The category list is too small! Expected 2 or more categories, got {len(categories)} ones.') categories_ = sorted(list(categories.keys())) categories_as_string = ', '.join(categories_[:-1]) + ' и ' + categories_[-1] if isinstance(text, str): prompt = f'Прочтите, пожалуйста, следующий текст и определите, какая тема из известного '
f'списка тем наиболее представлена в следующем тексте. '
f'В качестве ответа напишите только название темы из списка, больше ничего.\n'
f'Список тем: {categories_as_string}.\n' for cur in categories_: prompt += f'Текст: {" ".join(categories[cur].split())}\nВаш ответ: {cur}\n' prompt += f'Текст: {" ".join(text.split())}\nВаш ответ: ' messages = [ { 'role': 'system', 'content': 'Вы - полезный помощник, умеющий читать тексты на русском языке, глубоко понимать их и анализировать.' }, { 'role': 'user', 'content': prompt } ] else: messages = [] for it in text: prompt = f'Прочтите, пожалуйста, следующий текст и определите, какая тема из известного '
f'списка тем наиболее представлена в следующем тексте. '
f'В качестве ответа напишите только название темы из списка, больше ничего.\n'
f'Список тем: {categories_as_string}.\n' for cur in categories_: prompt += f'Текст: {" ".join(categories[cur].split())}\nВаш ответ: {cur}\n' prompt += f'Текст: {" ".join(text.split())}\nВаш ответ: ' messages.append([ { 'role': 'system', 'content': 'Вы - полезный помощник, умеющий читать тексты на русском языке, глубоко понимать их и анализировать.' }, { 'role': 'user', 'content': prompt } ]) return {'message_for_llm': messages}llm_pipeline = pipeline(model='Qwen/Qwen2-7B-Instruct', device_map='auto', torch_dtype='auto')
DATASET_NAME = 'Davlan/sib200' DATASET_LANGUAGE = 'rus_Cyrl' train_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='train') validation_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='validation') test_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='test')
- Assistant
Давайте разберем ваш код и посмотрим, как он работает и чему служит каждый его компонент.
Установка библиотек
В начале кода вы устанавливаете необходимые библиотеки:
datasets– для загрузки датасетов.transformers– для работы с моделями машинного обучения от Hugging Face.accelerate– для оптимизации и ускорения обучения моделей (хотя в данном фрагменте не используется напрямую).fuzzywuzzyиpython-Levenshtein– для работы со строками и подсчета расстояния Левенштейна.
Импорт модулей и функций
Вы импортируете необходимые модули и функции:
random,Dict,List,Union- стандартные библиотеки Python для работы с коллекциями и типами.load_datasetиз библиотекиdatasetsдля загрузки датасета.fuzzиprocessиз библиотекиfuzzywuzzyдля обработки строк.classification_reportиз библиотекиsklearn.metricsдля вывода результатов классификации (в текущем коде не используется).tqdmдля отображения прогресса (в текущем коде не используется).pipelineизtransformersдля создания пайплайна обработки текстов с использованием модели машинного обучения.
Функция
prepare_message_for_llmЭта функция генерирует сообщения, которые затем могут быть использованы для обработки текстов языковой моделью.
- Проверка, что количество категорий больше двух, иначе вызывается исключение.
- Генерация строки с перечислением категорий.
- Создание подсказки (prompt), в которой пользователь должен выбрать наиболее подходящую тему для данного текста.
- Формирование сообщений для отправки модели – они состоят из системного сообщения и сообщения пользователя, заключающего созданный prompt.
Создание пайплайна
llm_pipeline = pipeline(model='Qwen/Qwen2-7B-Instruct', device_map='auto', torch_dtype='auto')Здесь создается пайплайн для обработки текстов с использованием модели
Qwen/Qwen2-7B-Instruct, которая автоматически распределяется по доступным устройствам и настройкам типа данных.Загрузка датасета
Используются функции
load_dataset, чтобы загрузить тренировочные, валидационные и тестовые наборы данных из датасетаDavlan/sib200с русским языкомrus_Cyrl.Проблемы, которые могут возникнуть:
- Обратите внимание, что модель
Qwen/Qwen2-7B-Instructдолжна быть доступна на вашей системе, а также потребует достаточного объема памяти. - Отсутствие использования некоторых импортированных модулей (
classification_report,tqdm) может говорить о том, что код требует доработки либо эти компоненты будут использованы позже. fuzzywuzzyиpython-Levenshteinне применяются в приведенном сегменте кода, возможно, они понадобятся в дальнейших частях вашего проекта.
Если у вас есть еще вопросы по работе этого кода или вы хотите обсудить его расширение, пожалуйста, дайте знать!
- User
Продолжение кода: list_of_categories = sorted(list( set(train_set['category']) | set(validation_set['category']) | set(test_set['category']) )) print(f'Categories for classification are: {list_of_categories}')
Prints : Categories for classification are: ['entertainment', 'geography', 'health', 'politics', 'science/technology', 'sports', 'travel']
print(validation_set) ''' Prints : Dataset({ features: ['index_id', 'category', 'text'], num_rows: 99 }) '''
examples_by_categories = dict() for current_category in list_of_categories: examples_by_categories[current_category] = random.choice( train_set.filter(lambda it: it['category'] == current_category)['text'] ) print(f'Category: {current_category}\n') print(f'Random text: {examples_by_categories[current_category]}\n\n')
validation_set_for_llm = validation_set.map(lambda it: prepare_message_for_llm(it['text'], examples_by_categories)) test_set_for_llm = test_set.map(lambda it: prepare_message_for_llm(it['text'], examples_by_categories))
print(validation_set_for_llm)
''' Prints : Dataset({ features: ['index_id', 'category', 'text', 'message_for_llm'], num_rows: 99 }) '''
print(validation_set['text'][0])
Prints : Если увеличить расстояние для бега с четверти до половины мили, скорость становится не так важна, тогда как выносливость превращается в абсолютную необходимость.
print(validation_set_for_llm['message_for_llm'][0])
y_pred = list(map( lambda x: llm_pipeline(x, max_new_tokens=10)[0]['generated_text'], tqdm(validation_set_for_llm['message_for_llm']) )) y_true = validation_set['category']
print(y_pred[0])
print(classification_report(y_true=y_true, y_pred=[x[-1]['content'] for x in y_pred]))
y_pred_with_normalization = list(map( lambda it: process.extractOne(it[-1]['content'], list_of_categories, scorer=fuzz.token_sort_ratio)[0], y_pred ))
print(y_pred_with_normalization[0]) # Prints : sports
print(classification_report(y_true=y_true, y_pred=y_pred_with_normalization))
y_pred = list(map( lambda x: llm_pipeline(x, max_new_tokens=10)[0]['generated_text'], tqdm(test_set_for_llm['message_for_llm']) )) y_true = test_set['category']
print(classification_report(y_true=y_true, y_pred=[x[-1]['content'] for x in y_pred]))
y_pred_with_normalization = list(map( lambda it: process.extractOne(it[-1]['content'], list_of_categories, scorer=fuzz.token_sort_ratio)[0], y_pred ))
print(classification_report(y_true=y_true, y_pred=y_pred_with_normalization))
- Assistant
Продолжим разбор вашего кода, начиная с места, где мы остановились.
Список категорий
list_of_categories = sorted(list( set(train_set['category']) | set(validation_set['category']) | set(test_set['category']) )) print(f'Categories for classification are: {list_of_categories}')Этот блок кода определяет все уникальные категории из заданных наборов данных (
train_set,validation_set,test_set), объединяя их в один список.Генерация примеров по категориям
examples_by_categories = dict() for current_category in list_of_categories: examples_by_categories[current_category] = random.choice( train_set.filter(lambda it: it['category'] == current_category)['text'] ) print(f'Category: {current_category}\n') print(f'Random text: {examples_by_categories[current_category]}\n\n')Для каждой категории из списка случайным образом выбирается один текст из тренировочного набора данных. Эти тексты позже используются в качестве примеров, чтобы помочь модели классифицировать тексты валидационного и тестового наборов.
Подготовка данных для модели
validation_set_for_llm = validation_set.map(lambda it: prepare_message_for_llm(it['text'], examples_by_categories)) test_set_for_llm = test_set.map(lambda it: prepare_message_for_llm(it['text'], examples_by_categories))Функция
prepare_message_for_llmприменятся к текстам валидационного и тестового наборов, чтобы подготовить их для подачи в языковую модель.Предсказания и оценка на валидационном наборе
y_pred = list(map( lambda x: llm_pipeline(x, max_new_tokens=10)[0]['generated_text'], tqdm(validation_set_for_llm['message_for_llm']) )) y_true = validation_set['category'] print(classification_report(y_true=y_true, y_pred=[x[-1]['content'] for x in y_pred]))Этот блок кода:
- Подает каждое сообщение из валидационного набора в языковую модель и получает предсказания.
- Сравнивает предсказания с истинными метками и выводит отчет классификации с метриками точности, полноты и F1-меры.
Нормализация предсказаний
y_pred_with_normalization = list(map( lambda it: process.extractOne(it[-1]['content'], list_of_categories, scorer=fuzz.token_sort_ratio)[0], y_pred ))Этот шаг включает использование
fuzzywuzzyдля нормализации предсказаний, сравнивая предсказанный текст с возможными категориями и выбирая наиболее похожую с точки зрения расстояния Левенштейна.Оценка на тестовом наборе
После оценки на валидационном наборе, та же процедура повторяется для тестового набора данных, с целью проверки обобщения модели.
Замечания
- Поляризация данных: Балансировка категорий в тренировочном наборе может повлиять на точность предсказания.
- Объем данных: Для уверенной оценки модели необходима достаточная выборка как для обучения, так и для тестирования.
- Производительность: Представленный код может занимать значительное время для выполнения, в зависимости от объема данных и сложности модели.
Если у вас возникнут вопросы по коду или его дополнительных фрагментах, не стесняйтесь спрашивать!
- User
У тебя есть идеи, как можно повысить значение f1-score в данном коде? Что можно сделать? Как можно улучшить и чем? Я просто не очень погружён в тему глубоких нейронных сетей
- Assistant
Повышение значения F1-меры (F1-score) требует улучшения как точности, так и полноты модели. Вот несколько стратегий, которые могут помочь добиться этого:
-
Улучшение качества данных:
- Аннотация данных: Убедитесь в качестве аннотаций в вашем наборе данных. Ошибки в метках могут значительно повлиять на производительность модели.
- Балансировка классов: Если данные несбалансированы, стоит рассмотреть методы балансировки, такие как уменьшение количества примеров для часто встречающихся классов (undersampling) или увеличение количества примеров для редко встречающихся классов (oversampling).
- Очистка данных: Удалите дублирующиеся или нерелевантные тексты. Неоднозначные или шумные данные могут ухудшить обучаемость модели.
-
Модель и архитектура:
- Использование более мощной модели: Возможно, используемая модель не оптимальна для вашей задачи. Рассмотрите более сложные модели, такие как BERT, RoBERTa или их аналоги, которые могут лучше справляться с задачами классификации текста.
- Тонкая настройка: Попробуйте дообучение (fine-tuning) предобученной модели на вашем наборе данных. Это может помочь модели адаптироваться к специфике вашей задачи.
-
Оптимизация гиперпараметров:
- Изучение гиперпараметров: Проверьте различные настройки гиперпараметров, такие как learning rate, batch size, количество эпох и другие параметры обучения.
- Использование методов поиска: Рассмотрите возможность использования методов сеточного поиска (grid search) или байесовской оптимизации для нахождения оптимальных гиперпараметров.
-
Обработка данных:
- Аугментация: Применение методов аугментации данных, таких как перефразирование текстов или синтетическая генерация данных, может помочь увеличить объем данных и усилить обобщающую способность модели.
-
Нормализация и предобработка текста:
- Очистка и нормализация текстов: Применение техник предобработки, таких как удаление стоп-слов, лемматизация или стемминг, может улучшить качество входных данных для модели.
- Векторизация текстов: Использование более качественных текстовых эмбеддингов может улучшить представление текстов.
-
Оценка и метрики:
- Используйте более детальный анализ ошибок, чтобы понять, в каких случаях модель ошибается, и работайте над разрешением этих ошибок.
-
Использование ансамблей:
- Объединение нескольких моделей в ансамбль может помочь улучшить результаты, используя разные подходы к апроксимации функций.
Попробуйте применить эти подходы по отдельности или в комбинации, чтобы оценить их влияние на производительность модели. Возможно, вам придется провести несколько итераций экспериментов, прежде чем вы достигнете значительного улучшения.
-
- User
А чтобы ты предложил? Мы можем мой код модифицировать, применяя что-то из предложенного тобой?
- Assistant
Конечно, давайте попробуем применить некоторые из предложенных улучшений к вашему коду. Мы можем сосредоточиться на следующих аспектах:
-
Использование более мощной модели из библиотеки Hugging Face:
- Попробуем заменить текущую модель на предобученную модель типа BERT или подобную ей, которая показала хорошую производительность в текстовых задачах.
-
Тонкая настройка предобученной модели на вашем наборе данных:
- Реализуем fine-tuning, чтобы модель лучше адаптировалась к вашей задаче классификации.
-
Применение аугментации данных:
- Можем использовать простые техники аугментации, такие как замена синонимов или вставка шумов, чтобы увеличить разнообразие данных.
Пример изменения вашего кода:
- Замена модели:
from transformers import AutoTokenizer, AutoModelForSequenceClassification, Trainer, TrainingArguments # Загрузите более мощную предобученную модель и токенизатор model_name = "bert-base-uncased" # Можно заменить на другие модели, например, "distilbert-base-uncased" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForSequenceClassification.from_pretrained(model_name, num_labels=len(list_of_categories))- Подготовка данных для обучения:
from datasets import Dataset # Создание датасетов, совместимых с Trainer train_dataset = Dataset.from_dict({ 'text': train_set['text'], 'label': [list_of_categories.index(cat) for cat in train_set['category']] }) validation_dataset = Dataset.from_dict({ 'text': validation_set['text'], 'label': [list_of_categories.index(cat) for cat in validation_set['category']] })- Тонкая настройка модели:
def tokenize_function(examples): return tokenizer(examples['text'], padding="max_length", truncation=True) train_dataset = train_dataset.map(tokenize_function, batched=True) validation_dataset = validation_dataset.map(tokenize_function, batched=True) training_args = TrainingArguments( output_dir="./results", evaluation_strategy="epoch", learning_rate=2e-5, per_device_train_batch_size=8, per_device_eval_batch_size=8, num_train_epochs=3, weight_decay=0.01, ) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=validation_dataset, tokenizer=tokenizer ) # Обучение модели trainer.train()- Применение аугментации (например, замена синонимов):
Для аугментации текста можно использовать различные библиотеки, например
nlpaug, но это может существенно увеличить сложность, поэтому я не включил это в код. Если интересно, могу подробнее объяснить, как это сделать.- Проверка модели:
После обучения вы можете использовать модель для предсказаний, опять же с помощью
Trainerили напрямую черезpipeline.Применив приведенные модификации, вы можете оценить влияние на F1-score и другие метрики. Если нужно будет добавить еще что-то или углубиться в детали, дайте знать!
-