Мне нужно улучшить f1-score в данном ноутбуке. Я очень слабо разбираюсь в нейронных…
- User
Мне нужно улучшить f1-score в данном ноутбуке. Я очень слабо разбираюсь в нейронных сетях и тем более как можно улучшить этот f1-score (что это такое вообще?). Помоги мне, пожалуйста, понять что куда нужно добавить или изменить. Напомню ещё раз, что я почти ничего не понимаю в нейронных сетях. Вот мой код:
!pip install datasets !pip install transformers !pip install evaluate
from typing import List, Tuple from datasets import load_dataset, Dataset import evaluate import numpy as np from sklearn.metrics import classification_report import torch from transformers import AutoTokenizer, AutoModelForSequenceClassification from transformers import DataCollatorWithPadding from transformers import TrainingArguments, Trainer from transformers import pipeline
MODEL_NAME = 'DeepPavlov/rubert-base-cased' tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
DATASET_NAME = 'Davlan/sib200' DATASET_LANGUAGE = 'rus_Cyrl' train_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='train') validation_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='validation') test_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='test')
print(train_set)
MINIBATCH_SIZE = 64 tokenized_train_set = train_set.map( lambda it: tokenizer(it['text'], truncation=True), batched=True, batch_size=MINIBATCH_SIZE ) tokenized_validation_set = validation_set.map( lambda it: tokenizer(it['text'], truncation=True), batched=True, batch_size=MINIBATCH_SIZE )
print(tokenized_train_set)
cls_metric = evaluate.load('f1')
def compute_metrics(eval_pred): predictions, labels = eval_pred predictions = np.argmax(predictions, axis=1) return cls_metric.compute(predictions=predictions, references=labels, average='macro')
data_collator = DataCollatorWithPadding(tokenizer=tokenizer)
list_of_categories = sorted(list( set(train_set['category']) | set(validation_set['category']) | set(test_set['category']) )) indices_of_categories = list(range(len(list_of_categories))) n_categories = len(list_of_categories) print(f'Categories for classification are: {list_of_categories}') id2label = dict(zip(indices_of_categories, list_of_categories)) label2id = dict(zip(list_of_categories, indices_of_categories))
labeled_train_set = tokenized_train_set.add_column( 'label', [label2id[val] for val in tokenized_train_set['category']] ) labeled_validation_set = tokenized_validation_set.add_column( 'label', [label2id[val] for val in tokenized_validation_set['category']] )
print(labeled_train_set)
classifier = AutoModelForSequenceClassification.from_pretrained( MODEL_NAME, num_labels=n_categories, id2label=id2label, label2id=label2id ).cuda() for param in classifier.parameters(): param.data = param.data.contiguous()
training_args = TrainingArguments( output_dir='rubert_sib200', learning_rate=2e-5, per_device_train_batch_size=MINIBATCH_SIZE, per_device_eval_batch_size=MINIBATCH_SIZE, num_train_epochs=20, weight_decay=1e-3, eval_strategy='epoch', save_strategy='epoch', load_best_model_at_end=True )
trainer = Trainer( model=classifier, args=training_args, train_dataset=labeled_train_set, eval_dataset=labeled_validation_set, tokenizer=tokenizer, data_collator=data_collator, compute_metrics=compute_metrics, )
trainer.train()
classifiсation_pipeline = pipeline('text-classification', model=classifier, tokenizer=tokenizer, device=0)
y_pred = list(map(lambda x: x['label'], classifiсation_pipeline(validation_set['text']))) y_true = validation_set['category'] print(classification_report(y_true=y_true, y_pred=y_pred))
y_pred = list(map(lambda x: x['label'], classifiсation_pipeline(test_set['text']))) y_true = test_set['category'] print(classification_report(y_true=y_true, y_pred=y_pred))
- Assistant
Чтобы улучшить F1-score вашей модели, нужно лучше понять, как этот показатель работает. F1-score — это гармоническое среднее между точностью (precision) и полнотой (recall). Его значение варьируется от 0 (наихудшее значение) до 1 (наилучшее значение). Он особенно полезен в задачах с несбалансированными классами.
Для повышения F1-score можно попробовать следующие шаги:
-
Аугментация данных: Добавьте больше данных или примените методы аугментации данных. Это может помочь модели лучше обобщать.
-
Тюнинг гиперпараметров: Изучите различные параметры обучения, такие как learning rate (скорость обучения), batch size (размер мини-пакета), число эпох, и попробуйте другие их настройки.
-
Предварительная обработка данных: Убедитесь, что данные подготовлены и токенизированы должным образом. Попробуйте различные стратегии токенизации или добавление дополнительных признаков (например, контекст).
-
Улучшение архитектуры: Экспериментируйте с другими архитектурами модели или более сложными моделями. Например, можно попробовать более продвинутую модель, чем текущая.
-
Ансамблирование моделей: Используйте ансамбли из нескольких моделей для получения более устойчивых результатов.
-
Балансировка классов: Если классы несбалансированы, попробуйте методы балансировки, такие как взвешивание классов или undersampling/oversampling.
Теперь давайте посмотрим, как можно применить некоторые из этих рекомендаций в вашем коде:
Улучшение параметров обучения
Попробуйте изменять гиперпараметры в
TrainingArguments, например:training_args = TrainingArguments( output_dir='rubert_sib200', learning_rate=3e-5, # Попробуйте чуть выше или ниже значения per_device_train_batch_size=32, # Меньший размер пакета может привести к лучшему изучению per_device_eval_batch_size=64, num_train_epochs=10, # Попробуйте уменьшить или увеличить количество эпох weight_decay=0.01, # Попробуйте изменить eval_strategy='epoch', save_strategy='epoch', load_best_model_at_end=True )Улучшение данных
Если у вас есть возможность, попробуйте добавить аугментацию текстов или перевести их в более чистый вид, убирая шум (например, специальные символы).
Попробуйте другой/дополнительный подход к токенизации
Удостоверьтесь, что токенизация происходит корректно. Возможно, попробуйте альтернативные методы представления текстов (например, BPE, к-меры и т.д.).
Использование более сложных моделей
Если
rubert-base-casedне даёт удовлетворительных результатов, попробуйте более крупную модель. Имейте в виду, что это потребует больше ресурсов и времени.Ансамбли из моделей
В продуктивной версии можно попробовать обучать несколько моделей и комбинировать их предсказания.
Эти подходы могут не гарантировать результат сразу, но помогут вам наметить направления для экспериментов и улучшения вашей модели.
-
- User
Давай сделаем тюнинг и предобработку данных. А возможно и ансамбль (только что-нибудь простое и подходящее)
- Assistant
Конечно! Давайте начнем с предобработки данных и тюнинга гиперпараметров, а затем добавим простой ансамбль моделей.
1. Предобработка данных
В предобработке данных мы можем:
- Удалить лишние пробелы, спецсимволы и ненужные знаки.
- Привести текст к единому регистру (если это уместно и не влияет на модель).
- Удалить стоп-слова (в зависимости от задачи это может помочь).
Однако, поскольку мы используем трансформеры, нормализация регистра и удаление стоп-слов может быть необязательным. Давайте посмотрим на базовую предобработку, а именно удаление лишних пробелов и символов.
Пример кода для предварительной обработки:
import re def preprocess_text(text): # Удаление лишних пробелов и спецсимволов text = text.lower() # Приведение к нижнему регистру text = re.sub(r'\s+', ' ', text) # Удаление лишних пробелов text = re.sub(r'[^\w\s]', '', text) # Удаление всех символов, кроме букв и пробелов return text # Применяем предобработку к тексту train_set = train_set.map(lambda x: {'text': preprocess_text(x['text'])}, batched=True) validation_set = validation_set.map(lambda x: {'text': preprocess_text(x['text'])}, batched=True) test_set = test_set.map(lambda x: {'text': preprocess_text(x['text'])}, batched=True)2. Тюнинг гиперпараметров
Попробуем изменить некоторые гиперпараметры обучения:
training_args = TrainingArguments( output_dir='rubert_sib200', learning_rate=3e-5, # Увеличили немного per_device_train_batch_size=32, # Изменили размер мини-пакета per_device_eval_batch_size=32, num_train_epochs=10, # Возможно уменьшение weight_decay=0.01, # Попробуем немного снизить eval_strategy='epoch', save_strategy='epoch', load_best_model_at_end=True )3. Ансамбль моделей
Ансамблирование может быть простым. Для начала можно попробовать обучить несколько раз одну и ту же модель и усреднить их предсказания. Однако это требует существенных вычислительных ресурсов. Можно попробовать бэггинг или стохастическую смесь нескольких моделей.
Пример (усреднение предсказаний нескольких запусков):
Важно заметить, что данные модели должны быть обучены отдельно, что подразумевает создание и обучение нескольких экземпляров модели с использованием различных инициализаций или гиперпараметров.
from statistics import mode # Псевдокод для ансамблирования: def ensemble_predict(pipeline_list, texts): all_predictions = [pipeline(texts) for pipeline in pipeline_list] ensembled_results = [] for i in range(len(texts)): # Получаем лучшие результаты, применяя выбранное правило (например, усреднение) labels = [pred[i]['label'] for pred in all_predictions] final_label = mode(labels) # Усреднение через моду ensembled_results.append(final_label) return ensembled_results # Создаем несколько моделей models = [AutoModelForSequenceClassification.from_pretrained(MODEL_NAME, num_labels=n_categories, id2label=id2label, label2id=label2id).cuda() for _ in range(3)] # Тренируем модели pipelines = [] for model in models: trainer = Trainer( model=model, args=training_args, train_dataset=labeled_train_set, eval_dataset=labeled_validation_set, tokenizer=tokenizer, data_collator=data_collator, compute_metrics=compute_metrics, ) trainer.train() pipelines.append(pipeline('text-classification', model=model, tokenizer=tokenizer, device=0)) # Делайте предсказания через ансамбль y_pred = ensemble_predict(pipelines, validation_set['text']) y_true = validation_set['category'] print(classification_report(y_true=y_true, y_pred=y_pred)) y_pred = ensemble_predict(pipelines, test_set['text']) y_true = test_set['category'] print(classification_report(y_true=y_true, y_pred=y_pred))Этот код может оказаться ресурсоёмким, но демонстрирует, как можно организовать ансамблирование моделей через простое применение нескольких обученных моделей на одном датасете. Каждая модель будет иметь свои собственные веса и вероятно различаться в предсказаниях, что дало бы более устойчивый финальный результат.
- User
А помоги мне со всем кодом целиком, пожалуйста
- Assistant
Конечно! Давайте объединим весь код, чтобы учесть предобработку данных, тюнинг гиперпараметров и использование ансамбля. Имейте в виду, что обучение нескольких моделей для ансамбля может потребовать значительных вычислительных ресурсов.
!pip install datasets transformers evaluate from typing import List, Tuple from datasets import load_dataset, Dataset import evaluate import numpy as np from sklearn.metrics import classification_report import torch from transformers import AutoTokenizer, AutoModelForSequenceClassification from transformers import DataCollatorWithPadding from transformers import TrainingArguments, Trainer from transformers import pipeline import re from statistics import mode # Шаг 1: Предобработка данных def preprocess_text(text): text = text.lower() # Приведение к нижнему регистру text = re.sub(r'\s+', ' ', text) # Удаление лишних пробелов text = re.sub(r'[^\w\s]', '', text) # Удаление всех символов, кроме букв и пробелов return text MODEL_NAME = 'DeepPavlov/rubert-base-cased' tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME) DATASET_NAME = 'Davlan/sib200' DATASET_LANGUAGE = 'rus_Cyrl' train_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='train') validation_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='validation') test_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='test') # Применяем предобработку к тексту train_set = train_set.map(lambda x: {'text': preprocess_text(x['text'])}, batched=True) validation_set = validation_set.map(lambda x: {'text': preprocess_text(x['text'])}, batched=True) test_set = test_set.map(lambda x: {'text': preprocess_text(x['text'])}, batched=True) MINIBATCH_SIZE = 32 tokenized_train_set = train_set.map( lambda it: tokenizer(it['text'], truncation=True), batched=True, batch_size=MINIBATCH_SIZE ) tokenized_validation_set = validation_set.map( lambda it: tokenizer(it['text'], truncation=True), batched=True, batch_size=MINIBATCH_SIZE ) cls_metric = evaluate.load('f1') def compute_metrics(eval_pred): predictions, labels = eval_pred predictions = np.argmax(predictions, axis=1) return cls_metric.compute(predictions=predictions, references=labels, average='macro') data_collator = DataCollatorWithPadding(tokenizer=tokenizer) list_of_categories = sorted(list( set(train_set['category']) | set(validation_set['category']) | set(test_set['category']) )) indices_of_categories = list(range(len(list_of_categories))) n_categories = len(list_of_categories) id2label = dict(zip(indices_of_categories, list_of_categories)) label2id = dict(zip(list_of_categories, indices_of_categories)) labeled_train_set = tokenized_train_set.add_column('label', [label2id[val] for val in tokenized_train_set['category']]) labeled_validation_set = tokenized_validation_set.add_column('label', [label2id[val] for val in tokenized_validation_set['category']]) # Шаг 2: Тюнинг гиперпараметров training_args = TrainingArguments( output_dir='rubert_sib200', learning_rate=3e-5, # Увеличенное значение per_device_train_batch_size=32, # Уменьшенный размер пакета per_device_eval_batch_size=32, num_train_epochs=10, # Можно уменьшить или увеличить weight_decay=0.01, # Снижение eval_strategy='epoch', save_strategy='epoch', load_best_model_at_end=True ) # Шаг 3: Ансамблирование моделей def ensemble_predict(pipeline_list, texts): all_predictions = [pipeline(texts) for pipeline in pipeline_list] ensembled_results = [] for i in range(len(texts)): labels = [pred[i]['label'] for pred in all_predictions] final_label = mode(labels) ensembled_results.append(final_label) return ensembled_results # Создаем и обучаем несколько моделей pipelines = [] for _ in range(3): model = AutoModelForSequenceClassification.from_pretrained(MODEL_NAME, num_labels=n_categories, id2label=id2label, label2id=label2id).cuda() trainer = Trainer( model=model, args=training_args, train_dataset=labeled_train_set, eval_dataset=labeled_validation_set, tokenizer=tokenizer, data_collator=data_collator, compute_metrics=compute_metrics, ) trainer.train() pipelines.append(pipeline('text-classification', model=model, tokenizer=tokenizer, device=0)) # Используем ансамбль для предсказаний y_pred_val = ensemble_predict(pipelines, validation_set['text']) y_true_val = validation_set['category'] print("Validation set results:") print(classification_report(y_true=y_true_val, y_pred=y_pred_val)) y_pred_test = ensemble_predict(pipelines, test_set['text']) y_true_test = test_set['category'] print("Test set results:") print(classification_report(y_true=y_true_test, y_pred=y_pred_test))Этот код создан для использования нескольких моделей трансформеров и оценки результатов через ансамбльное предсказание. Убедитесь, что у вас достаточно вычислительных ресурсов для выполнения этой задачи, так как это может занять много времени и памяти на GPU.
- User
ошибка в функции предобработки текста: train_set = train_set.map(lambda x: {'text': preprocess_text(x['text'])}, batched=True) AttributeError: 'list' object has no attribute 'lower'
- Assistant
Ошибка возникает из-за того, что функция
preprocess_textожидает строку в качестве входных данных, аmapс параметромbatched=Trueпередает список. Чтобы исправить это, нужно либо убрать параметрbatched=True, чтобы обрабатывать данные по одному, либо адаптировать функцию для обработки списка текстов. Мы выберем второй подход.Вот исправленный код:
def preprocess_text_batch(batch): # Применяем предобработку ко всем текстам в батче return {'text': [preprocess_text(text) for text in batch['text']]} # Применяем предобработку к тексту train_set = train_set.map(preprocess_text_batch, batched=True) validation_set = validation_set.map(preprocess_text_batch, batched=True) test_set = test_set.map(preprocess_text_batch, batched=True)Изменения коснулись только функции предобработки, чтобы она могла корректно обрабатывать батчи. Попробуйте запустить код, и он должен работать без ошибок.
- User
ошибка в обучении: model = AutoModelForSequenceClassification.from_pretrained(MODEL_NAME, num_labels=n_categories, id2label=id2label, label2id=label2id).cuda() RuntimeError: Found no NVIDIA driver on your system. Please check that you have an NVIDIA GPU and installed a driver from http://www.nvidia.com/Download/index.aspx
- Assistant
Ошибка указывает на то, что на вашей системе либо нет установленного драйвера GPU от NVIDIA, либо отсутствует сама NVIDIA GPU. Если у вас нет доступной GPU, либо вы запускаете код на среде, которая не предоставляет доступ к GPU (например, локальная установка без подходящего оборудования), вы можете использовать CPU для обучения модели. В этом случае вам нужно изменить код так, чтобы он корректно работал на CPU.
Вот что можно сделать, чтобы использовать CPU:
-
Удалите вызов
.cuda(), который используется для перемещения модели на GPU. -
В параметре
pipelineизмените устройство на-1, что указывает на использование CPU.
Вот исправленный код:
pipelines = [] for _ in range(3): model = AutoModelForSequenceClassification.from_pretrained(MODEL_NAME, num_labels=n_categories, id2label=id2label, label2id=label2id) trainer = Trainer( model=model, args=training_args, train_dataset=labeled_train_set, eval_dataset=labeled_validation_set, tokenizer=tokenizer, data_collator=data_collator, compute_metrics=compute_metrics, ) trainer.train() pipelines.append(pipeline('text-classification', model=model, tokenizer=tokenizer, device=-1)) # Используем ансамбль для предсказаний y_pred_val = ensemble_predict(pipelines, validation_set['text']) y_true_val = validation_set['category'] print("Validation set results:") print(classification_report(y_true=y_true_val, y_pred=y_pred_val)) y_pred_test = ensemble_predict(pipelines, test_set['text']) y_true_test = test_set['category'] print("Test set results:") print(classification_report(y_true=y_true_test, y_pred=y_pred_test))С использованием CPU обучение будет значительно дольше в сравнении с GPU, поэтому будьте готовы к увеличенному времени ожидания на больших датасетах. Если вы хотите использовать GPU, вам нужно будет установить подходящее оборудование и драйвера от NVIDIA. На онлайн-платформах, таких как Google Colab, GPU поддерживается и доступен вне коробки, если вы выберете соответствующий вариант в настройках среды выполнения.
-
- User
От меня требуют какой-то ключ: wandb: Paste an API key from your profile and hit enter, or press ctrl+c to quit:
- Assistant
Ваш код вызывает платформу Weights & Biases (W&B), которая является популярным инструментом для отслеживания экспериментов по машинному обучению. Когда W&B используется, вам потребуется API-ключ для аутентификации и доступа к их сервисам.
Если вы не хотите использовать W&B, то можно просто отключить интеграцию с ней. Если W&B не требуется для вашей задачи, выполните следующие шаги, чтобы отключить ее:
- Отключите W&B в настройках
TrainingArguments:
Вы можете передать аргумент
report_to='none'вTrainingArguments, чтобы отключить отчетность в W&B:training_args = TrainingArguments( output_dir='rubert_sib200', learning_rate=3e-5, per_device_train_batch_size=32, per_device_eval_batch_size=32, num_train_epochs=10, weight_decay=0.01, eval_strategy='epoch', save_strategy='epoch', load_best_model_at_end=True, report_to='none' # Отключаем W&B )- Либо можете настроить W&B:
Если вы хотите использовать W&B, выполните следующие шаги:
- Регистрация. Перейдите на сайт W&B (https://wandb.ai) и зарегистрируйтесь.
- Получение API-ключа. После регистрации перейдите в ваш профиль, чтобы получить ваш API-ключ.
- Ввод API-ключа. При первом запуске введите API-ключ в запросе и он сохранится для последующих запусков.
Вы также можете передать API-ключ программно, например, установив его как переменную окружения:
import os os.environ["WANDB_API_KEY"] = "ваш_ключ"Вышеупомянутые шаги помогут вам либо отключить W&B, либо правильно настроить его для использования в вашем проекте.
- Отключите W&B в настройках
- User
Другая ошибка в обучении: ValueError: You are trying to save a non contiguous tensor:
bert.encoder.layer.0.attention.self.query.weightwhich is not allowed. It either means you are trying to save tensors which are reference of each other in which case it's recommended to save only the full tensors, and reslice at load time, or simply call.contiguous()on your tensor to pack it before saving. - Assistant
Эта ошибка указывает на проблему с сохранением модели из-за неконтинуальности тензоров. Это может случиться, когда тензоры не расположены в памяти последовательно, что препятствует некоторым операциям, таким как сохранение.
В вашем коде перед вызовом
trainer.train()была строкаfor param in classifier.parameters(): param.data = param.data.contiguous()— она перемещает параметры в непрерывный участок памяти, но, похоже, что функция вызываемая позже, все равно вызывает ошибку.Вот что можно сделать, чтобы устранить ошибку:
-
Удалите строку
for param in classifier.parameters(): param.data = param.data.contiguous()— возможно, она мешает правильной работе. -
Убедитесь, что с модели не производятся операции, которые нарушают целостность тензоров — например, нет ослаблений или связанных изменений слоев вне тренера или обработчиков.
Если проблемы будут сохраняться и ошибка будет продолжаться, попробуйте указать, какие именно операции были произведены до того, чтобы тщательно проверить преобработку на наличие некорректных изменений.
Вот ваш код с удаленной строкой, которая может быть неуместна:
pipelines = [] for _ in range(3): model = AutoModelForSequenceClassification.from_pretrained(MODEL_NAME, num_labels=n_categories, id2label=id2label, label2id=label2id) trainer = Trainer( model=model, args=training_args, train_dataset=labeled_train_set, eval_dataset=labeled_validation_set, tokenizer=tokenizer, data_collator=data_collator, compute_metrics=compute_metrics, ) trainer.train() pipelines.append(pipeline('text-classification', model=model, tokenizer=tokenizer, device=-1))Эта секция кода инициализирует новый экземпляр модели каждый раз без вызова
param.data = param.data.contiguous(). Проверьте, если ошибка повторяется, и дайте знать, если нужны дальнейшие шаги. -
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.