Мне нужно улучшить f1-score в данном ноутбуке. Я очень слабо разбираюсь в нейронных…
- User
Мне нужно улучшить f1-score в данном ноутбуке. Я очень слабо разбираюсь в нейронных сетях и тем более как можно улучшить этот f1-score (что это такое вообще?). Помоги мне, пожалуйста, понять что куда нужно добавить или изменить. Напомню ещё раз, что я почти ничего не понимаю в нейронных сетях. Вот мой код:
!pip install datasets !pip install transformers !pip install evaluate
from typing import List, Tuple from datasets import load_dataset, Dataset import evaluate import numpy as np from sklearn.metrics import classification_report import torch from transformers import AutoTokenizer, AutoModelForSequenceClassification from transformers import DataCollatorWithPadding from transformers import TrainingArguments, Trainer from transformers import pipeline
MODEL_NAME = 'DeepPavlov/rubert-base-cased' tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
DATASET_NAME = 'Davlan/sib200' DATASET_LANGUAGE = 'rus_Cyrl' train_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='train') validation_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='validation') test_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='test')
print(train_set)
MINIBATCH_SIZE = 64 tokenized_train_set = train_set.map( lambda it: tokenizer(it['text'], truncation=True), batched=True, batch_size=MINIBATCH_SIZE ) tokenized_validation_set = validation_set.map( lambda it: tokenizer(it['text'], truncation=True), batched=True, batch_size=MINIBATCH_SIZE )
print(tokenized_train_set)
cls_metric = evaluate.load('f1')
def compute_metrics(eval_pred): predictions, labels = eval_pred predictions = np.argmax(predictions, axis=1) return cls_metric.compute(predictions=predictions, references=labels, average='macro')
data_collator = DataCollatorWithPadding(tokenizer=tokenizer)
list_of_categories = sorted(list( set(train_set['category']) | set(validation_set['category']) | set(test_set['category']) )) indices_of_categories = list(range(len(list_of_categories))) n_categories = len(list_of_categories) print(f'Categories for classification are: {list_of_categories}') id2label = dict(zip(indices_of_categories, list_of_categories)) label2id = dict(zip(list_of_categories, indices_of_categories))
labeled_train_set = tokenized_train_set.add_column( 'label', [label2id[val] for val in tokenized_train_set['category']] ) labeled_validation_set = tokenized_validation_set.add_column( 'label', [label2id[val] for val in tokenized_validation_set['category']] )
print(labeled_train_set)
classifier = AutoModelForSequenceClassification.from_pretrained( MODEL_NAME, num_labels=n_categories, id2label=id2label, label2id=label2id ).cuda() for param in classifier.parameters(): param.data = param.data.contiguous()
training_args = TrainingArguments( output_dir='rubert_sib200', learning_rate=2e-5, per_device_train_batch_size=MINIBATCH_SIZE, per_device_eval_batch_size=MINIBATCH_SIZE, num_train_epochs=20, weight_decay=1e-3, eval_strategy='epoch', save_strategy='epoch', load_best_model_at_end=True )
trainer = Trainer( model=classifier, args=training_args, train_dataset=labeled_train_set, eval_dataset=labeled_validation_set, tokenizer=tokenizer, data_collator=data_collator, compute_metrics=compute_metrics, )
trainer.train()
classifiсation_pipeline = pipeline('text-classification', model=classifier, tokenizer=tokenizer, device=0)
y_pred = list(map(lambda x: x['label'], classifiсation_pipeline(validation_set['text']))) y_true = validation_set['category'] print(classification_report(y_true=y_true, y_pred=y_pred))
y_pred = list(map(lambda x: x['label'], classifiсation_pipeline(test_set['text']))) y_true = test_set['category'] print(classification_report(y_true=y_true, y_pred=y_pred))
- Assistant
Для улучшения F1-score (метрика, оценивающая качество модели, особенно в случае несбалансированных данных) вашей модели стоит рассмотреть несколько подходов и изменений в вашем коде:
-
Аугментация данных: Добавление дополнительных данных может помочь улучшить обобщающую способность модели. Используйте методы аугментации текстов, чтобы увеличить разнообразие вашего тренировочного набора.
-
Настройка гиперпараметров:
- Поэкспериментируйте с
learning_rate. Иногда небольшое уменьшение или увеличение может дать значительное улучшение. - Рассмотрите изменение
num_train_epochs. Возможно, нужное количество эпох для обучения окажется меньше или больше, чем установлено. - Регуляризация: изменения параметра
weight_decayмогут помочь предотвратить переобучение.
- Поэкспериментируйте с
-
Перебалансировка данных: Если классы в вашем наборе данных несбалансированы, это может повлиять на F1-score. Попробуйте обработать дисбаланс либо путем увеличения выборки (oversampling), либо уменьшением выборки (undersampling).
-
Кросс-валидация: Вместо использования фиксированной валидационной выборки, используйте кросс-валидацию для более надежной оценки производительности модели.
-
Изменение модели: Попробуйте использовать другой предобученный трансформер, возможно, более подходящий для вашей задачи или области.
-
Скользящее среднее весов: Использовать EMA (Exponential Moving Average) для сглаживания весов модели.
-
Замораживание слоев: Заморозьте некоторые слои модели на начальных эпохах обучения, чтобы модель быстрее обучилась на ваших данных (особенно если данных немного).
Ввод необходимых изменений в код:
import random from transformers import set_seed # Установка сидов для повторяемости результатов random.seed(42) np.random.seed(42) torch.manual_seed(42) torch.cuda.manual_seed_all(42) set_seed(42) ... training_args = TrainingArguments( output_dir='rubert_sib200', learning_rate=3e-5, # Попробуйте изменить значение learning_rate per_device_train_batch_size=32, # Измените batch_size для исследования per_device_eval_batch_size=64, num_train_epochs=10, # Уменьшение или увеличение числа эпох weight_decay=1e-4, # Регуляризация: изменение weight_decay eval_strategy='epoch', save_strategy='epoch', load_best_model_at_end=True, logging_dir='./logs', # Добавление логирования для большей информативности logging_steps=10 ) ...Также, чтобы улучшить качество отчета с помощью
classification_report, используйте измененную функцию предобработки для SVM, добавляя дополнительные признаки.Помните, что улучшение F1-score - это часто итеративный процесс, и стоит испытать несколько комбинаций указанных улучшений.
-
- User
Давай добавим в мой код что-нибудь? Только что-то не сильно сложное, как я сказал в нейросетях я плохо разбираюсь
- Assistant
Конечно! Давайте добавим несколько несложных изменений в ваш код, которые могут помочь улучшить качество модели и F1-score.
1. Изменение
learning_rateиbatch_sizeЭто простое изменение, которое может кардинально повлиять на обучение модели. Давайте немного увеличим
learning_rateи уменьшимbatch_size, чтобы ваша модель могла получить больше информации из одной партии данных.2. Заморозка первых слоев
Вы можете заморозить некоторые из первых слоев предобученной модели на начальных этапах, чтобы сконцентрироваться на обучении последних слоев на ваших данных.
Ниже представлено, как можно изменить ваш код с учётом этих предложений:
# Изменения learning_rate и batch_size training_args = TrainingArguments( output_dir='rubert_sib200', learning_rate=3e-5, # Немного увеличиваем learning_rate per_device_train_batch_size=32, # Уменьшаем batch_size для более детальной работы с данными per_device_eval_batch_size=64, num_train_epochs=20, weight_decay=1e-4, # Слегка изменяем weight_decay eval_strategy='epoch', save_strategy='epoch', load_best_model_at_end=True ) # Заморозка первых слоев модели classifier = AutoModelForSequenceClassification.from_pretrained( MODEL_NAME, num_labels=n_categories, id2label=id2label, label2id=label2id ).cuda() # Замораживаем первые 4 слоя for param in classifier.roberta.encoder.layer[:4]: for p in param.parameters(): p.requires_grad = False # Убедитесь, что последний слой разблокирован for param in classifier.roberta.encoder.layer[4:]: for p in param.parameters(): p.requires_grad = True trainer = Trainer( model=classifier, args=training_args, train_dataset=labeled_train_set, eval_dataset=labeled_validation_set, tokenizer=tokenizer, data_collator=data_collator, compute_metrics=compute_metrics, ) trainer.train() classifiсation_pipeline = pipeline('text-classification', model=classifier, tokenizer=tokenizer, device=0) y_pred = list(map(lambda x: x['label'], classifiсation_pipeline(validation_set['text']))) y_true = validation_set['category'] print(classification_report(y_true=y_true, y_pred=y_pred)) y_pred = list(map(lambda x: x['label'], classifiсation_pipeline(test_set['text']))) y_true = test_set['category'] print(classification_report(y_true=y_true, y_pred=y_pred))Объяснение
-
Изменение
learning_rateиbatch_size: Эти изменения могут помочь модели быстрее находить оптимальные веса и обеспечивать лучшее обобщение. -
Заморозка первых слоев: Это поможет модели сосредоточиться на настройке последних слоев, которые более конкретно обучаются под вашу задачу классификации, при сохранении стабильных низкоуровневых признаков, выученных из предобученных данных.
Помните, что эксперимент с параметрами — это нормальная часть процесса машинного обучения, и может потребоваться несколько итераций, чтобы найти наилучшие настройки для вашей задачи.
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.