У меня есть следующий код обучения from tqdm.auto import tqdm nepochs = 25 losses = []…
- User
У меня есть следующий код обучения
from tqdm.auto import tqdm n_epochs = 25
losses = [] for epoch in range(n_epochs):
model.train() # режим обучения модели for batch in train_dataloader: batch = {key: value.to(DEVICE) for key, value in batch.items()} # перенос на ГПУ outputs = model(**batch) loss = outputs.loss # извлечение функции потерь loss.backward() # вычисление градиентов losses.append(loss.item()) optimizer.step() # обновляем веса optimizer.zero_grad() # обнуляем градиенты model.eval() # режим оценки pred, true = [], [] for batch in test_dataloader: with torch.no_grad(): outputs = model(**batch.to(DEVICE)) predictions = outputs.logits.argmax(dim=-1) labels = batch["labels"] true_labels, true_predictions = postprocess(predictions, labels, list(label2id.keys())) pred.extend(true_predictions) true.extend(true_labels) results = seqeval.compute(predictions=pred, references=true, zero_division=0) print(10 * '-----') print(f"epoch {epoch}: {results}")После каждой эпохи обучения вычисляются метрики f1 по классам и общее f1, мне нужно добавить часть с сохранением модели, если текущая общая метрика лучше предыдущей
- Assistant
Чтобы сохранить модель, если текущая общая метрика (например, F1-score) лучше предыдущей, нужно добавить логику проверки и сохранения модели в код. Для этого можно использовать несколько простых шагов.
Во-первых, добавьте переменную для отслеживания лучшей метрики. Во-вторых, после вычисления метрик для текущей эпохи сравните текущую общую метрику с лучшей метрикой, и если она лучше, сохраните модель и обновите значение лучшей метрики.
Вот как это можно сделать:
import torch # Инициализация переменных для отслеживания лучшей метрики и эпохи с наилучшей метрикой best_f1 = 0.0 best_epoch = 0 from tqdm.auto import tqdm n_epochs = 25 losses = [] for epoch in range(n_epochs): model.train() # режим обучения модели for batch in train_dataloader: batch = {key: value.to(DEVICE) for key, value in batch.items()} # перенос на ГПУ outputs = model(**batch) loss = outputs.loss # извлечение функции потерь loss.backward() # вычисление градиентов losses.append(loss.item()) optimizer.step() # обновляем веса optimizer.zero_grad() # обнуляем градиенты model.eval() # режим оценки pred, true = [], [] for batch in test_dataloader: with torch.no_grad(): batch = {key: value.to(DEVICE) for key, value in batch.items()} outputs = model(**batch) predictions = outputs.logits.argmax(dim=-1) labels = batch["labels"] true_labels, true_predictions = postprocess(predictions, labels, list(label2id.keys())) pred.extend(true_predictions) true.extend(true_labels) results = seqeval.compute(predictions=pred, references=true, zero_division=0) # Получение текущей общей метрики (например, F1-score) current_f1 = results["overall_f1"] print(10 * '-----') print(f"epoch {epoch}: {results}") # Сохранение модели, если текущая метрика лучше предыдущей лучшей метрики if current_f1 > best_f1: best_f1 = current_f1 best_epoch = epoch # Сохранение модели torch.save(model.state_dict(), 'best_model.pth') print(f"Model saved with F1 {best_f1} at epoch {epoch}") print(f"Best F1 {best_f1} obtained at epoch {best_epoch}")В этом коде:
best_f1иbest_epochиспользуются для отслеживания лучшей общей метрики F1 и номера эпохи.- После вычисления метрик для текущей эпохи, программа сравнивает текущий F1 с лучшим F1.
- Если текущий F1 лучше, сохраняется состояние модели и обновляется
best_f1.
Теперь модель будет сохраняться в файл
best_model.pthтолько в случае, если на текущей эпохе F1-score выше, чем был на предыдущих. - User
А если нужно вот так сохранять # Сохраняем модель model.save_pretrained('/mnt/vol_b/sc-personal-osipova/sa/test_model/model_ner_' + str(epoch))
# Сохраняем токенизатор tokenizer.save_pretrained('/mnt/vol_b/sc-personal-osipova/sa/test_model/model_ner_' + str(epoch)) - Assistant
Если хотите сохранять модель и токенизатор в указанную директорию в случае, если текущая F1 метрика лучше предыдущей, то логика остается похожей. Единственная разница в том, что нужно использовать методы
save_pretrainedдля модели и токенизатора.Вот обновленный код с учетом ваших требований:
import torch # Инициализация переменных для отслеживания лучшей метрики и эпохи с наилучшей метрикой best_f1 = 0.0 best_epoch = 0 from tqdm.auto import tqdm n_epochs = 25 losses = [] for epoch in range(n_epochs): model.train() # режим обучения модели for batch in train_dataloader: batch = {key: value.to(DEVICE) for key, value in batch.items()} # перенос на ГПУ outputs = model(**batch) loss = outputs.loss # извлечение функции потерь loss.backward() # вычисление градиентов losses.append(loss.item()) optimizer.step() # обновляем веса optimizer.zero_grad() # обнуляем градиенты model.eval() # режим оценки pred, true = [], [] for batch in test_dataloader: with torch.no_grad(): batch = {key: value.to(DEVICE) for key, value in batch.items()} outputs = model(**batch) predictions = outputs.logits.argmax(dim=-1) labels = batch["labels"] true_labels, true_predictions = postprocess(predictions, labels, list(label2id.keys())) pred.extend(true_predictions) true.extend(true_labels) results = seqeval.compute(predictions=pred, references=true, zero_division=0) # Получение текущей общей метрики (например, F1-score) current_f1 = results["overall_f1"] print(10 * '-----') print(f"epoch {epoch}: {results}") # Сохранение модели и токенизатора, если текущая метрика лучше предыдущей лучшей метрики if current_f1 > best_f1: best_f1 = current_f1 best_epoch = epoch save_path = f'/mnt/vol_b/sc-personal-osipova/sa/test_model/model_ner_{epoch}' # Сохранение модели model.save_pretrained(save_path) # Сохранение токенизатора tokenizer.save_pretrained(save_path) print(f"Model and tokenizer saved with F1 {best_f1} at epoch {epoch}") print(f"Best F1 {best_f1} obtained at epoch {best_epoch}")В этом коде:
- Логика отслеживания лучшей метрики остается той же.
- Если текущий F1-score лучше, чем предыдущий лучший, сохраняется модель и токенизатор в указанную директорию.
- Директория для сохранения формируется на основе номера текущей эпохи.