Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-2024-05-13· OpenAIAi2 WildChat-4.8M (AI2)

У меня есть следующий код обучения from tqdm.auto import tqdm nepochs = 25 losses = []…

  1. User

    У меня есть следующий код обучения

    from tqdm.auto import tqdm n_epochs = 25

    losses = [] for epoch in range(n_epochs):

    model.train() # режим обучения модели
    
    for batch in train_dataloader:
        
        batch = {key: value.to(DEVICE) for key, value in batch.items()} # перенос на ГПУ
    
        outputs = model(**batch)
        loss = outputs.loss # извлечение функции потерь
    
        loss.backward() # вычисление градиентов
    
        losses.append(loss.item())
    
        optimizer.step() # обновляем веса
        optimizer.zero_grad() # обнуляем градиенты
    
    model.eval() # режим оценки
    
    pred, true = [], []
    for batch in test_dataloader:
        with torch.no_grad():
            outputs = model(**batch.to(DEVICE))
    
        predictions = outputs.logits.argmax(dim=-1)
        labels = batch["labels"]
    
        true_labels, true_predictions = postprocess(predictions, labels, list(label2id.keys()))
        
        pred.extend(true_predictions)
        true.extend(true_labels)
    
    results = seqeval.compute(predictions=pred, references=true, zero_division=0)
    
    print(10 * '-----')
    print(f"epoch {epoch}: {results}")
    

    После каждой эпохи обучения вычисляются метрики f1 по классам и общее f1, мне нужно добавить часть с сохранением модели, если текущая общая метрика лучше предыдущей

  2. Assistant

    Чтобы сохранить модель, если текущая общая метрика (например, F1-score) лучше предыдущей, нужно добавить логику проверки и сохранения модели в код. Для этого можно использовать несколько простых шагов.

    Во-первых, добавьте переменную для отслеживания лучшей метрики. Во-вторых, после вычисления метрик для текущей эпохи сравните текущую общую метрику с лучшей метрикой, и если она лучше, сохраните модель и обновите значение лучшей метрики.

    Вот как это можно сделать:

    import torch
    
    # Инициализация переменных для отслеживания лучшей метрики и эпохи с наилучшей метрикой
    best_f1 = 0.0
    best_epoch = 0
    
    from tqdm.auto import tqdm
    n_epochs = 25
    
    losses = []
    for epoch in range(n_epochs):
        
        model.train() # режим обучения модели
        
        for batch in train_dataloader:
            
            batch = {key: value.to(DEVICE) for key, value in batch.items()} # перенос на ГПУ
    
            outputs = model(**batch)
            loss = outputs.loss # извлечение функции потерь
    
            loss.backward() # вычисление градиентов
    
            losses.append(loss.item())
    
            optimizer.step() # обновляем веса
            optimizer.zero_grad() # обнуляем градиенты
    
        model.eval() # режим оценки
    
        pred, true = [], []
        for batch in test_dataloader:
            with torch.no_grad():
                batch = {key: value.to(DEVICE) for key, value in batch.items()}
                outputs = model(**batch)
    
            predictions = outputs.logits.argmax(dim=-1)
            labels = batch["labels"]
    
            true_labels, true_predictions = postprocess(predictions, labels, list(label2id.keys()))
            
            pred.extend(true_predictions)
            true.extend(true_labels)
    
        results = seqeval.compute(predictions=pred, references=true, zero_division=0)
    
        # Получение текущей общей метрики (например, F1-score)
        current_f1 = results["overall_f1"]
    
        print(10 * '-----')
        print(f"epoch {epoch}: {results}")
    
        # Сохранение модели, если текущая метрика лучше предыдущей лучшей метрики
        if current_f1 > best_f1:
            best_f1 = current_f1
            best_epoch = epoch
            # Сохранение модели
            torch.save(model.state_dict(), 'best_model.pth')
            print(f"Model saved with F1 {best_f1} at epoch {epoch}")
    
    print(f"Best F1 {best_f1} obtained at epoch {best_epoch}")
    

    В этом коде:

    1. best_f1 и best_epoch используются для отслеживания лучшей общей метрики F1 и номера эпохи.
    2. После вычисления метрик для текущей эпохи, программа сравнивает текущий F1 с лучшим F1.
    3. Если текущий F1 лучше, сохраняется состояние модели и обновляется best_f1.

    Теперь модель будет сохраняться в файл best_model.pth только в случае, если на текущей эпохе F1-score выше, чем был на предыдущих.

  3. User

    А если нужно вот так сохранять # Сохраняем модель model.save_pretrained('/mnt/vol_b/sc-personal-osipova/sa/test_model/model_ner_' + str(epoch))

    # Сохраняем токенизатор
    tokenizer.save_pretrained('/mnt/vol_b/sc-personal-osipova/sa/test_model/model_ner_' + str(epoch))
    
  4. Assistant

    Если хотите сохранять модель и токенизатор в указанную директорию в случае, если текущая F1 метрика лучше предыдущей, то логика остается похожей. Единственная разница в том, что нужно использовать методы save_pretrained для модели и токенизатора.

    Вот обновленный код с учетом ваших требований:

    import torch
    
    # Инициализация переменных для отслеживания лучшей метрики и эпохи с наилучшей метрикой
    best_f1 = 0.0
    best_epoch = 0
    
    from tqdm.auto import tqdm
    n_epochs = 25
    
    losses = []
    for epoch in range(n_epochs):
        
        model.train() # режим обучения модели
        
        for batch in train_dataloader:
            
            batch = {key: value.to(DEVICE) for key, value in batch.items()} # перенос на ГПУ
    
            outputs = model(**batch)
            loss = outputs.loss # извлечение функции потерь
    
            loss.backward() # вычисление градиентов
    
            losses.append(loss.item())
    
            optimizer.step() # обновляем веса
            optimizer.zero_grad() # обнуляем градиенты
    
        model.eval() # режим оценки
    
        pred, true = [], []
        for batch in test_dataloader:
            with torch.no_grad():
                batch = {key: value.to(DEVICE) for key, value in batch.items()}
                outputs = model(**batch)
    
            predictions = outputs.logits.argmax(dim=-1)
            labels = batch["labels"]
    
            true_labels, true_predictions = postprocess(predictions, labels, list(label2id.keys()))
            
            pred.extend(true_predictions)
            true.extend(true_labels)
    
        results = seqeval.compute(predictions=pred, references=true, zero_division=0)
    
        # Получение текущей общей метрики (например, F1-score)
        current_f1 = results["overall_f1"]
    
        print(10 * '-----')
        print(f"epoch {epoch}: {results}")
    
        # Сохранение модели и токенизатора, если текущая метрика лучше предыдущей лучшей метрики
        if current_f1 > best_f1:
            best_f1 = current_f1
            best_epoch = epoch
            
            save_path = f'/mnt/vol_b/sc-personal-osipova/sa/test_model/model_ner_{epoch}'
            
            # Сохранение модели
            model.save_pretrained(save_path)
            
            # Сохранение токенизатора
            tokenizer.save_pretrained(save_path)
            
            print(f"Model and tokenizer saved with F1 {best_f1} at epoch {epoch}")
    
    print(f"Best F1 {best_f1} obtained at epoch {best_epoch}")
    

    В этом коде:

    1. Логика отслеживания лучшей метрики остается той же.
    2. Если текущий F1-score лучше, чем предыдущий лучший, сохраняется модель и токенизатор в указанную директорию.
    3. Директория для сохранения формируется на основе номера текущей эпохи.