Skip to content
The Chat Archive
gpt-4o-2024-08-06· OpenAI WildChat-4.8M (AI2)

Мне нужно улучшить f1-score в данном ноутбуке. Я очень слабо разбираюсь в нейронных…

  1. User

    Мне нужно улучшить f1-score в данном ноутбуке. Я очень слабо разбираюсь в нейронных сетях и тем более как можно улучшить этот f1-score (что это такое вообще?). Помоги мне, пожалуйста, понять что куда нужно добавить или изменить. Напомню ещё раз, что я почти ничего не понимаю в нейронных сетях. Вот мой код:

    !pip install datasets !pip install transformers !pip install evaluate

    from typing import List, Tuple from datasets import load_dataset, Dataset import evaluate import numpy as np from sklearn.metrics import classification_report import torch from transformers import AutoTokenizer, AutoModelForSequenceClassification from transformers import DataCollatorWithPadding from transformers import TrainingArguments, Trainer from transformers import pipeline

    MODEL_NAME = 'DeepPavlov/rubert-base-cased' tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)

    DATASET_NAME = 'Davlan/sib200' DATASET_LANGUAGE = 'rus_Cyrl' train_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='train') validation_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='validation') test_set = load_dataset(DATASET_NAME, DATASET_LANGUAGE, split='test')

    print(train_set)

    MINIBATCH_SIZE = 64 tokenized_train_set = train_set.map( lambda it: tokenizer(it['text'], truncation=True), batched=True, batch_size=MINIBATCH_SIZE ) tokenized_validation_set = validation_set.map( lambda it: tokenizer(it['text'], truncation=True), batched=True, batch_size=MINIBATCH_SIZE )

    print(tokenized_train_set)

    cls_metric = evaluate.load('f1')

    def compute_metrics(eval_pred): predictions, labels = eval_pred predictions = np.argmax(predictions, axis=1) return cls_metric.compute(predictions=predictions, references=labels, average='macro')

    data_collator = DataCollatorWithPadding(tokenizer=tokenizer)

    list_of_categories = sorted(list( set(train_set['category']) | set(validation_set['category']) | set(test_set['category']) )) indices_of_categories = list(range(len(list_of_categories))) n_categories = len(list_of_categories) print(f'Categories for classification are: {list_of_categories}') id2label = dict(zip(indices_of_categories, list_of_categories)) label2id = dict(zip(list_of_categories, indices_of_categories))

    labeled_train_set = tokenized_train_set.add_column( 'label', [label2id[val] for val in tokenized_train_set['category']] ) labeled_validation_set = tokenized_validation_set.add_column( 'label', [label2id[val] for val in tokenized_validation_set['category']] )

    print(labeled_train_set)

    classifier = AutoModelForSequenceClassification.from_pretrained( MODEL_NAME, num_labels=n_categories, id2label=id2label, label2id=label2id ).cuda() for param in classifier.parameters(): param.data = param.data.contiguous()

    training_args = TrainingArguments( output_dir='rubert_sib200', learning_rate=2e-5, per_device_train_batch_size=MINIBATCH_SIZE, per_device_eval_batch_size=MINIBATCH_SIZE, num_train_epochs=20, weight_decay=1e-3, eval_strategy='epoch', save_strategy='epoch', load_best_model_at_end=True )

    trainer = Trainer( model=classifier, args=training_args, train_dataset=labeled_train_set, eval_dataset=labeled_validation_set, tokenizer=tokenizer, data_collator=data_collator, compute_metrics=compute_metrics, )

    trainer.train()

    classifiсation_pipeline = pipeline('text-classification', model=classifier, tokenizer=tokenizer, device=0)

    y_pred = list(map(lambda x: x['label'], classifiсation_pipeline(validation_set['text']))) y_true = validation_set['category'] print(classification_report(y_true=y_true, y_pred=y_pred))

    y_pred = list(map(lambda x: x['label'], classifiсation_pipeline(test_set['text']))) y_true = test_set['category'] print(classification_report(y_true=y_true, y_pred=y_pred))

  2. Assistant

    Для улучшения F1-score (метрика, оценивающая качество модели, особенно в случае несбалансированных данных) вашей модели стоит рассмотреть несколько подходов и изменений в вашем коде:

    1. Аугментация данных: Добавление дополнительных данных может помочь улучшить обобщающую способность модели. Используйте методы аугментации текстов, чтобы увеличить разнообразие вашего тренировочного набора.

    2. Настройка гиперпараметров:

      • Поэкспериментируйте с learning_rate. Иногда небольшое уменьшение или увеличение может дать значительное улучшение.
      • Рассмотрите изменение num_train_epochs. Возможно, нужное количество эпох для обучения окажется меньше или больше, чем установлено.
      • Регуляризация: изменения параметра weight_decay могут помочь предотвратить переобучение.
    3. Перебалансировка данных: Если классы в вашем наборе данных несбалансированы, это может повлиять на F1-score. Попробуйте обработать дисбаланс либо путем увеличения выборки (oversampling), либо уменьшением выборки (undersampling).

    4. Кросс-валидация: Вместо использования фиксированной валидационной выборки, используйте кросс-валидацию для более надежной оценки производительности модели.

    5. Изменение модели: Попробуйте использовать другой предобученный трансформер, возможно, более подходящий для вашей задачи или области.

    6. Скользящее среднее весов: Использовать EMA (Exponential Moving Average) для сглаживания весов модели.

    7. Замораживание слоев: Заморозьте некоторые слои модели на начальных эпохах обучения, чтобы модель быстрее обучилась на ваших данных (особенно если данных немного).

    Ввод необходимых изменений в код:

    import random
    from transformers import set_seed
    
    # Установка сидов для повторяемости результатов
    random.seed(42)
    np.random.seed(42)
    torch.manual_seed(42)
    torch.cuda.manual_seed_all(42)
    set_seed(42)
    
    ...
    
    training_args = TrainingArguments(
        output_dir='rubert_sib200',
        learning_rate=3e-5,  # Попробуйте изменить значение learning_rate
        per_device_train_batch_size=32,  # Измените batch_size для исследования
        per_device_eval_batch_size=64,
        num_train_epochs=10,  # Уменьшение или увеличение числа эпох
        weight_decay=1e-4,    # Регуляризация: изменение weight_decay
        eval_strategy='epoch',
        save_strategy='epoch',
        load_best_model_at_end=True,
        logging_dir='./logs',  # Добавление логирования для большей информативности
        logging_steps=10
    )
    
    ...
    

    Также, чтобы улучшить качество отчета с помощью classification_report, используйте измененную функцию предобработки для SVM, добавляя дополнительные признаки.

    Помните, что улучшение F1-score - это часто итеративный процесс, и стоит испытать несколько комбинаций указанных улучшений.

  3. User

    Давай добавим в мой код что-нибудь? Только что-то не сильно сложное, как я сказал в нейросетях я плохо разбираюсь

  4. Assistant

    Конечно! Давайте добавим несколько несложных изменений в ваш код, которые могут помочь улучшить качество модели и F1-score.

    1. Изменение learning_rate и batch_size

    Это простое изменение, которое может кардинально повлиять на обучение модели. Давайте немного увеличим learning_rate и уменьшим batch_size, чтобы ваша модель могла получить больше информации из одной партии данных.

    2. Заморозка первых слоев

    Вы можете заморозить некоторые из первых слоев предобученной модели на начальных этапах, чтобы сконцентрироваться на обучении последних слоев на ваших данных.

    Ниже представлено, как можно изменить ваш код с учётом этих предложений:

    # Изменения learning_rate и batch_size
    training_args = TrainingArguments(
        output_dir='rubert_sib200',
        learning_rate=3e-5,  # Немного увеличиваем learning_rate
        per_device_train_batch_size=32,  # Уменьшаем batch_size для более детальной работы с данными
        per_device_eval_batch_size=64,
        num_train_epochs=20,
        weight_decay=1e-4,  # Слегка изменяем weight_decay
        eval_strategy='epoch',
        save_strategy='epoch',
        load_best_model_at_end=True
    )
    
    # Заморозка первых слоев модели
    classifier = AutoModelForSequenceClassification.from_pretrained(
        MODEL_NAME,
        num_labels=n_categories, id2label=id2label, label2id=label2id
    ).cuda()
    
    # Замораживаем первые 4 слоя
    for param in classifier.roberta.encoder.layer[:4]:
        for p in param.parameters():
            p.requires_grad = False
    
    # Убедитесь, что последний слой разблокирован
    for param in classifier.roberta.encoder.layer[4:]:
        for p in param.parameters():
            p.requires_grad = True
    
    trainer = Trainer(
        model=classifier,
        args=training_args,
        train_dataset=labeled_train_set,
        eval_dataset=labeled_validation_set,
        tokenizer=tokenizer,
        data_collator=data_collator,
        compute_metrics=compute_metrics,
    )
    
    trainer.train()
    
    classifiсation_pipeline = pipeline('text-classification', model=classifier, tokenizer=tokenizer, device=0)
    
    y_pred = list(map(lambda x: x['label'], classifiсation_pipeline(validation_set['text'])))
    y_true = validation_set['category']
    print(classification_report(y_true=y_true, y_pred=y_pred))
    
    y_pred = list(map(lambda x: x['label'], classifiсation_pipeline(test_set['text'])))
    y_true = test_set['category']
    print(classification_report(y_true=y_true, y_pred=y_pred))
    

    Объяснение

    1. Изменение learning_rate и batch_size: Эти изменения могут помочь модели быстрее находить оптимальные веса и обеспечивать лучшее обобщение.

    2. Заморозка первых слоев: Это поможет модели сосредоточиться на настройке последних слоев, которые более конкретно обучаются под вашу задачу классификации, при сохранении стабильных низкоуровневых признаков, выученных из предобученных данных.

    Помните, что эксперимент с параметрами — это нормальная часть процесса машинного обучения, и может потребоваться несколько итераций, чтобы найти наилучшие настройки для вашей задачи.

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.