trainingargs = Seq2SeqTrainingArguments( outputdir="./whisper-large-v2-ru",…
- User
training_args = Seq2SeqTrainingArguments( output_dir="./whisper-large-v2-ru", per_device_train_batch_size=16, gradient_accumulation_steps=1,
learning_rate=1e-5, warmup_steps=500, max_steps=4000, gradient_checkpointing=True, fp16=True, evaluation_strategy="steps", per_device_eval_batch_size=8, predict_with_generate=True, generation_max_length=225, save_steps=1000, eval_steps=1000, logging_steps=25, load_best_model_at_end=True, metric_for_best_model="wer", greater_is_better=False, push_to_hub=False, ) За что отвечают следующие параметры - Assistant
Рассмотрим каждый из параметров, которые вы указали в
Seq2SeqTrainingArguments, описывая, за что каждый из них отвечает:-
output_dir - папка для сохранения результатов обучения и чекпоинтов.
-
per_device_train_batch_size - размер пакета (batch size) на одно устройство для обучения.
-
gradient_accumulation_steps - количество шагов, на которые накапливаются градиенты перед их обратной передачей (backpropagation). Это полезно при работе с ограниченным количеством памяти.
-
learning_rate - скорость обучения. Это гиперпараметр, который определяет, насколько сильно модель адаптируется к задаче на каждом шаге обучения.
-
warmup_steps - количество шагов для линейного увеличения скорости обучения от 0 до заданной. Помогает в стабилизации процесса обучения в начальной фазе.
-
max_steps - максимальное количество шагов обучения, после которых обучение будет остановлено.
-
gradient_checkpointing - оптимизация, позволяющая уменьшить потребление памяти за счет сохранения только некоторых промежуточных состояний и пересчета других при необходимости.
-
fp16 - использование 16-битной арифметики с плавающей точкой (half precision) для ускорения обучения при сохранении экономии памяти.
-
evaluation_strategy - стратегия проведения оценки модели, "steps" означает, что оценка будет проводиться каждые заданные eval_steps.
-
per_device_eval_batch_size - размер пакета для оценки (evaluation) на одно устройство.
-
predict_with_generate - если True, для генерации предсказаний используется метод
generate()модели вместо прямого вывода из модели. -
generation_max_length - максимальная длина генерируемой последовательности.
-
save_steps - интервал в шагах обучения, после которого будет сохранен чекпоинт.
-
eval_steps - количество шагов обучения между оценками модели.
-
logging_steps - интервал в шагах обучения, после которого будет выполнено логирование.
-
load_best_model_at_end - загрузка лучшей модели по окончанию обучения в соответствии с metric_for_best_model.
-
metric_for_best_model - метрика, используемая для определения лучшей модели.
-
greater_is_better - логическое значение, определяющее, должно ли увеличение метрики соответствовать улучшению модели.
-
push_to_hub - автоматическая загрузка модели в Hugging Face Hub.
-
- User
Как мне после обучения получить массив метрик валидации
- Assistant
После обучения для получения массива метрик валидации вы можете использовать методы, предоставляемые библиотекой, которую вы используете для обучения модели. В случае использования библиотеки Hugging Face Transformers, вам могут быть полезны следующие подходы:
Настройка Trainer
При использовании
Trainerиз Hugging Face Transformers вы задаете обучение с помощью тренировочного и валидационного датасета. После обучения,Trainerможет быть использован для вывода результатов оценки, что включает в себя вычисление метрик валидации, указанных при настройке:from transformers import Trainer trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=val_dataset, compute_metrics=compute_metrics # функция для вычисления метрик )Вычисление метрик
compute_metricsэто функция, которая должна возвращать словарь с метриками, основываясь на выходах модели и ссылках (label). Пример функции для вычисления метрик:def compute_metrics(eval_pred): logits, labels = eval_pred predictions = np.argmax(logits, axis=-1) return metric.compute(predictions=predictions, references=labels)Эта функция будет автоматически вызываться
Trainerпри валидации и протестировании.Получение истории метрик
После завершения обучения, вы можете получить историю всех метрик валидации, вычисленных в процессе обучения:
# Проведение оценки по окончанию обучения results = trainer.evaluate() # Прямой доступ к ключам print(results['eval_loss'], results['eval_accuracy'])Логи и результаты
Если вы настроили логирование во время обучения (через callbacks или прямо в конфигурации
Trainer), то вы можете воспользоваться этими данными, чтобы анализировать изменения метрик во времени. Логи могут быть сохранены в файлы или TensorBoard, в зависимости от конфигурации.Обеспечив эти настройки, вы сможете не только выполнить тренировку модели, но и анализировать ее эффективность на основе метрик валидации по мере обучения. Это позволит вам контролировать процесс и делать соответствующие корректировки в параметрах или данных.
- User
Опиши последний вариант
- Assistant
Если вы хотите воспользоваться логированием метрик в процессе обучения для анализа и настройки своей модели, вы можете использовать такие инструменты, как TensorBoard или другие системы логирования, которые поддерживаются в библиотеке Hugging Face Transformers через интеграцию с
Trainer.Использование TensorBoard
TensorBoard — это инструмент визуализации для TensorFlow, который позволяет отслеживать метрики обучения в реальном времени, визуализировать модели, проанализировать потоки данных и многое другое. Hugging Face Transformers позволяет легко интегрировать TensorBoard:
-
Установка TensorBoard: Если у вас еще не установлен TensorBoard, вы можете установить его с помощью pip:
pip install tensorboard -
Настройка
Trainerдля использования TensorBoard: Убедитесь, что вы указали каталог для логов вSeq2SeqTrainingArguments:from transformers import Seq2SeqTrainingArguments training_args = Seq2SeqTrainingArguments( output_dir="./whisper-large-v2-ru", logging_dir='./logs', # Папка для логов TensorBoard logging_steps=25, evaluation_strategy="steps", eval_steps=1000, ... )Параметр
logging_dirуказывает место, кудаTrainerбудет записывать логи, аlogging_stepsопределяет, как часто эти логи будут записываться. -
Запуск TensorBoard: После начала обучения запустите TensorBoard из командной строки, указав директорию с логами:
tensorboard --logdir=./logsЗатем откройте указанный TensorBoard URL в веб-браузере, который обычно имеет вид
http://localhost:6006/.
Взаимодействие с TensorBoard
В TensorBoard вы сможете:
- Просмотреть графики изменения различных метрик (например, потерь и точности) во время обучения и валидации.
- Сравнить результаты разных экспериментов (если вы обучали модели с различными параметрами).
- Анализировать распределение весов и активаций в модели с помощью гистограмм.
Применяя эти данные, вы можете лучше понять процесс обучения вашей модели и настроить параметры или данные соответственно, чтобы улучшить производительность модели.
-