/home/ubuntu/.local/lib/python3.10/site-packages/torch/utils/checkpoint.py:464:…
- User
/home/ubuntu/.local/lib/python3.10/site-packages/torch/utils/checkpoint.py:464: UserWarning: torch.utils.checkpoint: the use_reentrant parameter should be passed explicitly. In version 2.4 we will raise an exception if use_reentrant is not passed. use_reentrant=False is recommended, but if you need to preserve the current default behavior, you can pass use_reentrant=True. Refer to docs for more details on the differences between the two variants. warnings.warn(
use_cache = Trueis incompatible with gradient checkpointing. Settinguse_cache = False... /home/ubuntu/.local/lib/python3.10/site-packages/torch/nn/parallel/_functions.py:68: UserWarning: Was asked to gather along dimension 0, but all input tensors were scalars; will instead unsqueeze and return a vector. warnings.warn('Was asked to gather along dimension 0, but all 'Что за предупреждения
- Assistant
Эти предупреждения, которые вы видите, связаны с использованием библиотеки PyTorch, и они касаются нескольких различных аспектов:
-
Предупреждение о
use_reentrantвtorch.utils.checkpoint: Это предупреждение сообщает о том, что в параметрах функцииtorch.utils.checkpointследует явно указывать параметрuse_reentrant. В будущих версиях PyTorch (начиная с версии 2.4) будет вызываться исключение, если этот параметр не будет передан. Параметрuse_reentrantконтролирует, должен ли контекст контрольных точек использовать повторно входящие вычисления. Если вам нужно сохранить текущее поведение по умолчанию, следует передатьuse_reentrant=True, хотя рекомендуется использоватьuse_reentrant=False. -
Конфликт с использованием кеширования и контрольными точками градиентов:
use_cache = Trueне совместимо с механизмом контрольных точек градиента в PyTorch. Система автоматически устанавливаетuse_cache = False, чтобы избежать возможных конфликтов или ошибок в вычислениях. Возможно, вы используете функцию или слой (как в трансформерах для предотвращения повторного вычисления), который включает кеширование, и одновремеенно применяется контрольная точка градиента. -
Предупреждение при использовании функции
torch.nn.parallel._functions: Это предупреждение возникает, когда функцияgatherожидает работать с тензорами, у которых есть размерность для сбора данных вдоль определённого измерения, но получает скаляры (тензоры без размерностей). В этом случае PyTorch автоматически добавляет размерность (unsqueezes) к скалярам, чтобы вернуть вектор. Это может быть связано с распределенными вычислениями или использованием параллельных вычислений в PyTorch.
Для решения или избежания этих предупреждений:
- Убедитесь, что вы устанавливаете параметр
use_reentrantвtorch.utils.checkpoint. - Проверьте архитектуру вашей модели и методы, которые используюте: убедитесь, что они согласуются с использованием кэширования и контрольных точек градиента.
- Понимайте, как ваш код управляет размерностями данных, особенно при использовании параллелизма в PyTorch.
-
- User
RuntimeError Traceback (most recent call last) Cell In[39], line 1 ----> 1 trainer.train()
File ~/.local/lib/python3.10/site-packages/transformers/trainer.py:1885, in Trainer.train(self, resume_from_checkpoint, trial, ignore_keys_for_eval, **kwargs) 1883 hf_hub_utils.enable_progress_bars() 1884 else: -> 1885 return inner_training_loop( 1886 args=args, 1887 resume_from_checkpoint=resume_from_checkpoint, 1888 trial=trial, 1889 ignore_keys_for_eval=ignore_keys_for_eval, 1890 )
File ~/.local/lib/python3.10/site-packages/transformers/trainer.py:2216, in Trainer._inner_training_loop(self, batch_size, args, resume_from_checkpoint, trial, ignore_keys_for_eval) 2213 self.control = self.callback_handler.on_step_begin(args, self.state, self.control) 2215 with self.accelerator.accumulate(model): -> 2216 tr_loss_step = self.training_step(model, inputs) 2218 if ( 2219 args.logging_nan_inf_filter 2220 and not is_torch_xla_available() 2221 and (torch.isnan(tr_loss_step) or torch.isinf(tr_loss_step)) 2222 ): 2223 # if loss is nan or inf simply add the average of previous logged losses ... 105 else: 106 _output = inputs[root] if output is None else output --> 107 torch._C._nccl_reduce(inputs, _output, root, op, streams, comms)
RuntimeError: NCCL Error 5: invalid usage (run with NCCL_DEBUG=WARN for details) Output is truncated. View as a scrollable element or open in a text editor. Adjust cell output settings...
- Assistant
Ошибка
RuntimeError: NCCL Error 5: invalid usageуказывает на проблему, связанную с использованием NCCL (NVIDIA Collective Communications Library) в контексте распределенного обучения модели с использованием PyTorch и библиотеки transformers. Вот несколько шагов, которые могут помочь идентифицировать и решить эту проблему:1. Включение отладки NCCL
Чтобы получить более подробную информацию о том, что вызывает эту ошибку, настройте переменную окружения
NCCL_DEBUGнаWARNилиINFO. Это может дать вам более конкретные детали о проблеме. Вы можете установить это в своем скрипте Python или в командной строке перед запуском вашего скрипта:export NCCL_DEBUG=WARNИли в Python перед запуском обучения:
import os os.environ["NCCL_DEBUG"] = "WARN"2. Проверьте настройки распределенного обучения
Убедитесь, что все параметры распределенного обучения настроены правильно. Это включает в себя правильную настройку размера пакета (batch size), количества процессов, идентификаторов GPU и т.п. Например, убедитесь, что при инициализации распределенного обучения используются правильные идентификаторы GPU и правильно установлены ранги.
3. Проверьте совместимость версий
Убедитесь, что версии PyTorch, NCCL и CUDA совместимы. Иногда ошибки могут возникать из-за несоответствия версий, что приводит к конфликтам в библиотеках.
4. Использование правильных тензоров и операций
Ошибка "invalid usage" может указывать на неправильное использование тензоров или операций в вашем коде. Убедитесь, что все тензоры, которые участвуют в операциях NCCL, имеют правильный тип (например, не пытайтесь использовать целочисленные тензоры, где требуются тензоры с плавающей запятой).
5. Минимальный воспроизводящий пример
Если проблема не устраняется, попробуйте создать минимальный воспроизводящий пример, который демонстрирует эту ошибку, чтобы можно было более детально анализировать проблему.
6. Обращение на форумы и в техподдержку
Если ни один из вышеперечисленных подходов не поможет, рассмотрите возможность обращения за помощью на форумы PyTorch, GitHub или Stack Overflow. Вы также можете попробовать обратиться за поддержкой к NVIDIA, если считаете, что проблема связана с NCCL.
Эти шаги должны помочь вам локализовать и, возможно, решить проблему, связанную с ошибкой NCCL при обучении вашей модели.