Skip to content
The Chat Archive
gpt-4-turbo-2024-04-09· OpenAI WildChat-4.8M (AI2)

/home/ubuntu/.local/lib/python3.10/site-packages/torch/utils/checkpoint.py:464:…

  1. User

    /home/ubuntu/.local/lib/python3.10/site-packages/torch/utils/checkpoint.py:464: UserWarning: torch.utils.checkpoint: the use_reentrant parameter should be passed explicitly. In version 2.4 we will raise an exception if use_reentrant is not passed. use_reentrant=False is recommended, but if you need to preserve the current default behavior, you can pass use_reentrant=True. Refer to docs for more details on the differences between the two variants. warnings.warn( use_cache = True is incompatible with gradient checkpointing. Setting use_cache = False... /home/ubuntu/.local/lib/python3.10/site-packages/torch/nn/parallel/_functions.py:68: UserWarning: Was asked to gather along dimension 0, but all input tensors were scalars; will instead unsqueeze and return a vector. warnings.warn('Was asked to gather along dimension 0, but all '

    Что за предупреждения

  2. Assistant

    Эти предупреждения, которые вы видите, связаны с использованием библиотеки PyTorch, и они касаются нескольких различных аспектов:

    1. Предупреждение о use_reentrant в torch.utils.checkpoint: Это предупреждение сообщает о том, что в параметрах функции torch.utils.checkpoint следует явно указывать параметр use_reentrant. В будущих версиях PyTorch (начиная с версии 2.4) будет вызываться исключение, если этот параметр не будет передан. Параметр use_reentrant контролирует, должен ли контекст контрольных точек использовать повторно входящие вычисления. Если вам нужно сохранить текущее поведение по умолчанию, следует передать use_reentrant=True, хотя рекомендуется использовать use_reentrant=False.

    2. Конфликт с использованием кеширования и контрольными точками градиентов: use_cache = True не совместимо с механизмом контрольных точек градиента в PyTorch. Система автоматически устанавливает use_cache = False, чтобы избежать возможных конфликтов или ошибок в вычислениях. Возможно, вы используете функцию или слой (как в трансформерах для предотвращения повторного вычисления), который включает кеширование, и одновремеенно применяется контрольная точка градиента.

    3. Предупреждение при использовании функции torch.nn.parallel._functions: Это предупреждение возникает, когда функция gather ожидает работать с тензорами, у которых есть размерность для сбора данных вдоль определённого измерения, но получает скаляры (тензоры без размерностей). В этом случае PyTorch автоматически добавляет размерность (unsqueezes) к скалярам, чтобы вернуть вектор. Это может быть связано с распределенными вычислениями или использованием параллельных вычислений в PyTorch.

    Для решения или избежания этих предупреждений:

    • Убедитесь, что вы устанавливаете параметр use_reentrant в torch.utils.checkpoint.
    • Проверьте архитектуру вашей модели и методы, которые используюте: убедитесь, что они согласуются с использованием кэширования и контрольных точек градиента.
    • Понимайте, как ваш код управляет размерностями данных, особенно при использовании параллелизма в PyTorch.
  3. User

    RuntimeError Traceback (most recent call last) Cell In[39], line 1 ----> 1 trainer.train()

    File ~/.local/lib/python3.10/site-packages/transformers/trainer.py:1885, in Trainer.train(self, resume_from_checkpoint, trial, ignore_keys_for_eval, **kwargs) 1883 hf_hub_utils.enable_progress_bars() 1884 else: -> 1885 return inner_training_loop( 1886 args=args, 1887 resume_from_checkpoint=resume_from_checkpoint, 1888 trial=trial, 1889 ignore_keys_for_eval=ignore_keys_for_eval, 1890 )

    File ~/.local/lib/python3.10/site-packages/transformers/trainer.py:2216, in Trainer._inner_training_loop(self, batch_size, args, resume_from_checkpoint, trial, ignore_keys_for_eval) 2213 self.control = self.callback_handler.on_step_begin(args, self.state, self.control) 2215 with self.accelerator.accumulate(model): -> 2216 tr_loss_step = self.training_step(model, inputs) 2218 if ( 2219 args.logging_nan_inf_filter 2220 and not is_torch_xla_available() 2221 and (torch.isnan(tr_loss_step) or torch.isinf(tr_loss_step)) 2222 ): 2223 # if loss is nan or inf simply add the average of previous logged losses ... 105 else: 106 _output = inputs[root] if output is None else output --> 107 torch._C._nccl_reduce(inputs, _output, root, op, streams, comms)

    RuntimeError: NCCL Error 5: invalid usage (run with NCCL_DEBUG=WARN for details) Output is truncated. View as a scrollable element or open in a text editor. Adjust cell output settings...

  4. Assistant

    Ошибка RuntimeError: NCCL Error 5: invalid usage указывает на проблему, связанную с использованием NCCL (NVIDIA Collective Communications Library) в контексте распределенного обучения модели с использованием PyTorch и библиотеки transformers. Вот несколько шагов, которые могут помочь идентифицировать и решить эту проблему:

    1. Включение отладки NCCL

    Чтобы получить более подробную информацию о том, что вызывает эту ошибку, настройте переменную окружения NCCL_DEBUG на WARN или INFO. Это может дать вам более конкретные детали о проблеме. Вы можете установить это в своем скрипте Python или в командной строке перед запуском вашего скрипта:

    export NCCL_DEBUG=WARN
    

    Или в Python перед запуском обучения:

    import os
    os.environ["NCCL_DEBUG"] = "WARN"
    

    2. Проверьте настройки распределенного обучения

    Убедитесь, что все параметры распределенного обучения настроены правильно. Это включает в себя правильную настройку размера пакета (batch size), количества процессов, идентификаторов GPU и т.п. Например, убедитесь, что при инициализации распределенного обучения используются правильные идентификаторы GPU и правильно установлены ранги.

    3. Проверьте совместимость версий

    Убедитесь, что версии PyTorch, NCCL и CUDA совместимы. Иногда ошибки могут возникать из-за несоответствия версий, что приводит к конфликтам в библиотеках.

    4. Использование правильных тензоров и операций

    Ошибка "invalid usage" может указывать на неправильное использование тензоров или операций в вашем коде. Убедитесь, что все тензоры, которые участвуют в операциях NCCL, имеют правильный тип (например, не пытайтесь использовать целочисленные тензоры, где требуются тензоры с плавающей запятой).

    5. Минимальный воспроизводящий пример

    Если проблема не устраняется, попробуйте создать минимальный воспроизводящий пример, который демонстрирует эту ошибку, чтобы можно было более детально анализировать проблему.

    6. Обращение на форумы и в техподдержку

    Если ни один из вышеперечисленных подходов не поможет, рассмотрите возможность обращения за помощью на форумы PyTorch, GitHub или Stack Overflow. Вы также можете попробовать обратиться за поддержкой к NVIDIA, если считаете, что проблема связана с NCCL.

    Эти шаги должны помочь вам локализовать и, возможно, решить проблему, связанную с ошибкой NCCL при обучении вашей модели.