Skip to content
TheChatArchiveThe Chat Archive
gpt-4o-mini-2024-07-18· OpenAIAi2 WildChat-4.8M (AI2)

Как изменить кеш для библиотеки hugging face?

  1. User

    Как изменить кеш для библиотеки hugging face?

  2. Assistant

    В библиотеке Hugging Face Transformers кэширование используется для хранения загруженных моделей и токенизаторов, чтобы избежать их повторной загрузки. По умолчанию кэш сохраняется в папке ~/.cache/huggingface/transformers, но вы можете изменить это поведение.

    1. Изменение переменной окружения: Вы можете изменить путь к кэшу, установив переменную окружения TRANSFORMERS_CACHE перед запуском вашего кода. Например, в Linux или MacOS вы можете использовать команду в терминале:

      export TRANSFORMERS_CACHE=/path/to/your/cache
      

      В Windows это можно сделать так:

      set TRANSFORMERS_CACHE=C:\path\to\your\cache
      
    2. Программное изменение: Вы также можете задать путь к кэшу прямо в коде с помощью модуля os:

      import os
      os.environ['TRANSFORMERS_CACHE'] = '/path/to/your/cache'
      
      from transformers import AutoModel, AutoTokenizer
      
      model = AutoModel.from_pretrained('model_name')
      tokenizer = AutoTokenizer.from_pretrained('model_name')
      
    3. Опция cache_dir: Вы также можете передать параметр cache_dir при загрузке модели или токенизатора:

      from transformers import AutoModel, AutoTokenizer
      
      model = AutoModel.from_pretrained('model_name', cache_dir='/path/to/your/cache')
      tokenizer = AutoTokenizer.from_pretrained('model_name', cache_dir='/path/to/your/cache')
      

    Эти методы позволят вам изменить путь к кэшу для библиотек Hugging Face.