Skip to content
TheChatArchiveThe Chat Archive
o1-preview-2024-09-12· OpenAIAi2 WildChat-4.8M (AI2)

Usando a biblioteca transformers do HuggingFace, como eu faço para especifica em qual…

  1. User

    Usando a biblioteca transformers do HuggingFace, como eu faço para especifica em qual placa eu quero carregar o modelo, caso tenha mais de uma placa no computador? Eu consigo carregar vários modelos um em cada placa?

  2. Assistant

    Para especificar em qual placa de vídeo (GPU) você deseja carregar um modelo usando a biblioteca transformers do HuggingFace, você pode utilizar a funcionalidade do PyTorch para selecionar dispositivos específicos. Se você possui mais de uma GPU em sua máquina, elas são indexadas a partir de zero (cuda:0, cuda:1, cuda:2, etc.).

    Carregando um modelo em uma GPU específica

    Aqui está um exemplo de como carregar um modelo em uma GPU específica:

    import torch
    from transformers import AutoModel, AutoTokenizer
    
    # Especifique o dispositivo desejado
    device0 = torch.device('cuda:0')  # Primeira GPU
    device1 = torch.device('cuda:1')  # Segunda GPU
    
    # Carregue o tokenizer (geralmente não ocupa muito espaço na GPU)
    tokenizer = AutoTokenizer.from_pretrained('nome-do-modelo')
    
    # Carregue o modelo na primeira GPU
    model0 = AutoModel.from_pretrained('nome-do-modelo')
    model0.to(device0)
    
    # Carregue outro modelo na segunda GPU
    model1 = AutoModel.from_pretrained('nome-do-modelo')
    model1.to(device1)
    

    Utilizando o parâmetro device diretamente

    Algumas funcionalidades permitem especificar o dispositivo diretamente através de parâmetros:

    from transformers import AutoModelForSequenceClassification
    
    # Carregando o modelo diretamente na GPU 0
    model0 = AutoModelForSequenceClassification.from_pretrained('nome-do-modelo').to('cuda:0')
    
    # Carregando outro modelo na GPU 1
    model1 = AutoModelForSequenceClassification.from_pretrained('nome-do-modelo').to('cuda:1')
    

    Usando pipelines com dispositivos específicos

    Se você estiver utilizando os pipelines do HuggingFace, também pode especificar o dispositivo:

    from transformers import pipeline
    
    # Crie um pipeline na GPU 0
    nlp0 = pipeline('sentiment-analysis', model='nome-do-modelo', tokenizer='nome-do-modelo', device=0)
    
    # Crie outro pipeline na GPU 1
    nlp1 = pipeline('sentiment-analysis', model='nome-do-modelo', tokenizer='nome-do-modelo', device=1)
    

    Carregando múltiplos modelos em GPUs diferentes

    Para carregar vários modelos em GPUs diferentes, basta repetir o processo para cada GPU, certificando-se de que cada modelo seja movido para o dispositivo correto:

    # Modelo na GPU 0
    model0 = AutoModel.from_pretrained('nome-do-modelo').to('cuda:0')
    
    # Modelo na GPU 1
    model1 = AutoModel.from_pretrained('nome-do-modelo').to('cuda:1')
    
    # Modelo na GPU 2 (se houver uma terceira GPU)
    model2 = AutoModel.from_pretrained('nome-do-modelo').to('cuda:2')
    

    Observações importantes:

    • Gerenciamento de Memória: Certifique-se de que cada GPU tenha memória suficiente para carregar o modelo desejado. Modelos grandes podem exceder a capacidade de memória de uma GPU.

    • Processamento Paralelo: Ao utilizar múltiplas GPUs, o processamento não é automaticamente paralelo. Você precisará implementar lógica adicional se desejar paralelizar tarefas entre GPUs.

    • Verificação de GPUs Disponíveis: Você pode verificar quantas GPUs estão disponíveis usando:

      print(torch.cuda.device_count())
      
    • Selecionar a GPU Atual: Para definir a GPU atual como padrão, você pode usar:

      torch.cuda.set_device(device_id)
      

      Onde device_id é o índice da GPU (0, 1, etc.).

    Exemplo Completo

    import torch
    from transformers import AutoModel, AutoTokenizer
    
    # Verifique quantas GPUs estão disponíveis
    n_gpu = torch.cuda.device_count()
    print(f"Número de GPUs disponíveis: {n_gpu}")
    
    # Lista para armazenar modelos
    models = []
    
    # Carregue modelos em GPUs disponíveis
    for i in range(n_gpu):
        device = torch.device(f'cuda:{i}')
        model = AutoModel.from_pretrained('nome-do-modelo').to(device)
        models.append(model)
        print(f"Modelo carregado na GPU {i}")
    

    Respondendo à sua segunda pergunta, sim, você pode carregar vários modelos, um em cada GPU. Isso é útil quando você deseja executar inferências simultaneamente ou lidar com cargas de trabalho que exigem diferentes modelos.


    Espero que esta explicação tenha ajudado! Se tiver mais dúvidas, fique à vontade para perguntar.