Usando a biblioteca transformers do HuggingFace, como eu faço para especifica em qual…
- User
Usando a biblioteca transformers do HuggingFace, como eu faço para especifica em qual placa eu quero carregar o modelo, caso tenha mais de uma placa no computador? Eu consigo carregar vários modelos um em cada placa?
- Assistant
Para especificar em qual placa de vídeo (GPU) você deseja carregar um modelo usando a biblioteca
transformersdo HuggingFace, você pode utilizar a funcionalidade do PyTorch para selecionar dispositivos específicos. Se você possui mais de uma GPU em sua máquina, elas são indexadas a partir de zero (cuda:0,cuda:1,cuda:2, etc.).Carregando um modelo em uma GPU específica
Aqui está um exemplo de como carregar um modelo em uma GPU específica:
import torch from transformers import AutoModel, AutoTokenizer # Especifique o dispositivo desejado device0 = torch.device('cuda:0') # Primeira GPU device1 = torch.device('cuda:1') # Segunda GPU # Carregue o tokenizer (geralmente não ocupa muito espaço na GPU) tokenizer = AutoTokenizer.from_pretrained('nome-do-modelo') # Carregue o modelo na primeira GPU model0 = AutoModel.from_pretrained('nome-do-modelo') model0.to(device0) # Carregue outro modelo na segunda GPU model1 = AutoModel.from_pretrained('nome-do-modelo') model1.to(device1)Utilizando o parâmetro
devicediretamenteAlgumas funcionalidades permitem especificar o dispositivo diretamente através de parâmetros:
from transformers import AutoModelForSequenceClassification # Carregando o modelo diretamente na GPU 0 model0 = AutoModelForSequenceClassification.from_pretrained('nome-do-modelo').to('cuda:0') # Carregando outro modelo na GPU 1 model1 = AutoModelForSequenceClassification.from_pretrained('nome-do-modelo').to('cuda:1')Usando pipelines com dispositivos específicos
Se você estiver utilizando os pipelines do HuggingFace, também pode especificar o dispositivo:
from transformers import pipeline # Crie um pipeline na GPU 0 nlp0 = pipeline('sentiment-analysis', model='nome-do-modelo', tokenizer='nome-do-modelo', device=0) # Crie outro pipeline na GPU 1 nlp1 = pipeline('sentiment-analysis', model='nome-do-modelo', tokenizer='nome-do-modelo', device=1)Carregando múltiplos modelos em GPUs diferentes
Para carregar vários modelos em GPUs diferentes, basta repetir o processo para cada GPU, certificando-se de que cada modelo seja movido para o dispositivo correto:
# Modelo na GPU 0 model0 = AutoModel.from_pretrained('nome-do-modelo').to('cuda:0') # Modelo na GPU 1 model1 = AutoModel.from_pretrained('nome-do-modelo').to('cuda:1') # Modelo na GPU 2 (se houver uma terceira GPU) model2 = AutoModel.from_pretrained('nome-do-modelo').to('cuda:2')Observações importantes:
-
Gerenciamento de Memória: Certifique-se de que cada GPU tenha memória suficiente para carregar o modelo desejado. Modelos grandes podem exceder a capacidade de memória de uma GPU.
-
Processamento Paralelo: Ao utilizar múltiplas GPUs, o processamento não é automaticamente paralelo. Você precisará implementar lógica adicional se desejar paralelizar tarefas entre GPUs.
-
Verificação de GPUs Disponíveis: Você pode verificar quantas GPUs estão disponíveis usando:
print(torch.cuda.device_count()) -
Selecionar a GPU Atual: Para definir a GPU atual como padrão, você pode usar:
torch.cuda.set_device(device_id)Onde
device_idé o índice da GPU (0,1, etc.).
Exemplo Completo
import torch from transformers import AutoModel, AutoTokenizer # Verifique quantas GPUs estão disponíveis n_gpu = torch.cuda.device_count() print(f"Número de GPUs disponíveis: {n_gpu}") # Lista para armazenar modelos models = [] # Carregue modelos em GPUs disponíveis for i in range(n_gpu): device = torch.device(f'cuda:{i}') model = AutoModel.from_pretrained('nome-do-modelo').to(device) models.append(model) print(f"Modelo carregado na GPU {i}")Respondendo à sua segunda pergunta, sim, você pode carregar vários modelos, um em cada GPU. Isso é útil quando você deseja executar inferências simultaneamente ou lidar com cargas de trabalho que exigem diferentes modelos.
Espero que esta explicação tenha ajudado! Se tiver mais dúvidas, fique à vontade para perguntar.
-