Как в следующем коде размещать часть слоев в CPU а часть в CUDA ? <python> import os…
- User
Как в следующем коде размещать часть слоев в CPU а часть в CUDA ? import os import torch from transformers import LlamaTokenizer, LlamaForCausalLM from peft import LoraConfig, get_peft_model from datasets import load_dataset from torch.utils.data import DataLoader from tqdm import tqdm
Настройки
MODEL_PATH = "model/" LORA_RANK = 8 BATCH_SIZE = 1 EPOCHS = 3 LEARNING_RATE = 1e-4 MAX_LENGTH = 256 DEVICE = "cuda" if torch.cuda.is_available() else "cpu"
Загрузка модели и токенизатора
model = LlamaForCausalLM.from_pretrained("model/", gguf_file="Meta-Llama-3-8B-Instruct-Q4_K_M.gguf") tokenizer = LlamaTokenizer.from_pretrained("model/", gguf_file="Meta-Llama-3-8B-Instruct-Q4_K_M.gguf")
Настройка LoRA
lora_config = LoraConfig( r=LORA_RANK, lora_alpha=32, target_modules=["q_proj", "v_proj"], lora_dropout=0.05, bias="none", task_type="CAUSAL_LM" ) model = get_peft_model(model, lora_config)
Перемещение модели на GPU и включение смешанной точности
#torch.cuda.empty_cache() #model.to(DEVICE) model.enable_input_require_grads() model = torch.compile(model)
Загрузка данных
dataset = load_dataset("text", data_files="txt/*.txt") train_dataloader = DataLoader(dataset["train"], batch_size=BATCH_SIZE, shuffle=True)
Оптимизатор и планировщик скорости обучения
optimizer = torch.optim.AdamW(model.parameters(), lr=LEARNING_RATE) lr_scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=len(train_dataloader) * EPOCHS)
Обучение
model.train() for epoch in range(EPOCHS): for batch in tqdm(train_dataloader, desc=f"Epoch {epoch + 1}/{EPOCHS}"): inputs = tokenizer(batch["text"], padding=True, truncation=True, max_length=MAX_LENGTH, return_tensors="pt").to(DEVICE) outputs = model(**inputs, labels=inputs["input_ids"]) loss = outputs.loss loss.backward() optimizer.step() lr_scheduler.step() optimizer.zero_grad()
Сохранение обученной модели
model.save_pretrained("lora/")
Генерация стихотворения
prompt = "Напиши стихотворение про осень в Москве" input_ids = tokenizer.encode(prompt, return_tensors="pt").to(DEVICE) output = model.generate(input_ids, max_length=200, num_return_sequences=1, temperature=0.7) generated_text = tokenizer.decode(output[0], skip_special_tokens=True) print(generated_text)
- Assistant
Для того чтобы разместить часть слоев модели на CPU, а часть на GPU (например, на CUDA-устройстве), вам нужно будет:
- Определить, какие конкретно слои или части модели вы хотите разместить на каждом из устройств.
- Произвести перевод этих слоев на соответствующие устройства с помощью
.to(device).
Вот пример, как это можно сделать:
- Разделение слоев на CPU и CUDA. Предположим, что у вас есть линейные слои и вы хотите часть из них разместить на CPU:
# Предположим, что ваша модель состоит из нескольких линейных слоев: # определим, какие из них будут на CPU: cpu_layers = ["layer_name_1", "layer_name_2"] # замените на реальные названия слоев модели cuda_layers = ["layer_name_3", "layer_name_4"] # замените на реальные названия слоев модели # Перенос слоев на соответствующие устройства for name, module in model.named_modules(): if name in cpu_layers: module.to('cpu') elif name in cuda_layers: module.to('cuda')- Обработка ввода и вывода для разных устройств. Учтите, что предварительно переводя данные на нужные устройства, необходимо обрабатывать их правильно во время прямого и обратного проходов:
# Например, при обработке батчей: for batch in tqdm(train_dataloader, desc=f"Epoch {epoch + 1}/{EPOCHS}"): inputs = tokenizer(batch["text"], padding=True, truncation=True, max_length=MAX_LENGTH, return_tensors="pt") # Перенос только необходимых тензоров на GPU inputs = {k: v.to(DEVICE) if 'cuda' in DEVICE else v.to('cpu') for k, v in inputs.items()} # Использование GPU для части модели, если необходимо with torch.cuda.amp.autocast(): outputs = model(**inputs, labels=inputs["input_ids"].to(DEVICE if 'cuda' in DEVICE else 'cpu')) # Рассчитываем ошибку на устройстве, на котором находятся целевые значения loss = outputs.loss.to('cuda' if 'cuda' in DEVICE else 'cpu') loss.backward(retain_graph=True) # Убедитесь в retain_graph при распределении optimizer.step() lr_scheduler.step() optimizer.zero_grad()- Сохранение и генерация текста:
# При генерации аналогично нужно заботиться об устройстве для входных данных input_ids = tokenizer.encode(prompt, return_tensors="pt").to(DEVICE if 'cuda' in DEVICE else 'cpu') output = model.generate(input_ids, max_length=200, num_return_sequences=1, temperature=0.7) generated_text = tokenizer.decode(output[0], skip_special_tokens=True) print(generated_text)При таком подходе вы сможете иметь более гибкий контроль расположения слоев на различных устройствах, что может быть полезно, особенно если у вас ограниченная память на GPU. Обратите внимание, что возможно вам потребуется соответствующим образом модифицировать оптимизатор и планировщик обучения, чтобы корректно работать с градиентами на разных устройствах.
- User
А можно перемещать слои по номерам?
- Assistant
Да, можно перемещать слои модели по номерам. Для этого нужно последовательно пройтись по слоям модели, определить их положение и переместить на нужное устройство в зависимости от их индекса.
Вот пример, как это можно сделать для архитектуры модели, содержащей линейные слои или блоки, такие как в трансформерах:
# Определите количество слоев, которые вы хотите разместить на каждом устройстве num_layers_on_cpu = 2 # Например, 2 первых слоя на CPU num_layers_on_cuda = 4 # Остальные на CUDA # Перенос слоев на соответствующие устройства for i, (name, module) in enumerate(model.named_children()): if i < num_layers_on_cpu: module.to('cpu') print(f"Layer {i} - {name} перемещен на CPU") elif i < num_layers_on_cpu + num_layers_on_cuda: module.to('cuda') print(f"Layer {i} - {name} перемещен на CUDA")Этот пример предназначен для моделей, которые можно проитерировать по слоям с помощью
named_children(), гдеi— это индекс слоя, аname, module— это имя и сам слой соответственно.Если ваша модель имеет более сложную архитектуру (например, вложенные модули), вы можете создать рекурсивную функцию для обхода дерева модулей и назначения устройств на основе индекса.
Обратите внимание, что некоторые модели могут быть сложнее в плане архитектуры, и такой простой подход может не сработать без модификации. Убедитесь, что каждый слой модели может корректно работать на целевом устройстве, и что между ними устроена корректная передача данных между CPU и GPU.