gpt-4-0314· OpenAI
WildChat-4.8M (AI2)
利用pytorch框架搭建T5模型, 并输入简单的数据进行训练,输出训练结果和模型,准确率等
- User
利用pytorch框架搭建T5模型, 并输入简单的数据进行训练,输出训练结果和模型,准确率等
- Assistant
为了使用PyTorch搭建T5模型,我们需要使用Transformers库。首先,确保你已经安装了所需的库:
pip install transformers torch接着,可以编写一个简单的训练数据、模型创建、训练和预测的示例:
import torch from torch.utils.data import DataLoader, Dataset from transformers import T5ForConditionalGeneration, T5Tokenizer, AdamW # 自己定义输入的数据 class MyDataset(Dataset): def __init__(self, data, tokenizer): self.data = data self.tokenizer = tokenizer def __len__(self): return len(self.data) def __getitem__(self, idx): input_text, target_text = self.data[idx] inputs = self.tokenizer(input_text, return_tensors="pt", padding=True, truncation=True) targets = self.tokenizer(target_text, return_tensors="pt", padding=True, truncation=True) return { "input_ids": inputs["input_ids"].squeeze(), "attention_mask": inputs["attention_mask"].squeeze(), "labels": targets["input_ids"].squeeze() } # 指定使用的设备 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") # 使用 T5-small 模型。 如果想用更大的模型,可以将 "t5-small" 替换为例如 "t5-base" 或 "t5-large" model_name = "t5-small" model = T5ForConditionalGeneration.from_pretrained(model_name).to(device) tokenizer = T5Tokenizer.from_pretrained(model_name) # 构造训练数据 data = [ ("1 + 1", "2"), ("2 + 3", "5"), ("3 + 3", "6"), ("4 + 6", "10"), ("1 - 1", "0"), # 添加你的数据 ] train_dataset = MyDataset(data, tokenizer) train_loader = DataLoader(train_dataset, batch_size=4, shuffle=True) # 训练模型 num_epochs = 10 optimizer = AdamW(model.parameters(), lr=5e-5) for epoch in range(num_epochs): model.train() for batch in train_loader: input_ids = batch["input_ids"].to(device) attention_mask = batch["attention_mask"].to(device) labels = batch["labels"].to(device) outputs = model(input_ids=input_ids, attention_mask=attention_mask, labels=labels) loss = outputs.loss loss.backward() optimizer.step() optimizer.zero_grad() # 测试训练后的模型 model.eval() input_text = "1 + 1" inputs = tokenizer(input_text, return_tensors="pt", padding=True).to(device) outputs = model.generate(inputs["input_ids"], attention_mask=inputs["attention_mask"]) result = tokenizer.decode(outputs[0], skip_special_tokens=True) print(f"Model prediction: {input_text} = {result}") # 保存模型 model.save_pretrained("trained_t5") tokenizer.save_pretrained("trained_t5")这个示例会创建一个
T5ForConditionalGeneration模型,并用简单的训练数据进行训练。你需要添加更多的数据以实现更高的准确率。最后,模型和tokenizer会被保存到名为trained_t5的文件夹中。 使用较有限的数据进行较少的训练轮次可能导致较低的准确率,但这个示例为你提供了模型训练和验证的基本方法。如果需要提高模型的性能,可以尝试使用更大的数据集、增加训练轮次以及在设备性能允许的情况下试验更大的T5模型。 - User
以上代码报错:RuntimeError: stack expects each tensor to be equal size, but got [4] at entry 0 and [5] at entry 2,请修改
- Assistant
这个错误是由于DataLoader不同batches里的sample长度不一致导致的。我们可以修改一下
MyDataset类,将不同长度的数据pad成相同长度。class MyDataset(Dataset): def __init__(self, data, tokenizer, max_length): self.data = data self.tokenizer = tokenizer self.max_length = max_length def __len__(self): return len(self.data) def __getitem__(self, idx): input_text, target_text = self.data[idx] inputs = self.tokenizer(input_text, return_tensors="pt", padding="max_length", max_length=self.max_length, truncation=True) targets = self.tokenizer(target_text, return_tensors="pt", padding="max_length", max_length=self.max_length, truncation=True) return { "input_ids": inputs["input_ids"].squeeze(), "attention_mask": inputs["attention_mask"].squeeze(), "labels": targets["input_ids"].squeeze() }在创建
MyDataset实例时,添加一个max_length参数,这个max_length将用于指定序列的最大长度。max_length = 32 train_dataset = MyDataset(data, tokenizer, max_length)这样,使用
padding="max_length"参数,DataLoader应该能正常工作了。