Skip to content
TheChatArchiveThe Chat Archive
gpt-4-0314· OpenAIAi2 WildChat-4.8M (AI2)

利用pytorch框架搭建T5模型, 并输入简单的数据进行训练,输出训练结果和模型,准确率等

  1. User

    利用pytorch框架搭建T5模型, 并输入简单的数据进行训练,输出训练结果和模型,准确率等

  2. Assistant

    为了使用PyTorch搭建T5模型,我们需要使用Transformers库。首先,确保你已经安装了所需的库:

    pip install transformers torch
    

    接着,可以编写一个简单的训练数据、模型创建、训练和预测的示例:

    import torch
    from torch.utils.data import DataLoader, Dataset
    from transformers import T5ForConditionalGeneration, T5Tokenizer, AdamW
    
    # 自己定义输入的数据
    class MyDataset(Dataset):
        def __init__(self, data, tokenizer):
            self.data = data
            self.tokenizer = tokenizer
    
        def __len__(self):
            return len(self.data)
    
        def __getitem__(self, idx):
            input_text, target_text = self.data[idx]
            inputs = self.tokenizer(input_text, return_tensors="pt", padding=True, truncation=True)
            targets = self.tokenizer(target_text, return_tensors="pt", padding=True, truncation=True)
            return {
                "input_ids": inputs["input_ids"].squeeze(),
                "attention_mask": inputs["attention_mask"].squeeze(),
                "labels": targets["input_ids"].squeeze()
            }
    
    # 指定使用的设备
    device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
    
    # 使用 T5-small 模型。 如果想用更大的模型,可以将 "t5-small" 替换为例如 "t5-base" 或 "t5-large"
    model_name = "t5-small"
    model = T5ForConditionalGeneration.from_pretrained(model_name).to(device)
    tokenizer = T5Tokenizer.from_pretrained(model_name)
    
    # 构造训练数据
    data = [
        ("1 + 1", "2"),
        ("2 + 3", "5"),
        ("3 + 3", "6"),
        ("4 + 6", "10"),
        ("1 - 1", "0"),
        # 添加你的数据
    ]
    
    train_dataset = MyDataset(data, tokenizer)
    train_loader = DataLoader(train_dataset, batch_size=4, shuffle=True)
    
    # 训练模型
    num_epochs = 10
    optimizer = AdamW(model.parameters(), lr=5e-5)
    
    for epoch in range(num_epochs):
        model.train()
        for batch in train_loader:
            input_ids = batch["input_ids"].to(device)
            attention_mask = batch["attention_mask"].to(device)
            labels = batch["labels"].to(device)
    
            outputs = model(input_ids=input_ids, attention_mask=attention_mask, labels=labels)
            loss = outputs.loss
            loss.backward()
    
            optimizer.step()
            optimizer.zero_grad()
    
    # 测试训练后的模型
    model.eval()
    input_text = "1 + 1"
    inputs = tokenizer(input_text, return_tensors="pt", padding=True).to(device)
    outputs = model.generate(inputs["input_ids"], attention_mask=inputs["attention_mask"])
    result = tokenizer.decode(outputs[0], skip_special_tokens=True)
    
    print(f"Model prediction: {input_text} = {result}")
    
    # 保存模型
    model.save_pretrained("trained_t5")
    tokenizer.save_pretrained("trained_t5")
    

    这个示例会创建一个T5ForConditionalGeneration模型,并用简单的训练数据进行训练。你需要添加更多的数据以实现更高的准确率。最后,模型和tokenizer会被保存到名为trained_t5的文件夹中。 使用较有限的数据进行较少的训练轮次可能导致较低的准确率,但这个示例为你提供了模型训练和验证的基本方法。如果需要提高模型的性能,可以尝试使用更大的数据集、增加训练轮次以及在设备性能允许的情况下试验更大的T5模型。

  3. User

    以上代码报错:RuntimeError: stack expects each tensor to be equal size, but got [4] at entry 0 and [5] at entry 2,请修改

  4. Assistant

    这个错误是由于DataLoader不同batches里的sample长度不一致导致的。我们可以修改一下MyDataset类,将不同长度的数据pad成相同长度。

    class MyDataset(Dataset):
        def __init__(self, data, tokenizer, max_length):
            self.data = data
            self.tokenizer = tokenizer
            self.max_length = max_length
    
        def __len__(self):
            return len(self.data)
    
        def __getitem__(self, idx):
            input_text, target_text = self.data[idx]
            inputs = self.tokenizer(input_text, return_tensors="pt", padding="max_length", max_length=self.max_length, truncation=True)
            targets = self.tokenizer(target_text, return_tensors="pt", padding="max_length", max_length=self.max_length, truncation=True)
            return {
                "input_ids": inputs["input_ids"].squeeze(),
                "attention_mask": inputs["attention_mask"].squeeze(),
                "labels": targets["input_ids"].squeeze()
            }
    

    在创建MyDataset实例时,添加一个max_length参数,这个max_length将用于指定序列的最大长度。

    max_length = 32
    train_dataset = MyDataset(data, tokenizer, max_length)
    

    这样,使用padding="max_length"参数,DataLoader应该能正常工作了。