pytorch中,nn.Module的成员变量有hidden1, hidden2, hidden3,有没有hidden4呢?为什会到3?
- User
pytorch中,nn.Module的成员变量有hidden1, hidden2, hidden3,有没有hidden4呢?为什会到3?
- Assistant
一个好问题!
在 PyTorch 中,
nn.Module是一个非常基础且重要的类,几乎所有的神经网络模块(层、网络、损失函数等)都是它的子类。nn.Module本身并没有什么hidden1、hidden2、hidden3的成员变量,这些变量通常是你自己在定义一个继承自nn.Module的子类时添加的。所以,你的问题本质上是问:当我自定义一个继承自
nn.Module的类时,为什么 PyTorch 默默地给我加了hidden1、hidden2、hidden3这些成员变量,而没有hidden4?答案是:PyTorch 并没有自动给你加这些变量!
你看到
hidden1、hidden2、hidden3,一定是因为你在自己的代码里定义了它们!下面是一个常见的场景:import torch import torch.nn as nn class MyNetwork(nn.Module): def __init__(self): super(MyNetwork, self).__init__() self.hidden1 = nn.Linear(10, 20) # 你定义了 hidden1 self.hidden2 = nn.Linear(20, 30) # 你定义了 hidden2 self.hidden3 = nn.Linear(30, 40) # 你定义了 hidden3 # 注意:这里没有定义 hidden4 def forward(self, x): x = torch.relu(self.hidden1(x)) x = torch.relu(self.hidden2(x)) x = torch.relu(self.hidden3(x)) return x net = MyNetwork() print(net)输出大概是这样:
MyNetwork( (hidden1): Linear(in_features=10, out_features=20, bias=True) (hidden2): Linear(in_features=20, out_features=30, bias=True) (hidden3): Linear(in_features=30, out_features=40, bias=True) )看到了吧?
hidden1到hidden3都是你自己在__init__方法里明确定义的,每个都是一个nn.Linear层(全连接层)。PyTorch 只是忠实地记录了你定义的这些成员变量,并没有自动添加任何东西。为什么没有
hidden4? 因为你没写!如果你需要一层hidden4,就加一行:self.hidden4 = nn.Linear(40, 50) # 新增的然后别忘了在
forward方法里用上它:def forward(self, x): x = torch.relu(self.hidden1(x)) x = torch.relu(self.hidden2(x)) x = torch.relu(self.hidden3(x)) x = torch.relu(self.hidden4(x)) # 新增的计算 return x现在
net打印出来就变成:MyNetwork( (hidden1): Linear(in_features=10, out_features=20, bias=True) (hidden2): Linear(in_features=20, out_features=30, bias=True) (hidden3): Linear(in_features=30, out_features=40, bias=True) (hidden4): Linear(in_features=40, out_features=50, bias=True) )总结:
nn.Module本身没有任何hiddenX成员变量。- 你在定义子类(比如
MyNetwork)时,在__init__里用self.xxx = ...赋值的任何东西,都会成为这个类的成员变量。 - PyTorch 的
nn.Module通过__setattr__魔法方法(可以理解为属性赋值的钩子)记录所有nn.Module或nn.Parameter类型的成员(比如nn.Linear、nn.Conv2d),并在print(model)时漂亮地展示它们(通过__repr__方法)。 - 没有
hidden4是因为你没定义它,需要就加一行代码呗!
额外小知识:如果你好奇 PyTorch 怎么知道哪些是需要被记录的层,可以看看:
nn.Module的源码(torch/nn/modules/module.py)里有self._modules = OrderedDict(),它是一个有序字典,存所有子模块(层)。- 任何
self.xxx = YYY赋值语句,只要YYY是nn.Module类型,就会被__setattr__捕获,加入到_modules字典里。 print(model)时,遍历_modules,调用每个子模块的__repr__方法,于是有了那个漂亮的层列表输出。
现在,彻底明白了吧?😄
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.