def forward(self, query, key, value, mask=None): if mask is not None: mask =…
- User
def forward(self, query, key, value, mask=None): if mask is not None: mask = mask.unsqueeze(1)
batch_size = query.size(0) print('query shape is', query.shape) query, key, value = [model(x).view(batch_size, -1, self.Head, self.d_k).transpose(1,2) for model, x in zip(self.linears, (query, key, value))] x, self.attn = attention(query, key, value ,dropout=self.drop_out) x = x.transpose(1,2).contiguous().view(batch_size, -1, self.Head * self.d_k) return self.linears[-1](x)该函数报错TypeError: view(): argument 'size' failed to unpack the object at pos 4 with error "type must be tuple of ints,but got float" 是什么原因? query, key, value 都是[2,4,512]维度的矩阵,Head = 8
- Assistant
该错误是因为在调用
.view方法时,期望传入的维度大小是整数的元组,但却传入了包含浮点数的值。问题可能出现在self.Head * self.d_k的计算上。具体来说,
self.Head和self.d_k应该都是整数,以表示头的数量和每个头的维度大小。然而,从错误信息来看,batch_size, -1, self.Head * self.d_k中的self.Head * self.d_k可能得到了一个浮点数,这不符合.view方法的期望输入。错误可能并不直接与
self.Head * self.d_k的计算有关,而是由于Python或者环境设置导致的隐式类型转换。首先确保self.Head和self.d_k都被正确初始化为整数类型。在Python中,除非特别指定,否则数值运算不会自动将结果转换为浮点数。但是,如果self.Head或self.d_k中的任何一个在某些情况下被赋予了浮点值,那么它们的乘积也会是一个浮点数,这就导致了上述错误。修复此错误的一个方法是,明确地将
self.Head和self.d_k的乘积转换为整数,例如使用int(self.Head * self.d_k),或者确保这两个属性在初始化时就被设置为整数,并且之后不会被赋予浮点值。综上,解决办法是:
- 检查
self.Head和self.d_k确保它们被初始化为整数。 - 将
.view(batch_size, -1, self.Head * self.d_k)中的self.Head * self.d_k改为int(self.Head * self.d_k)以确保无论何时都传入整数。
代码修正示例如下:
x = x.transpose(1,2).contiguous().view(batch_size, -1, int(self.Head * self.d_k))这样可以确保传递给
.view方法的维度大小总是整数,避免了TypeError。 - 检查
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.