Skip to content
TheChatArchiveThe Chat Archive
gpt-4-0125-preview· openaiHugging Face Suzhen/CodeChat

def forward(self, query, key, value, mask=None): if mask is not None: mask =…

  1. User

    def forward(self, query, key, value, mask=None): if mask is not None: mask = mask.unsqueeze(1)

        batch_size = query.size(0)
        print('query shape is', query.shape)
        query, key, value = [model(x).view(batch_size, -1, self.Head, self.d_k).transpose(1,2)
                             for model, x in zip(self.linears, (query, key, value))]
        
        x, self.attn = attention(query, key, value ,dropout=self.drop_out)
        x = x.transpose(1,2).contiguous().view(batch_size, -1, self.Head * self.d_k)
        return self.linears[-1](x)
    

    该函数报错TypeError: view(): argument 'size' failed to unpack the object at pos 4 with error "type must be tuple of ints,but got float" 是什么原因? query, key, value 都是[2,4,512]维度的矩阵,Head = 8

  2. Assistant

    该错误是因为在调用.view方法时,期望传入的维度大小是整数的元组,但却传入了包含浮点数的值。问题可能出现在self.Head * self.d_k的计算上。

    具体来说,self.Head 和 self.d_k 应该都是整数,以表示头的数量和每个头的维度大小。然而,从错误信息来看,batch_size, -1, self.Head * self.d_k中的self.Head * self.d_k可能得到了一个浮点数,这不符合.view方法的期望输入。

    错误可能并不直接与self.Head * self.d_k的计算有关,而是由于Python或者环境设置导致的隐式类型转换。首先确保self.Head 和 self.d_k都被正确初始化为整数类型。在Python中,除非特别指定,否则数值运算不会自动将结果转换为浮点数。但是,如果self.Head 或 self.d_k中的任何一个在某些情况下被赋予了浮点值,那么它们的乘积也会是一个浮点数,这就导致了上述错误。

    修复此错误的一个方法是,明确地将self.Head 和 self.d_k的乘积转换为整数,例如使用int(self.Head * self.d_k),或者确保这两个属性在初始化时就被设置为整数,并且之后不会被赋予浮点值。

    综上,解决办法是:

    1. 检查self.Head 和 self.d_k确保它们被初始化为整数。
    2. 将.view(batch_size, -1, self.Head * self.d_k)中的self.Head * self.d_k改为int(self.Head * self.d_k)以确保无论何时都传入整数。

    代码修正示例如下:

    x = x.transpose(1,2).contiguous().view(batch_size, -1, int(self.Head * self.d_k))
    

    这样可以确保传递给.view方法的维度大小总是整数,避免了TypeError。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.