Skip to content
TheChatArchiveThe Chat Archive
gpt-3.5-turbo-0301· OpenAIAi2 WildChat-4.8M (AI2)

transformer的Embedding是怎么做的?

  1. User

    transformer的Embedding是怎么做的?

  2. Assistant

    Transformer的Embedding包含两个步骤:位置编码和词向量。

    1. 位置编码

    在Transformer中,为了使网络能够处理序列数据,需要对输入的序列中每一个位置进行编码,表示该位置在序列中的位置信息。位置编码使用正弦和余弦函数计算出来,公式为:

    PE(pos,2i)=sin⁡(pos100002i/dmodel)PE(pos,2i+1)=cos⁡(pos100002i/dmodel)\begin{aligned} \text{PE}(pos, 2i) &= \sin\left(\frac{pos}{10000^{2i/d_{model}}}\right) \\ \text{PE}(pos, 2i+1) &= \cos\left(\frac{pos}{10000^{2i/d_{model}}}\right) \end{aligned}

    其中,pospos表示单词在序列中的位置,ii表示位置编码的维度(从0到dmodel−1d_{model}-1),dmodeld_{model}是模型的维度。这样,每个单词的位置编码就成为一个dmodeld_{model}维的向量,可以加在词向量上变成位置加词向量的形式。

    1. 词向量

    Transformer使用一个embedding层将输入的原始序列转换成对应的词向量序列。该层可以由已经训练好的词向量直接提取每个单词的词向量作为输入进行使用。词向量的大小与模型的输入维度相同,并且可以随着模型的训练而更新。

    最终的词向量等于位置编码和词向量相加。这样做的目的是,在模型的输入中保留了位置信息,同时表达了每个单词在上下文中的语义关系。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.