假设Transformer解码器模型层数为12,有8个注意力头,隐层维度为128,请计算出该结构中多头自注意力模块的参数量
- User
假设Transformer解码器模型层数为12,有8个注意力头,隐层维度为128,请计算出该结构中多头自注意力模块的参数量
Assistant
好的,我们来详细计算一下这个Transformer解码器中单个多头自注意力(Multi-Head Self-Attention)模块的参数量。
首先,我们明确一下给定的参数:
- 模型层数 (Number of Layers): 12
- 注意力头数 (H): 8
- 隐层维度 (d_model): 128
多头自注意力模块的参数主要来自四个线性变换层:
- 用于生成**查询(Query)**的线性层
- 用于生成**键(Key)**的线性层
- 用于生成**值(Value)**的线性层
- 将多头注意力结果拼接后进行输出的线性层
计算步骤
1. 每个头的维度 (Dimension per Head)
在多头注意力中,隐层维度
d_model会被平均分配给每个头。- 每个头的维度
d_head=d_model/H= 128 / 8 = 16
这意味着每个头的 Q, K, V 向量维度都是 16。
2. Q, K, V 投射层的参数
模型接收的输入维度是
d_model(128)。为了得到所有头的Q, K, V向量,我们通常会使用一个大的线性层一次性完成计算,而不是为每个头单独创建。-
查询 (Query) 投射:
- 权重矩阵
W_Q的尺寸为(d_model, d_model),即 (128, 128)。 - 偏置项
b_Q的尺寸为d_model,即 (128)。 - 参数量 =
128 * 128 + 128=16,384 + 128= 16,512
- 权重矩阵
-
键 (Key) 投射:
- 权重矩阵
W_K的尺寸为(d_model, d_model),即 (128, 128)。 - 偏置项
b_K的尺寸为d_model,即 (128)。 - 参数量 =
128 * 128 + 128=16,384 + 128= 16,512
- 权重矩阵
-
值 (Value) 投射:
- 权重矩阵
W_V的尺寸为(d_model, d_model),即 (128, 128)。 - 偏置项
b_V的尺寸为d_model,即 (128)。 - 参数量 =
128 * 128 + 128=16,384 + 128= 16,512
- 权重矩阵
这三个线性层的总参数量为
3 * 16,512 = 49,536。3. 输出投射层的参数
在计算完每个头的注意力输出后,我们会将它们拼接(concatenate)起来。拼接后的向量维度为
H * d_head=8 * 16= 128,正好等于d_model。然后,这个拼接后的向量会通过最后一个线性层进行变换。
- 输出 (Output) 投射:
- 权重矩阵
W_O的尺寸为(d_model, d_model),即 (128, 128)。 - 偏置项
b_O的尺寸为d_model,即 (128)。 - 参数量 =
128 * 128 + 128=16,384 + 128= 16,512
- 权重矩阵
结果汇总
现在我们将所有部分的参数量相加,得到单个多头自注意力模块的总参数量。
组件 权重矩阵参数 偏置项参数 单项总计 查询 (Q) 投射 128 × 128 = 16,384 128 16,512 键 (K) 投射 128 × 128 = 16,384 128 16,512 值 (V) 投射 128 × 128 = 16,384 128 16,512 输出 (O) 投射 128 × 128 = 16,384 128 16,512 总计 4 × 16,384 = 65,536 4 × 128 = 512 66,048 一个简化的计算公式是
4 * (d_model * d_model + d_model)。4 * (128 * 128 + 128) = 4 * (16384 + 128) = 4 * 16512 = 66,048所以,该结构中单个多头自注意力模块的参数量为 66,048。
补充说明
-
解码器中的总注意力参数:
- 你描述的是一个12层的解码器。解码器每层包含两个注意力模块:一个多头自注意力模块 (Masked Multi-Head Self-Attention) 和一个多头交叉注意力模块 (Multi-Head Cross-Attention)。
- 交叉注意力模块的结构和参数量与自注意力模块完全相同。
- 因此,一个解码器层的总注意力参数量是
66,048 (自注意力) + 66,048 (交叉注意力) = 132,096。 - 整个12层解码器中所有注意力模块的总参数量为
132,096 * 12 = 1,585,152。
-
注意:此计算不包括前馈神经网络(Feed-Forward Network)、层归一化(Layer Normalization)以及词嵌入(Embeddings)等其他部分的参数。
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.