Skip to content
The Chat Archive
gpt-3.5-turbo-0301· OpenAI WildChat-4.8M (AI2)

SE注意力机制中的F_tr卷积公式

  1. User

    SE注意力机制中的F_tr卷积公式

  2. Assistant

    在SE注意力机制中,F_tr(transformed feature)卷积公式如下:

    Ftr(X)=ftr(W2δ(W1X+b1)+b2)F_{tr}(\mathbf{X}) = f_{tr}(\mathbf{W_2}\delta(\mathbf{W_1} \mathbf{X} + \mathbf{b_1}) + \mathbf{b_2})

    其中,X\mathbf{X}为输入特征矩阵,W1\mathbf{W_1}和W2\mathbf{W_2}为权重矩阵,b1\mathbf{b_1}和b2\mathbf{b_2}为偏差向量,δ\delta为激活函数,ftrf_{tr}为一个非线性函数。

    具体来说,输入特征矩阵X\mathbf{X}的形状为C×H×WC \times H \times W,其中CC表示通道数,HH表示高度,WW表示宽度。W1\mathbf{W_1}的形状为C1×CC_1 \times C,其中C1C_1为卷积核的数量,CC为输入通道数。W2\mathbf{W_2}的形状为C×C1C \times C_1,其中C1C_1为卷积核的数量,CC为输入通道数。b1\mathbf{b_1}和b2\mathbf{b_2}的形状为C1C_1和CC,分别对应于W1\mathbf{W_1}和W2\mathbf{W_2}的卷积核数量。δ(x)\delta(x)表示激活函数,可选ReLU等。ftrf_{tr}是一个非线性函数,通常为sigmoid函数,(0,1)(0,1)区间内的值表示注意力分数。

    通过以上的公式,我们可以得到输入特征矩阵X\mathbf{X}变化后的F_tr特征矩阵,它将被用于计算SE注意力矩阵。

  3. User

    MobileNetV3中的ReLU激活函数

  4. Assistant

    MobileNetV3 中采用了一种新的 ReLU 激活函数,即 \textit{hard-swish}。相比于传统的 ReLU 函数,\textit{hard-swish} 是一种非常轻量级的激活函数,具有快速计算和高精度的特点,并且具有自适应性和非线性特性。

    公式如下:

    hard-swish(x)=x⋅min(1,max(0,x+3))/6\textit{hard-swish}(x) = x \cdot \text{min}(1, \text{max}(0, x + 3))/6

    其中 min(1,max(0,x+3))/6\text{min}(1, \text{max}(0, x + 3))/6 是一个 sigmoid 函数,起到了将输入强制限制在 [0, 6] 范围内的作用,而其他部分则类似于常规的 ReLU 函数进行处理。

    与传统 ReLU 函数相比,\textit{hard-swish} 函数能够进一步提升模型的精度,并且计算速度更快,同时也能有效减少模型的参数量和计算量。