Skip to content
TheChatArchiveThe Chat Archive
Qwenqwen3-235b-a22b· Alibaba (Qwen)Hugging Face LMArena Human Preference 140K

什么是残差网络

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Geminigemini-2.0-flash-001’s answer.
  1. User

    什么是残差网络

  2. Qwen Assistant

    残差网络(Residual Network,简称ResNet)是一种深度卷积神经网络结构,由何恺明等人于2015年提出,其核心思想是通过残差学习(Residual Learning)解决深度神经网络的训练难题。ResNet在当年的ImageNet竞赛中取得冠军,并成为深度学习领域的里程碑之一。


    核心概念与原理

    1. 残差学习(Residual Learning)

    传统神经网络直接学习目标输出 H(x)H(x),而ResNet通过引入残差函数 F(x)=H(x)−xF(x) = H(x) - x,让网络学习输入 xx 与目标输出之间的差异(即“残差”)。最终输出为:

    H(x)=F(x)+xH(x) = F(x) + x

    这种设计意味着网络只需关注如何修正输入(学习残差),而非从零开始构建复杂映射,从而简化了优化过程。

    2. 残差块(Residual Block)

    残差块是ResNet的基本构建单元,通常包含以下组件:

    • 堆叠的卷积层:通常为2~3层卷积(如3x3卷积),用于提取特征。
    • 跳跃连接(Skip Connection):将输入 xx 直接绕过中间层,与输出 F(x)F(x) 相加(F(x)+xF(x) + x)。
    • 维度匹配:若输入 xx 与 F(x)F(x) 的维度不同(如通道数不同),则通过1x1卷积调整维度后再相加。

    例如,在ResNet-50中,每个残差块采用“Bottleneck”结构(1x1、3x3、1x1的三层卷积),既减少计算量又保持性能。

    3. 解决深度网络的“退化”问题

    随着网络深度增加,传统CNN会出现以下问题:

    • 梯度消失/爆炸:深层网络的梯度传播困难。
    • 退化(Degradation):即使使用Batch Normalization,深层网络的准确率会趋于饱和甚至下降(非过拟合导致)。

    ResNet通过跳跃连接实现:

    • 梯度直通:反向传播时,梯度可直接通过跳跃连接回传,缓解梯度消失。
    • 恒等映射:若某层对任务无贡献,残差函数 F(x)F(x) 可趋近于0,使该块输出接近输入 xx,避免破坏已有信息。

    ResNet的优势

    1. 支持超深网络:ResNet首次成功训练了超过1000层的网络(如ResNet-152),远超VGG、AlexNet等经典模型。
    2. 训练效率高:残差结构加速了收敛,降低了优化难度。
    3. 广泛适用性:ResNet不仅在图像分类(ImageNet)中表现优异,还被广泛应用于目标检测(如Faster R-CNN)、语义分割(如U-Net变体)等任务。
    4. 泛化能力强:残差学习的思想被后续模型(如DenseNet)借鉴,推动了深度学习架构的创新。

    ResNet的变体与应用

    • ResNet-18/34/50/101/152:不同层数的ResNet版本,数字越大,网络越深(如ResNet-50表示50层)。
    • Wide ResNet:通过增加通道数而非深度提升性能。
    • ResNeXt:引入分组卷积,增强模型多样性。
    • 应用领域:图像分类、医学影像分析、自然语言处理(如Transformer中的残差连接)、自动驾驶等。

    示例代码(PyTorch伪代码)

    import torch.nn as nn
    
    class ResidualBlock(nn.Module):
        def __init__(self, in_channels):
            super().__init__()
            self.conv1 = nn.Conv2d(in_channels, in_channels, kernel_size=3, padding=1)
            self.bn1 = nn.BatchNorm2d(in_channels)
            self.conv2 = nn.Conv2d(in_channels, in_channels, kernel_size=3, padding=1)
            self.bn2 = nn.BatchNorm2d(in_channels)
            self.relu = nn.ReLU()
    
        def forward(self, x):
            residual = x
            x = self.relu(self.bn1(self.conv1(x)))
            x = self.bn2(self.conv2(x))
            x += residual  # 跳跃连接
            return self.relu(x)
    

    总结

    ResNet通过残差学习和跳跃连接,解决了深度网络的优化难题,成为深度学习的基石之一。其核心思想——“让网络学会修正而非重学”——不仅适用于视觉任务,也启发了后续模型设计,是现代深度学习架构不可或缺的一部分。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.