Skip to content
The Chat Archive
o3-2025-04-16· OpenAI LMArena Human Preference 140K

为我讲一下weight decay,以及在大模型SFT训练时这个trick如何应用

  1. User

    为我讲一下weight decay,以及在大模型SFT训练时这个trick如何应用

  2. Assistant

    什么是 Weight Decay?

    Weight Decay(权重衰减)是深度学习中最古老也最实用的正则化手段之一。本质上它在损失函数里加了一个“惩罚项”,鼓励模型权重保持较小,降低过拟合风险。

    Ltotal=Ltask+λ ∥W∥22\mathcal{L}_{total} = \mathcal{L}_{task} + \lambda \,\|W\|_{2}^{2}

    其中
    • 𝜆(weight_decay 系数)控制惩罚强度
    • ‖W‖₂² 是所有可训练权重的 L2 范数

    如果你把优化器写成梯度下降形式,会看到多了一项 - λ * W,相当于每一步都把权重向 0 拉一点点(衰减)。


    为什么在 Transformer / LLM 上依然重要?

    1. 大模型参数量巨大(10⁸~10¹²),容易记住训练数据。
    2. SFT(Supervised Fine-Tuning)阶段往往数据量比预训练小几个数量级,更容易过拟合。
    3. 对下游指标(人类偏好、蓝队安全约束等)小幅提升很值钱,因此常见工程实践里都会开 weight decay。

    Adam 的「L2 正则」vs AdamW

    在 Adam 等自适应优化器里,传统做法 wd 参数其实不是真正意义的 weight decay,而是把 L2 正则项混到梯度里,这会被动量项耦合,效果偏弱。
    2017 年论文《Fixing Weight Decay Regularization in Adam》提出 AdamW:把 weight_decay 作为对参数的直接衰减,与梯度解耦,实践更稳定。如今 PyTorch 的 torch.optim.AdamW、HF Trainer 默认就是 AdamW 语义。


    SFT 里如何用好 Weight Decay?

    下面以一个 70B ~ 13B 量级模型的典型 SFT pipeline 为例。

    1. 典型超参区间

    规模learning_rateweight_decay
    <1B 参数1e-4 ~ 5e-51e-4 ~ 0.01
    7B–13B LoRA2e-4 ~ 1e-40 ~ 0.05
    7B–70B 全量微调1e-5 ~ 3e-60.01 ~ 0.1

    经验:大模型越大,lr 越小,wd 可以相对大一点,但通常 wd ≈ 10 × lr 起步。

    2. 不对所有参数使用 Weight Decay

    Transformer 中有两类参数不需要衰减:

    1. Bias(偏置)
    2. LayerNorm / RMSNorm 中的 gain (γ)

    原因:
    • 这两类参数本来就小,衰减它们收效甚微;
    • 衰减 Norm 的 γ 反而可能破坏尺度平衡,带来收敛震荡。

    PyTorch/HF 里可通过 parameter group 精细控制:

    decay, no_decay = [], []
    for name, param in model.named_parameters():
        if any(nd in name for nd in ["bias", "LayerNorm.weight", "layer_norm.weight"]):
            no_decay.append(param)
        else:
            decay.append(param)
    
    optimizer = torch.optim.AdamW(
        [
            {"params": decay, "weight_decay": 0.05},
            {"params": no_decay, "weight_decay": 0.0},
        ],
        lr=lr,
        betas=(0.9, 0.95),
    )
    

    HF Trainer 里也有 no_decay 正则表达式配置(见 transformers.TrainingArguments)。

    3. 结合学习率调度

    常见:
    • cosine decay 或 linear warmup-decay
    • 复合策略:前 5% – 10% step 线性 warmup,然后 cosine/linear 降至 10% 初始值

    Weight decay 通常保持常数即可,无需跟随 lr schedule,但也可用 decoupled wd schedule:在训练后期(loss plateaus)放大 wd,给最后几 epoch 再收一波。

    4. 与 LoRA / P-tuning 等低秩微调结合

    • LoRA 只训练 A、B 低秩矩阵,常给 wd=0。
      这些矩阵是增量参数,绝对值本来很小,衰减意义有限;同时你希望它们能快速学到差异,过度正则化反而损失 capacity。
    • 全量微调时,大权重需要 wd;LoRA+Bias 也可试混用:对 bias 给 0,LoRA 给 0~0.01 之间的小 wd。

    简易写法(peft):

    # 假设 lora_model 已经 wrap 好
    for n,p in lora_model.named_parameters():
        if "lora" in n:
            p.weight_decay = 0.0   # peft 2.0 新特性
    

    5. 对抗 over-fitting 的实战提示

    1. Grad Norm 监控:若发现 early layer grad 阶数级增大,再酌情调高 wd 或降低 lr。
    2. Eval Perplexity 在 1000-3000 step 后拐头上升说明过拟合,优先增加 wd。
    3. 将 wd 与 dropout 组合:Transformer 通常 dropout=0.1,LoRA 可以稍大一点 0.1-0.2。
    4. 微调不到几个 epoch 的小数据集,可以先给稍大 wd (0.05-0.1) 再观察。

    完整最小 PyTorch 例子(13B 全量 SFT)

    from transformers import AutoModelForCausalLM, AutoTokenizer
    import torch, datasets, transformers
    
    model = AutoModelForCausalLM.from_pretrained(
        "facebook/opt-13b", device_map="auto", torch_dtype=torch.float16
    )
    
    # 数据集
    ds = datasets.load_dataset("json", data_files="sft_train.jsonl")["train"]
    
    tokenizer = AutoTokenizer.from_pretrained("facebook/opt-13b", use_fast=False)
    def preprocess(example):
        out = tokenizer(example["prompt"] + example["response"], truncation=True)
        out["labels"] = out["input_ids"].copy()
        return out
    ds = ds.map(preprocess, batched=True, remove_columns=ds.column_names)
    
    # 按需分组 param
    decay_p, no_decay_p = [], []
    for n, p in model.named_parameters():
        if p.requires_grad is False:
            continue
        if any(k in n for k in ["bias", "layer_norm"]):
            no_decay_p.append(p)
        else:
            decay_p.append(p)
    
    optim = torch.optim.AdamW(
        [
            {"params": decay_p,     "weight_decay": 0.05},
            {"params": no_decay_p,  "weight_decay": 0.0},
        ],
        lr=1e-5,
        betas=(0.9, 0.95),
    )
    
    # Scheduler
    steps = 2000
    warmup_steps = int(0.05 * steps)
    lr_sched = transformers.get_cosine_schedule_with_warmup(
        optim, num_warmup_steps=warmup_steps, num_training_steps=steps
    )
    
    trainer = transformers.Trainer(
        model=model,
        train_dataset=ds,
        args=transformers.TrainingArguments(
            output_dir="./opt13b-sft",
            gradient_checkpointing=True,
            per_device_train_batch_size=2,
            gradient_accumulation_steps=8,
            num_train_epochs=1,
            bf16=True,
            learning_rate=1e-5,
            warmup_steps=warmup_steps,
            max_steps=steps,
            weight_decay=0.05,     # 依旧要填,trainer 内部 group 会覆盖
            lr_scheduler_type="cosine",
            optim="adamw_torch",
            logging_steps=10,
            save_steps=200,
        ),
        optimizers=(optim, lr_sched),
    )
    trainer.train()
    

    常见坑 & Debug Checklist

    ✓ 忘了给 bias / norm 参数 wd=0,导致训练 loss 抖动
    ✓ 仅写 --weight_decay 0.01 却用了 adam 而不是 adamw → 实际没 decouple
    ✓ Mixed precision (fp16/bf16) 时 wd 太大 → 权重下溢变成 0
    ✓ 用 LoRA + 全量 word embedding 冻结,embedding 却跟随主 group 有 wd,后期 token 语义漂移 → 需要额外剔除


    一句话总结

    Weight Decay ≈ 给网络“穿铅衣”防止长胖。
    在大模型 SFT 中,合理的 wd(一般 0.01–0.1)配合 decoupled AdamW、排除 bias/Norm,是最简单稳健的正则方案;当数据量小、模型大、或者观测到过拟合时,优先调高 wd。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.