为我讲一下weight decay,以及在大模型SFT训练时这个trick如何应用
- User
为我讲一下weight decay,以及在大模型SFT训练时这个trick如何应用
- Assistant
什么是 Weight Decay?
Weight Decay(权重衰减)是深度学习中最古老也最实用的正则化手段之一。本质上它在损失函数里加了一个“惩罚项”,鼓励模型权重保持较小,降低过拟合风险。
其中
• 𝜆(weight_decay 系数)控制惩罚强度
• ‖W‖₂² 是所有可训练权重的 L2 范数如果你把优化器写成梯度下降形式,会看到多了一项
- λ * W,相当于每一步都把权重向 0 拉一点点(衰减)。
为什么在 Transformer / LLM 上依然重要?
- 大模型参数量巨大(10⁸~10¹²),容易记住训练数据。
- SFT(Supervised Fine-Tuning)阶段往往数据量比预训练小几个数量级,更容易过拟合。
- 对下游指标(人类偏好、蓝队安全约束等)小幅提升很值钱,因此常见工程实践里都会开 weight decay。
Adam 的「L2 正则」vs AdamW
在 Adam 等自适应优化器里,传统做法
wd参数其实不是真正意义的 weight decay,而是把 L2 正则项混到梯度里,这会被动量项耦合,效果偏弱。
2017 年论文《Fixing Weight Decay Regularization in Adam》提出 AdamW:把weight_decay作为对参数的直接衰减,与梯度解耦,实践更稳定。如今 PyTorch 的torch.optim.AdamW、HFTrainer默认就是 AdamW 语义。
SFT 里如何用好 Weight Decay?
下面以一个 70B ~ 13B 量级模型的典型 SFT pipeline 为例。
1. 典型超参区间
规模 learning_rate weight_decay <1B 参数 1e-4 ~ 5e-5 1e-4 ~ 0.01 7B–13B LoRA 2e-4 ~ 1e-4 0 ~ 0.05 7B–70B 全量微调 1e-5 ~ 3e-6 0.01 ~ 0.1 经验:大模型越大,lr 越小,wd 可以相对大一点,但通常
wd ≈ 10 × lr起步。2. 不对所有参数使用 Weight Decay
Transformer 中有两类参数不需要衰减:
- Bias(偏置)
- LayerNorm / RMSNorm 中的 gain (γ)
原因:
• 这两类参数本来就小,衰减它们收效甚微;
• 衰减 Norm 的 γ 反而可能破坏尺度平衡,带来收敛震荡。PyTorch/HF 里可通过 parameter group 精细控制:
decay, no_decay = [], [] for name, param in model.named_parameters(): if any(nd in name for nd in ["bias", "LayerNorm.weight", "layer_norm.weight"]): no_decay.append(param) else: decay.append(param) optimizer = torch.optim.AdamW( [ {"params": decay, "weight_decay": 0.05}, {"params": no_decay, "weight_decay": 0.0}, ], lr=lr, betas=(0.9, 0.95), )HF
Trainer里也有no_decay正则表达式配置(见transformers.TrainingArguments)。3. 结合学习率调度
常见:
• cosine decay 或 linear warmup-decay
• 复合策略:前 5% – 10% step 线性 warmup,然后 cosine/linear 降至 10% 初始值Weight decay 通常保持常数即可,无需跟随 lr schedule,但也可用 decoupled wd schedule:在训练后期(loss plateaus)放大 wd,给最后几 epoch 再收一波。
4. 与 LoRA / P-tuning 等低秩微调结合
- LoRA 只训练 A、B 低秩矩阵,常给
wd=0。
这些矩阵是增量参数,绝对值本来很小,衰减意义有限;同时你希望它们能快速学到差异,过度正则化反而损失 capacity。 - 全量微调时,大权重需要 wd;LoRA+Bias 也可试混用:对 bias 给 0,LoRA 给 0~0.01 之间的小 wd。
简易写法(peft):
# 假设 lora_model 已经 wrap 好 for n,p in lora_model.named_parameters(): if "lora" in n: p.weight_decay = 0.0 # peft 2.0 新特性5. 对抗 over-fitting 的实战提示
- Grad Norm 监控:若发现 early layer grad 阶数级增大,再酌情调高 wd 或降低 lr。
- Eval Perplexity 在 1000-3000 step 后拐头上升说明过拟合,优先增加 wd。
- 将 wd 与 dropout 组合:Transformer 通常
dropout=0.1,LoRA 可以稍大一点0.1-0.2。 - 微调不到几个 epoch 的小数据集,可以先给稍大 wd (
0.05-0.1) 再观察。
完整最小 PyTorch 例子(13B 全量 SFT)
from transformers import AutoModelForCausalLM, AutoTokenizer import torch, datasets, transformers model = AutoModelForCausalLM.from_pretrained( "facebook/opt-13b", device_map="auto", torch_dtype=torch.float16 ) # 数据集 ds = datasets.load_dataset("json", data_files="sft_train.jsonl")["train"] tokenizer = AutoTokenizer.from_pretrained("facebook/opt-13b", use_fast=False) def preprocess(example): out = tokenizer(example["prompt"] + example["response"], truncation=True) out["labels"] = out["input_ids"].copy() return out ds = ds.map(preprocess, batched=True, remove_columns=ds.column_names) # 按需分组 param decay_p, no_decay_p = [], [] for n, p in model.named_parameters(): if p.requires_grad is False: continue if any(k in n for k in ["bias", "layer_norm"]): no_decay_p.append(p) else: decay_p.append(p) optim = torch.optim.AdamW( [ {"params": decay_p, "weight_decay": 0.05}, {"params": no_decay_p, "weight_decay": 0.0}, ], lr=1e-5, betas=(0.9, 0.95), ) # Scheduler steps = 2000 warmup_steps = int(0.05 * steps) lr_sched = transformers.get_cosine_schedule_with_warmup( optim, num_warmup_steps=warmup_steps, num_training_steps=steps ) trainer = transformers.Trainer( model=model, train_dataset=ds, args=transformers.TrainingArguments( output_dir="./opt13b-sft", gradient_checkpointing=True, per_device_train_batch_size=2, gradient_accumulation_steps=8, num_train_epochs=1, bf16=True, learning_rate=1e-5, warmup_steps=warmup_steps, max_steps=steps, weight_decay=0.05, # 依旧要填,trainer 内部 group 会覆盖 lr_scheduler_type="cosine", optim="adamw_torch", logging_steps=10, save_steps=200, ), optimizers=(optim, lr_sched), ) trainer.train()
常见坑 & Debug Checklist
✓ 忘了给 bias / norm 参数
wd=0,导致训练 loss 抖动
✓ 仅写--weight_decay 0.01却用了adam而不是adamw→ 实际没 decouple
✓ Mixed precision (fp16/bf16) 时 wd 太大 → 权重下溢变成 0
✓ 用 LoRA + 全量 word embedding 冻结,embedding 却跟随主 group 有 wd,后期 token 语义漂移 → 需要额外剔除
一句话总结
Weight Decay ≈ 给网络“穿铅衣”防止长胖。
在大模型 SFT 中,合理的 wd(一般 0.01–0.1)配合 decoupled AdamW、排除 bias/Norm,是最简单稳健的正则方案;当数据量小、模型大、或者观测到过拟合时,优先调高 wd。
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.