在贝叶斯线性回归或正则化问题中,协方差矩阵 Σ 的表达式为:
Σ=(σn−2X⊤X+σp−2I)−1
用户希望理解为何可以将 σn−2 提取出来。以下是分步解释:
1. 标量因子的提取
矩阵加法中,若两个项有共同的标量因子,可以直接提取。例如:
aA+aB=a(A+B)
但原式中两个项的标量因子不同(σn−2 和 σp−2),因此需要重新表示其中一个因子,使其与另一个因子关联。
2. 重新表示 σp−2I
将 σp−2 表示为 σn−2 的倍数:
σp−2=σn−2⋅(σp2σn2)
代入原式:
σn−2X⊤X+σp−2I=σn−2X⊤X+σn−2⋅(σp2σn2)I
3. 提取公共因子 σn−2
将 σn−2 提取为公共因子:
=σn−2(X⊤X+σp2σn2I)
4. 取逆矩阵
对括号内的表达式取逆时,标量因子 σn−2 的逆为 σn2:
Σ=(σn−2(X⊤X+σp2σn2I))−1=σn2(X⊤X+σp2σn2I)−1
5. 物理意义
- 正则化项:σp2σn2I 对应岭回归中的正则化参数 λ=σp2σn2,控制模型复杂度。
- 噪声与先验的关系:σn 是观测噪声的标准差,σp 是权重先验的标准差。提取 σn−2 后,正则化强度由两者的比值决定。
最终结论
通过将 σp−2 表示为 σn−2 的倍数,成功提取 σn−2,使得协方差矩阵 Σ 的表达式简化为:
Σ=σn2(X⊤X+(σpσn)2I)−1
这一操作在数学上是严格的,并且有助于理解模型中噪声与先验的相互作用。