给定logits (shape: n_tokens * vocab_size),实现一下entroy loss前向和反向过程,随机初始化一批数据,观测loss和收敛点
- User
给定logits (shape: n_tokens * vocab_size),实现一下entroy loss前向和反向过程,随机初始化一批数据,观测loss和收敛点
Assistant
实现 Entropy Loss 的前向和反向过程
Entropy Loss 是一种用于衡量概率分布不确定性的损失函数,常用于语言模型训练中。下面我将实现 Entropy Loss 的前向和反向传播,并使用随机数据进行测试。
实现代码
import numpy as np def softmax(x): """计算softmax""" exp_x = np.exp(x - np.max(x, axis=-1, keepdims=True)) return exp_x / np.sum(exp_x, axis=-1, keepdims=True) def entropy_loss_forward(logits): """ Entropy Loss 前向计算 参数: logits: shape (n_tokens, vocab_size) 返回: loss: 标量 probs: softmax后的概率分布 (n_tokens, vocab_size) """ probs = softmax(logits) loss = np.sum(probs * np.log(probs + 1e-10)) # 加小量防止log(0) return -loss, probs # 取负因为熵越小越好 def entropy_loss_backward(probs): """ Entropy Loss 反向传播 参数: probs: softmax后的概率分布 (n_tokens, vocab_size) 返回: grad: 梯度 (n_tokens, vocab_size) """ return -(1 + np.log(probs + 1e-10)) # 加小量防止log(0) # 测试实现 np.random.seed(42) # 随机初始化数据 n_tokens = 5 vocab_size = 10 logits = np.random.randn(n_tokens, vocab_size) # 前向传播 loss, probs = entropy_loss_forward(logits) print(f"Initial loss: {loss:.4f}") # 反向传播 grad = entropy_loss_backward(probs) # 梯度下降优化 learning_rate = 0.1 n_iterations = 100 for i in range(n_iterations): # 前向传播 loss, probs = entropy_loss_forward(logits) # 反向传播 grad = entropy_loss_backward(probs) # 更新参数 logits -= learning_rate * grad if i % 10 == 0: print(f"Iteration {i}: loss = {loss:.4f}") # 检查最终概率分布 final_probs = softmax(logits) print("\nFinal probabilities for first token:") print(final_probs[0])代码说明
- softmax函数:将logits转换为概率分布
- entropy_loss_forward:
- 计算softmax概率
- 计算熵损失:H(p) = -Σ p_i log p_i
- entropy_loss_backward:
- 计算熵损失对logits的梯度
- 梯度公式:∂H/∂z_i = -(1 + log p_i)
收敛分析
- 初始状态:随机logits产生的概率分布接近均匀分布,熵较大
- 优化过程:通过梯度下降,模型会调整logits使得概率分布趋向于一个点分布(即某个token概率接近1,其余接近0)
- 最终状态:损失趋近于0,表示概率分布的不确定性最小
预期输出
运行上述代码,你会看到:
- 初始loss较大(接近均匀分布的熵)
- 随着迭代进行,loss逐渐减小
- 最终每个token的概率分布会接近一个one-hot向量(某个位置概率接近1,其余接近0)
- 最终loss接近0
数学原理
熵损失函数定义为: H(p) = -Σ p_i log p_i
其中p_i是softmax(logits)得到的概率分布。最小化熵损失会使模型输出的概率分布趋向于确定性分布(即某个token概率为1,其余为0)。
梯度计算: ∂H/∂z_i = -(1 + log p_i)
这个梯度会推动logits调整,使得概率分布更加尖锐。
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.