Skip to content
TheChatArchiveThe Chat Archive
DeepSeekdeepseek-v3-0324· DeepSeekHugging Face LMArena Human Preference 140K

给定logits (shape: n_tokens * vocab_size),实现一下entroy loss前向和反向过程,随机初始化一批数据,观测loss和收敛点

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with grok-3-preview-02-24’s answer.
  1. User

    给定logits (shape: n_tokens * vocab_size),实现一下entroy loss前向和反向过程,随机初始化一批数据,观测loss和收敛点

  2. DeepSeek Assistant

    实现 Entropy Loss 的前向和反向过程

    Entropy Loss 是一种用于衡量概率分布不确定性的损失函数,常用于语言模型训练中。下面我将实现 Entropy Loss 的前向和反向传播,并使用随机数据进行测试。

    实现代码

    import numpy as np
    
    def softmax(x):
        """计算softmax"""
        exp_x = np.exp(x - np.max(x, axis=-1, keepdims=True))
        return exp_x / np.sum(exp_x, axis=-1, keepdims=True)
    
    def entropy_loss_forward(logits):
        """
        Entropy Loss 前向计算
        参数:
            logits: shape (n_tokens, vocab_size)
        返回:
            loss: 标量
            probs: softmax后的概率分布 (n_tokens, vocab_size)
        """
        probs = softmax(logits)
        loss = np.sum(probs * np.log(probs + 1e-10))  # 加小量防止log(0)
        return -loss, probs  # 取负因为熵越小越好
    
    def entropy_loss_backward(probs):
        """
        Entropy Loss 反向传播
        参数:
            probs: softmax后的概率分布 (n_tokens, vocab_size)
        返回:
            grad: 梯度 (n_tokens, vocab_size)
        """
        return -(1 + np.log(probs + 1e-10))  # 加小量防止log(0)
    
    # 测试实现
    np.random.seed(42)
    
    # 随机初始化数据
    n_tokens = 5
    vocab_size = 10
    logits = np.random.randn(n_tokens, vocab_size)
    
    # 前向传播
    loss, probs = entropy_loss_forward(logits)
    print(f"Initial loss: {loss:.4f}")
    
    # 反向传播
    grad = entropy_loss_backward(probs)
    
    # 梯度下降优化
    learning_rate = 0.1
    n_iterations = 100
    
    for i in range(n_iterations):
        # 前向传播
        loss, probs = entropy_loss_forward(logits)
        
        # 反向传播
        grad = entropy_loss_backward(probs)
        
        # 更新参数
        logits -= learning_rate * grad
        
        if i % 10 == 0:
            print(f"Iteration {i}: loss = {loss:.4f}")
    
    # 检查最终概率分布
    final_probs = softmax(logits)
    print("\nFinal probabilities for first token:")
    print(final_probs[0])
    

    代码说明

    1. softmax函数:将logits转换为概率分布
    2. entropy_loss_forward:
      • 计算softmax概率
      • 计算熵损失:H(p) = -Σ p_i log p_i
    3. entropy_loss_backward:
      • 计算熵损失对logits的梯度
      • 梯度公式:∂H/∂z_i = -(1 + log p_i)

    收敛分析

    1. 初始状态:随机logits产生的概率分布接近均匀分布,熵较大
    2. 优化过程:通过梯度下降,模型会调整logits使得概率分布趋向于一个点分布(即某个token概率接近1,其余接近0)
    3. 最终状态:损失趋近于0,表示概率分布的不确定性最小

    预期输出

    运行上述代码,你会看到:

    1. 初始loss较大(接近均匀分布的熵)
    2. 随着迭代进行,loss逐渐减小
    3. 最终每个token的概率分布会接近一个one-hot向量(某个位置概率接近1,其余接近0)
    4. 最终loss接近0

    数学原理

    熵损失函数定义为: H(p) = -Σ p_i log p_i

    其中p_i是softmax(logits)得到的概率分布。最小化熵损失会使模型输出的概率分布趋向于确定性分布(即某个token概率为1,其余为0)。

    梯度计算: ∂H/∂z_i = -(1 + log p_i)

    这个梯度会推动logits调整,使得概率分布更加尖锐。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.