Skip to content
TheChatArchiveThe Chat Archive
Geminigemini-2.5-flash-preview-04-17· GoogleHugging Face LMArena Human Preference 140K

Chinchilla 训练法则 中指出LLM的数据量与参数的关系是?

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Claudeclaude-3-7-sonnet-20250219-thinking-32k’s answer.
  1. User

    Chinchilla 训练法则 中指出LLM的数据量与参数的关系是?

  2. Gemini Assistant

    根据 Chinchilla 训练法则(来自 DeepMind 的一篇论文 "An Empirical Analysis of Compute-Optimal Large Language Model Training"),LLM 的数据量与参数量之间的关系,在达到最优效率时,表现为:

    1. 挑战旧认知: Chinchilla 研究表明,在给定的计算预算下,之前的很多大型语言模型(如 Gopher)是“参数太多,数据太少”(parameter-heavy but data-poor),也就是处于欠训练状态。
    2. 最优比例: Chinchilla 发现,为了在给定计算量下达到最优性能,模型的参数量 (N) 与训练所需的数据量 (D,以 token 数量衡量) 应该近似于线性关系,或者说,数据量应该与参数量同比例增加。
    3. 具体比例: 论文通过大量实验得出结论,在最优配置下,每个模型参数大约需要训练 20个 token 的数据。即,如果模型有 N 个参数,最优的训练数据量 D ≈ 20 * N。
      • 例如,Chinchilla 本身是一个 700 亿参数的模型,它被训练在 1.4 万亿 (1.4 * 10^12) 个 token 上,其比例是 1.4 * 10^12 / (70 * 10^9) = 1400 / 70 = 20 tokens/parameter。
    4. 结论: Chinchilla 法则的核心思想是,在计算预算允许的情况下,应该训练参数量适中但数据量非常充足的模型,而不是训练参数量巨大但数据量相对较少的模型。数据量的重要性比之前普遍认为的要高得多,它应该与模型大小紧密配合,一同扩展。

    简而言之,Chinchilla 指出最优的 LLM 扩展策略是:数据量应与参数量大致成比例增长,大约是每参数 20 个 token。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.