Skip to content
The Chat Archive
sonar-reasoning-pro-high LMArena Search Arena 24K

最权威的对大模型幻觉率测试的榜单有哪些?

  1. User

    最权威的对大模型幻觉率测试的榜单有哪些?

  2. Assistant

    大模型幻觉率测试的权威榜单

    当前有几个备受业界认可的大模型幻觉率测试榜单,它们通过不同的方法学评估语言模型生成内容中的幻觉问题。以下是最具权威性的幻觉测试榜单:

    Vectara 幻觉排行榜

    Vectara 的 Hallucination Leaderboard 是目前最具影响力的幻觉评测榜单之一,专注于评估大型语言模型在文档摘要任务中引入幻觉的频率[1][2][6]。

    评测特点:

    • 基于 Vectara 开发的 Hughes 幻觉评估模型(HHEM-2.1)
    • 使用 1000 篇短文档(主要来自 CNN / Daily Mail Corpus)进行测试
    • 通过公共 API 调用各大模型,使用温度为 0 的设置生成摘要
    • 评估指标包括:幻觉率、事实一致性率、回答率和平均摘要长度
    • 持续更新,反映最新模型性能表现[1][3]

    最新评测结果:

    • 2025年初的最新排行榜中,谷歌的 Gemini-2.0-Flash-001 以 0.7% 的低幻觉率位居榜首
    • Gemini-2.0-Pro-Exp 和 OpenAI 的 o3-mini-high-reasoning 模型以 0.8% 的幻觉率紧随其后
    • 多数模型的事实一致性率保持在 95% 以上,应答率接近 100%[2][6][13]

    历史变化:

    • 2023年的排行榜中,GPT-4 和 GPT-4 Turbo 曾以 3% 的幻觉率排名第一
    • 当时 GPT-3.5 Turbo 排名第二,幻觉率为 3.5%,而谷歌 Palm 的幻觉率高达 27.2%[5][15]

    Hugging Face 幻觉排行榜

    Hugging Face 的 Hallucinations Leaderboard 提供了更广泛的幻觉相关基准测试,覆盖多种任务类型[14]。

    评测特点:

    • 利用 EleutherAI 语言模型评估框架
    • 包含多种幻觉相关的测试任务
    • 在爱丁堡国际数据设施(EIDF)和爱丁堡大学信息学院的内部集群上进行实验

    评测任务类别:

    • 闭卷开放域问答:NQ Open、TriviaQA、TruthfulQA
    • 摘要生成:XSum、CNN/DM
    • 阅读理解:RACE、SQuADv2
    • 指令遵循:MemoTrap、IFEval
    • 事实核查:FEVER
    • 幻觉检测:FaithDial、True-False、HaluEval
    • 自一致性:SelfCheckGPT[14]

    智源研究院的 FlagEval 评测平台

    智源研究院的 FlagEval 是中国较为权威的大模型评测平台,包含了专门的幻觉评测模块[9]。

    评测特点:

    • 提供基于 AI 的辅助评测模型 FlagJudge
    • 与北京大学共建的 HalluDial 是目前全球规模最大的对话场景幻觉评测集
    • 包含超过 18,000 个轮次对话和超过 14 万个回答
    • 评测针对中文和多语言环境设计[9]

    评测结果:

    • 在评测中,国产模型如豆包通用模型 pro 和百度 ERNIE 4.0 Turbo 在主观评测中表现优异
    • 但在客观评测中,OpenAI 的 o1 系列模型表现更佳[9]

    Arthur AI 的生成式 AI 测试评估

    Arthur AI 提供的"生成式 AI 测试评估"对比了不同大模型在各类挑战问题上的幻觉表现[8]。

    评测特点:

    • 使用具有挑战性的问题考察模型,如组合数学、美国总统和摩洛哥政治领导人等
    • 同时测试模型的"自我意识"和"对冲策略"
    • 定期更新排名

    评测结果:

    • 2023年的评测中,GPT-4 整体表现最佳,产生的幻觉问题少于 GPT-3.5
    • Anthropic 的 Claude-2 排名第二,Meta 的 Llama-2 表现居中
    • Cohere 的模型在受测模型中幻觉率最高[8]

    其他行业评测

    除了上述专门的幻觉排行榜外,还有一些行业垂直领域的幻觉评测:

    • 夸克大模型在医疗健康领域将问答内容的幻觉率降低至 5%,处于行业领先水平[7]
    • DeepSeek-R1 在 Vectara 的评测中显示出 14.3% 的幻觉率,远高于其前身 DeepSeek-V3 的 3.9%,是一个特殊案例,显示出强化思维链可能会增加幻觉风险[4][10]

    这些榜单为研究人员、开发者和用户提供了宝贵的参考数据,帮助更好地了解和选择适合特定场景的大型语言模型,也推动了幻觉检测和减少技术的发展。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.