sonar-reasoning-pro-high LMArena Search Arena 24K
最权威的对大模型幻觉率测试的榜单有哪些?
- User
最权威的对大模型幻觉率测试的榜单有哪些?
- Assistant
大模型幻觉率测试的权威榜单
当前有几个备受业界认可的大模型幻觉率测试榜单,它们通过不同的方法学评估语言模型生成内容中的幻觉问题。以下是最具权威性的幻觉测试榜单:
Vectara 幻觉排行榜
Vectara 的 Hallucination Leaderboard 是目前最具影响力的幻觉评测榜单之一,专注于评估大型语言模型在文档摘要任务中引入幻觉的频率[1][2][6]。
评测特点:
- 基于 Vectara 开发的 Hughes 幻觉评估模型(HHEM-2.1)
- 使用 1000 篇短文档(主要来自 CNN / Daily Mail Corpus)进行测试
- 通过公共 API 调用各大模型,使用温度为 0 的设置生成摘要
- 评估指标包括:幻觉率、事实一致性率、回答率和平均摘要长度
- 持续更新,反映最新模型性能表现[1][3]
最新评测结果:
- 2025年初的最新排行榜中,谷歌的 Gemini-2.0-Flash-001 以 0.7% 的低幻觉率位居榜首
- Gemini-2.0-Pro-Exp 和 OpenAI 的 o3-mini-high-reasoning 模型以 0.8% 的幻觉率紧随其后
- 多数模型的事实一致性率保持在 95% 以上,应答率接近 100%[2][6][13]
历史变化:
- 2023年的排行榜中,GPT-4 和 GPT-4 Turbo 曾以 3% 的幻觉率排名第一
- 当时 GPT-3.5 Turbo 排名第二,幻觉率为 3.5%,而谷歌 Palm 的幻觉率高达 27.2%[5][15]
Hugging Face 幻觉排行榜
Hugging Face 的 Hallucinations Leaderboard 提供了更广泛的幻觉相关基准测试,覆盖多种任务类型[14]。
评测特点:
- 利用 EleutherAI 语言模型评估框架
- 包含多种幻觉相关的测试任务
- 在爱丁堡国际数据设施(EIDF)和爱丁堡大学信息学院的内部集群上进行实验
评测任务类别:
- 闭卷开放域问答:NQ Open、TriviaQA、TruthfulQA
- 摘要生成:XSum、CNN/DM
- 阅读理解:RACE、SQuADv2
- 指令遵循:MemoTrap、IFEval
- 事实核查:FEVER
- 幻觉检测:FaithDial、True-False、HaluEval
- 自一致性:SelfCheckGPT[14]
智源研究院的 FlagEval 评测平台
智源研究院的 FlagEval 是中国较为权威的大模型评测平台,包含了专门的幻觉评测模块[9]。
评测特点:
- 提供基于 AI 的辅助评测模型 FlagJudge
- 与北京大学共建的 HalluDial 是目前全球规模最大的对话场景幻觉评测集
- 包含超过 18,000 个轮次对话和超过 14 万个回答
- 评测针对中文和多语言环境设计[9]
评测结果:
- 在评测中,国产模型如豆包通用模型 pro 和百度 ERNIE 4.0 Turbo 在主观评测中表现优异
- 但在客观评测中,OpenAI 的 o1 系列模型表现更佳[9]
Arthur AI 的生成式 AI 测试评估
Arthur AI 提供的"生成式 AI 测试评估"对比了不同大模型在各类挑战问题上的幻觉表现[8]。
评测特点:
- 使用具有挑战性的问题考察模型,如组合数学、美国总统和摩洛哥政治领导人等
- 同时测试模型的"自我意识"和"对冲策略"
- 定期更新排名
评测结果:
- 2023年的评测中,GPT-4 整体表现最佳,产生的幻觉问题少于 GPT-3.5
- Anthropic 的 Claude-2 排名第二,Meta 的 Llama-2 表现居中
- Cohere 的模型在受测模型中幻觉率最高[8]
其他行业评测
除了上述专门的幻觉排行榜外,还有一些行业垂直领域的幻觉评测:
- 夸克大模型在医疗健康领域将问答内容的幻觉率降低至 5%,处于行业领先水平[7]
- DeepSeek-R1 在 Vectara 的评测中显示出 14.3% 的幻觉率,远高于其前身 DeepSeek-V3 的 3.9%,是一个特殊案例,显示出强化思维链可能会增加幻觉风险[4][10]
这些榜单为研究人员、开发者和用户提供了宝贵的参考数据,帮助更好地了解和选择适合特定场景的大型语言模型,也推动了幻觉检测和减少技术的发展。
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.