o4-mini-2025-04-16· OpenAI
LMArena Human Preference 140K
AI大模型能力评测排行可以参考哪些网站
- User
AI大模型能力评测排行可以参考哪些网站
- Assistant
下面列出几类常用的“大模型能力评测与排行榜”参考站点/平台,供你快速浏览、对比与跟踪最新进展:
-
Papers With Code
- 网址:https://paperswithcode.com/leaderboards
- 特点:
• 覆盖 NLP、CV、语音等多领域任务排行榜
• 实时汇总最新 SOTA 论文 & 代码
• 可按任务(GLUE、SuperGLUE、MMLU、ImageNet…)自由筛选
-
Hugging Face Hub & Eval
- 网址:https://huggingface.co/models ;https://huggingface.co/spaces/papers-with-code/leaderboard-eval
- 特点:
• 模型一键下载、在线推理、微调示例
• 社区自动化评测(Eval Metrics)插件
• 用户可上传自定义数据集跑分
-
Stanford HELM(Holistic Evaluation of Language Models)
- 网址:https://crfm.stanford.edu/helm/latest/leaderboard.html
- 特点:
• “一站式”整合 50+ 子任务(问答、推理、代码生成…)
• 统一评测框架,支持公平横向对比
• 分面报告:能力、鲁棒性、公平性、安全性
-
MLCommons & BenchmarkX
- 网址:https://mlcommons.org/en/benchmarks/ ; https://benchmarkx.ai/
- 特点:
• 通用机器学习/深度学习基准(包括大模型推理性能)
• 硬件+软件整体测评,关注吞吐、延迟、能效
-
EleutherAI LM Eval Harness
- 代码库:https://github.com/EleutherAI/lm-evaluation-harness
- 特点:
• 开源 Python 库,一行代码跑几十种任务:MMLU、ARC、HellaSwag、OpenBookQA…
• 社区定期发布主流大模型打分
-
EvalAI & CodaLab
- 网址:https://eval.ai/ ; https://competitions.codalab.org/
- 特点:
• 大规模挑战赛平台(NLP、CV、语音…)
• 可在线提交预测结果,排名实时更新
-
AI Index Report(Stanford)
- 网址:https://aiindex.stanford.edu/
- 特点:
• 年度报告形式,提供模型能力、应用落地、产业趋势全景视图
• 各大模型(GPT、BLOOM、PaLM…)性能及影响力分析
-
各大厂商/开源组织官网 Leaderboard
- OpenAI Leaderboard(内部榜单,需关注官方博客)
- Google Research / DeepMind 公布页
- Meta AI、Anthropic、Cohere、Alibaba DAMO 等
———
如何选择?
- 多维度对比:Papers With Code+HELM 覆盖面广,适合横向比拼;
- 深度评测:LM Eval Harness 可自建脚本复现;
- 产业趋势:AI Index、MLCommons 更聚焦全局;
- 企业生态:厂商榜单/博客紧跟自家新模型最前沿。
希望以上资源能帮你快速锁定、解读主流大模型能力排行!如需更具体的某项 benchmark 或快速上手示例,随时问我 😊
-
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.