Skip to content
TheChatArchiveThe Chat Archive
Claudeclaude-3-7-sonnet-20250219· AnthropicHugging Face LMArena Human Preference 140K

Chatbot Arena LLM Leaderboard是根据什么给模型排名的?

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with DeepSeekdeepseek-v3-0324’s answer.
  1. User

    Chatbot Arena LLM Leaderboard是根据什么给模型排名的?

  2. Claude Assistant

    Chatbot Arena LLM Leaderboard是根据人类偏好评估来给模型排名的。具体来说,它使用Elo评分系统,这是一种常用于国际象棋等竞技比赛的评分方法。

    在Chatbot Arena中,两个AI模型会同时回答同一个问题,然后由人类评判哪个回答更好。这种直接比较的方式被称为"人类偏好"评估。每次比较后,获胜的模型会获得Elo分数,失败的模型会失去分数,平局则分数不变。随着大量这样的比较累积,系统能够建立起相对准确的模型能力排名。

    这种评估方法的优点是直接反映了实际用户体验,而不仅仅依赖于自动化的基准测试。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.