Skip to content
TheChatArchiveThe Chat Archive
Perplexitysonar-reasoning-pro-high· PerplexityHugging Face LMArena Search Arena 24K

lmsys和chatbot arena关系

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Geminigemini-2.0-flash-grounding’s answer.
  1. User

    lmsys和chatbot arena关系

  2. Perplexity Assistant

    LMSYS与Chatbot Arena的关系

    LMSYS与Chatbot Arena的关系是创建者与项目的关系,但现在已经演变为密切合作的伙伴关系。以下是它们之间关系的详细解析。

    LMSYS的起源与使命

    LMSYS是一个非营利组织,于2023年4月成立,由卡内基梅隆大学、加州大学伯克利分校的SkyLab和加州大学圣迭戈分校的学生和教师发起的项目[1][2]。一些创始成员现在在Google DeepMind、马斯克的xAI和英伟达工作;如今,LMSYS主要由UC Berkeley SkyLab关联研究人员管理[1][2]。

    LMSYS并不是为了创建病毒式的模型排行榜而成立的。该团体的创始使命是通过共同开发和开源模型(特别是类似OpenAI的ChatGPT的生成模型)来使模型更易获取[1][2]。

    Chatbot Arena的诞生

    在LMSYS成立后不久,其研究人员对AI基准测试的现状感到不满,看到了创建自己的测试工具的价值[1][2]。

    研究人员在一篇技术论文中写道:"当前的基准测试未能充分满足最先进模型的需求,特别是在评估用户偏好方面。因此,迫切需要一个基于人类偏好的开放式实时评估平台,能更准确地模拟真实世界的使用。"[1]

    LMSYS的创始人们设计了Chatbot Arena,一个众包基准测试,旨在捕捉模型在开放式、真实世界任务中的"微妙"表现[1][2]。Chatbot Arena于2023年5月正式推出[7]。

    Chatbot Arena的独立化

    随着时间的推移,Chatbot Arena在人工智能行业引起了广泛关注。该平台由知名大学的研究人员创立,旨在提供比传统基准更具代表性的生成模型评估[1]。

    2024年9月20日,LMSYS宣布Chatbot Arena现在有了自己的专用网站:lmarena.ai[3]。LMSYS表示,过去一年,在社区的支持下,Chatbot Arena已经发展成为一个成熟的生态系统和平台,他们认为是时候让它"毕业"并独立发展[3]。

    LMSYS在公告中表示:"通过给Chatbot Arena自己的平台,我们旨在提供更多的独立性并确保其长期发展。"[3]

    现在的关系

    尽管Chatbot Arena现在有了自己的平台,但它仍将是LMSYS的密切合作伙伴[3]。在新的Chatbot Arena网站上,用户可以找到最新的更新和博客文章。展望未来,他们正在扩展平台以评估前沿模型,不仅是聊天机器人,还包括编码、复杂任务和红队测试等领域[3]。

    同时,LMSYS将继续作为新项目的孵化器,以及开放研究和开发的平台[3]。LMSYS不仅仅专注于Chatbot Arena,它还涉及其他项目如Vicuna、SGLang、S-LoRA、RouteLLM等[3]。

    Chatbot Arena的影响力

    Chatbot Arena已成为AI行业内的一种关注焦点。关于其模型排行榜更新的帖子在Reddit和X上获得了数百次浏览和转发,官方LMSYS X账号拥有超过54,000名关注者[1][2]。仅在过去一年里,数百万人访问了该组织的网站[1][2]。

    值得注意的是,像OpenAI、Google这样的大公司都引用过Chatbot Arena的排名结果[6]。Greg Brockman(OpenAI的主席和联合创始人)去年11月在被开除前的最后一条Twitter就是转发的Chatbot Arena[6]。Google的Jeff Dean在发布Gemini Pro时,也引用了Chatbot Arena的排行榜[6]。

    总结

    LMSYS与Chatbot Arena的关系始于创建者与项目,随着Chatbot Arena的成长和成熟,它已经从LMSYS"毕业"成为一个独立的平台,但仍然与LMSYS保持密切的合作关系。LMSYS继续作为各种项目(包括Chatbot Arena)的孵化器和开放研究平台,共同致力于推进开放系统和模型评估。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.