Skip to content
The Chat Archive
claude-3-5-sonnet-20241022· Anthropic LMArena Human Preference 140K

开源模型会在lmarena以匿名形式出现吗?

  1. User

    开源模型会在lmarena以匿名形式出现吗?

  2. Assistant

    是的,开源模型也会以匿名形式出现在 LMSYS Arena 中。这种情况主要有以下几种场景:

    1. 新开源模型发布前的测试
    • 比如 Meta 在正式发布新版 Llama 前的测试
    • 清华、复旦等高校和研究机构发布自研模型前的评估
    • 像 Mistral AI 这样的开源公司在发布新模型前的性能验证
    1. 开源模型的特殊微调版本
    • 社区开发者对基座模型进行特定领域微调后的测试
    • 研究人员尝试新的训练方法后的效果验证
    • 商业公司基于开源模型开发的闭源版本测试
    1. 开源模型的多语言变体
    • 针对特定语言优化后的版本测试
    • 跨语言能力增强后的版本验证

    识别这类匿名开源模型的特征:

    • 通常安全护栏较少
    • 回答风格更直接、开放
    • 可能存在明显的知识截止期
    • 某些特定任务表现突出,但综合能力可能不如闭源大模型

    不过开源模型参与匿名测试的频率确实比商业巨头要低一些,主要原因是:

    • 开源社区更倾向于直接公开发布和测试
    • 资源限制导致难以长期支撑在线服务
    • 商业价值和营销需求相对较小

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.