搜一下llama4的争议全流程,造假?
- User
搜一下llama4的争议全流程,造假?
Assistant
关于 Llama 4 的争议,主要围绕其发布后的实际表现、基准测试结果以及是否存在“造假”或“刷榜”行为展开。以下是争议的全流程梳理:
1. 发布与初步反响:
- Meta 在2025年4月5日(一些报道是4月6日)发布了 Llama 4 系列模型,包括 Llama 4 Scout 和 Llama 4 Maverick,并声称在多模态能力和性能上有所提升,尤其强调了 Maverick 版本在多项基准测试中超越了竞争对手,如 GPT-4o 和 Gemini 2.0 Flash,并在推理和编码方面与 DeepSeek V3 相当。
- Llama 4 Maverick 在发布后迅速登上了 Chatbot Arena 排行榜的第二名,仅次于 Google 的 Gemini 2.5 Pro,引起了广泛关注和期待。[4][5]
2. 社区实测与质疑:
- Llama 4 开源首日,社区用户进行实测后发现其代码能力表现极差,甚至不如 GPT-4o。 例如,在模拟小球在旋转多边形弹跳的动画测试中,Llama 4 生成的小球运动不符合物理规律。[6][7][8]
- 部分用户在 Reddit、X 等社交平台表达了失望,指出 Llama 4 在编程能力上的不足。[4][5][7] 有用户认为,考虑到 Maverick 402B 的参数量,其编码能力仅与参数量小得多的模型相当。[4][5][7]
- 尽管官方宣称 Llama 4 Scout 具有业界领先的千万 token 上下文长度,但实测显示其在长文本任务处理上表现不佳,甚至不及 Gemini 2.0 Flash。[9][7][10]
3. “造假”和“刷榜”指控:
- 海外论坛“一亩三分地”出现自称参与 Llama 4 训练的内部员工爆料,称 Llama 4 内部模型性能未能达到开源顶尖水平(SOTA),为了赶在截止日期前交出“好看”的成绩单,公司领导层建议在后训练阶段将多个 benchmark 测试集混入训练数据中,以短期提升指标。 这被比喻为“考试作弊”。[7]
- 这位内部员工表示无法接受这种做法,并因此辞职,甚至要求不在 Llama 4 技术报告中署名。[6]
- 有科技媒体也发文质疑 Llama 4 的性能测试存在误导性。[11][12][13]
- 社区发现,Meta 提交到 LM Arena 进行评测的版本“Llama-4-Maverick-03-26-Experimental”是经过偏好微调的“实验性聊天版本”,而非开源的正式版本,这引发了关于是否利用 Chatbot Arena 进行“刷榜”和营销的争议。[4][9][5]
4. Meta 的回应与澄清:
- 针对舆论和质疑,Meta AI 部门副总裁 Ahmad Al-Dahle 在4月8日凌晨发文回应,否认在测试集上进行了预训练,称“开卷作弊”纯属无稽之谈。
- 他解释说,不同服务中模型质量存在差异是由于模型一准备好就发布了,公开的应用实现需要时间进行优化调整,团队会尽快修复漏洞并提升性能。[11][15][13]
- 参与 Llama 4 项目的研究科学家经理 Licheng Yu 也实名否认了使用测试集进行后训练刷分的说法。[4]
- Meta 表示会继续加强与社区沟通,分享更多技术文档和博客以消除误解。[15]
5. 评估机构的反应:
- 面对社区的质疑,Chatbot Arena 于4月8日发布声明,表示将公开2000多场真人对比测试的完整数据,并指出 Meta 应该更清楚地表明“Llama-4-Maverick-03-26-Experimental”是针对人类偏好进行优化的定制化模型。 Chatbot Arena 更新了排行榜规则,强调测试结果的可复现性和可信赖性,以避免此类混淆再次发生。[9][5]
- 《Artificial Analysis》也调整了其“Llama 4 智能指数”,修正了 Meta 在 MMLU Pro 和 GPQA Diamond 测试中的一些夸张成绩。[9]
6. 争议的背后原因:
- 分析认为,Llama 4 争议的深层原因不在于“造假”,而在于开源大模型竞争加剧下的“失速”。 DeepSeek 等其他开源模型的崛起加速了竞争,给作为“开源领导者”的 Llama 带来了更大压力。[4][5][17]
- Meta 可能为了赶上内部设定的截止日期,导致 Llama 4 在参数规模膨胀和架构复杂化的同时,没有足够的测试和改进时间,从而导致发布后性能不稳定。[4]
- 尽管 Meta 高管否认了使用测试集进行训练,但承认了 Llama 4 在性能上存在需要优化的问题。[4]
总结: Llama 4 的争议始于发布后用户实测表现远低于官方宣称的基准测试结果,尤其在代码能力和长文本处理上表现不佳。随后,有内部员工爆料称公司为了赶进度和达到 SOTA 指标,可能在训练后期混入了测试集数据。尽管 Meta 官方对此予以否认,并解释性能差异是由于发布仓促和应用实现需要优化,但定制化版本在评测榜单上的表现以及随后的社区和评估机构的回应,使得“刷榜”和透明度问题成为争议焦点。这次事件暴露出在大模型竞争白热化下,赶进度和追求表面数据可能带来的问题,也引发了关于开源模型评估和诚信的讨论。[6][4][11]
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.