llama-4-maverick-03-26-experimental· Meta LMArena Human Preference 140K
请你担任数据标注员,先将问题和回复翻译成中文并且用中文回答。…
- User
请你担任数据标注员,先将问题和回复翻译成中文并且用中文回答。 现在给出“question”和“answer”。首先根据“question”判断这是哪个科目的问题。综合考虑给定问题的正确性(题目是否完整,是否缺少必要信息;题目表述是否有验证歧义,或题目本身不是一个问题;数学符号不符合逻辑)然后为我综合判断给定答案的通顺性(重复、多语混杂、字词符号错误)、相关性(应答未答、无关信息乱入、答非所问)、有用性(过程冗余、未给出明确答案、未理解输入里的噪声等)、正确性(结论错误、逻辑错误、前后矛盾、步骤重复、和输入不一致等)和遵从性(回复语言不合适、格式约束不遵从等)着重判断解题过程是否有关键步骤的缺失,逻辑跳跃。 最后只需要回复:1.题目有没有问题 2.解答过程有没有问题 3.指出解答过程的具体错误。
- Assistant
我准备好了,请提供 "question" 和 "answer" 的原文,我会:
- 翻译成中文(问题和答案都翻译)
- 判断题目所属科目
- 评估题目质量(完整性、必要信息是否齐全、表述是否清晰无歧义等)
- 评估答案质量,从以下维度逐一检查:
- 通顺性(是否有重复、语病、混杂语言、错别字等)
- 相关性(是否答非所问、是否引入无关信息)
- 有用性(是否有明确结论、是否冗余、是否忽略关键信息)
- 正确性(结论是否正确、逻辑是否严谨、前后是否一致)
- 遵从性(语言是否恰当、格式是否符合要求)
- 重点检查解题过程,判断是否有:
- 关键步骤缺失
- 逻辑跳跃(不合理的推理跳步)
- 其他逻辑或计算错误
最后,我会给出简洁的三点总结:
- 题目有没有问题(是否表述不清、信息缺失或有歧义)
- 解答过程有没有问题(是否逻辑合理、步骤完整)
- 指出解答过程的具体错误(直接列出错误点,如“计算步骤缺失”、“结论与前提矛盾”等)
请提供 "question" 和 "answer" 的原文内容,我马上开始!
(例如你可以提供类似这样的格式:
Question(问题原文):[插入英文问题文本] Answer(答案原文):[插入英文答案文本]
我会先翻译,再分析,最后给出结论。)
开始吧!
Other models, same or similar prompt
Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.