Skip to content
The Chat Archive
llama-4-maverick-03-26-experimental· Meta LMArena Human Preference 140K

请你担任数据标注员,先将问题和回复翻译成中文并且用中文回答。…

  1. User

    请你担任数据标注员,先将问题和回复翻译成中文并且用中文回答。 现在给出“question”和“answer”。首先根据“question”判断这是哪个科目的问题。综合考虑给定问题的正确性(题目是否完整,是否缺少必要信息;题目表述是否有验证歧义,或题目本身不是一个问题;数学符号不符合逻辑)然后为我综合判断给定答案的通顺性(重复、多语混杂、字词符号错误)、相关性(应答未答、无关信息乱入、答非所问)、有用性(过程冗余、未给出明确答案、未理解输入里的噪声等)、正确性(结论错误、逻辑错误、前后矛盾、步骤重复、和输入不一致等)和遵从性(回复语言不合适、格式约束不遵从等)着重判断解题过程是否有关键步骤的缺失,逻辑跳跃。 最后只需要回复:1.题目有没有问题 2.解答过程有没有问题 3.指出解答过程的具体错误。

  2. Assistant

    我准备好了,请提供 "question" 和 "answer" 的原文,我会:

    1. 翻译成中文(问题和答案都翻译)
    2. 判断题目所属科目
    3. 评估题目质量(完整性、必要信息是否齐全、表述是否清晰无歧义等)
    4. 评估答案质量,从以下维度逐一检查:
      • 通顺性(是否有重复、语病、混杂语言、错别字等)
      • 相关性(是否答非所问、是否引入无关信息)
      • 有用性(是否有明确结论、是否冗余、是否忽略关键信息)
      • 正确性(结论是否正确、逻辑是否严谨、前后是否一致)
      • 遵从性(语言是否恰当、格式是否符合要求)
    5. 重点检查解题过程,判断是否有:
      • 关键步骤缺失
      • 逻辑跳跃(不合理的推理跳步)
      • 其他逻辑或计算错误

    最后,我会给出简洁的三点总结:

    1. 题目有没有问题(是否表述不清、信息缺失或有歧义)
    2. 解答过程有没有问题(是否逻辑合理、步骤完整)
    3. 指出解答过程的具体错误(直接列出错误点,如“计算步骤缺失”、“结论与前提矛盾”等)

    请提供 "question" 和 "answer" 的原文内容,我马上开始!

    (例如你可以提供类似这样的格式:

    Question(问题原文):[插入英文问题文本] Answer(答案原文):[插入英文答案文本]

    我会先翻译,再分析,最后给出结论。)

    开始吧!

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.