Skip to content
TheChatArchiveThe Chat Archive
Claudeclaude-3-5-haiku-20241022· AnthropicHugging Face LMArena Human Preference 140K

我现在做了一套测试大纲、测试用例生成的软件,功能描述如下: 这个AI软件是根据项目的测试需求辅助撰写测试大纲中关于测试项的内容和对应的为测试用例集。…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with o3-2025-04-16’s answer.
  1. User

    我现在做了一套测试大纲、测试用例生成的软件,功能描述如下: 这个AI软件是根据项目的测试需求辅助撰写测试大纲中关于测试项的内容和对应的为测试用例集。 测试大纲中包含了多个测试项,每个测试项下有<测试项所属层级>、<测试项名称>、<需求描述>、<专家提示>、<测试项描述>、<测试方法>、<通过准则>这几个字段,其中<测试项名称>、<需求描述>、<专家提示>由用户给出,<测试项描述>、<测试方法>、<通过准则>需要生成。 所有的测试项均根据类型进行了分级管理,第一级按需求类型型分,包括功能、性能、接口、边界、安全性、余量、恢复性、容量、安装行、人机交互界面、强度、兼容性、可靠性等方面的测试;后面的分级一般以被测子系统、具体功能等作为标准,实际情况以<测试项所属层级>提供的信息为准。 每个测试项对应多个测试用例,每个测试用例包含<用例名称称>、<输入和步骤>、<预期输出>这几个字段,都需要这个系统生成;这些字段的生成依赖于对应测试项中<测试项名称>、<需求描述>、<测试方法>这几个字段的信息。 另外我再补充一些信息,可以看出,后续内容的生成主要依赖于<需求描述>中的信息,其余的初始字段都是比较固定的,另外一个需要注意的地方就是使用这个系统的测试人员很多,不同的人提供的<需求描述>质量参差不齐。 请你考虑以上信息,帮我设计一个实验,能够充分反映出测试人员使用和不使用这个AI软件完成工作的速度和质量上的差别,要求设计的实验尽量不要影响本来的工作,比如是否可以不让同一个人使用或者不使用这个软件来写同一个内容,而是通过字数之类的方式来统计出一个差别。

  2. Claude Assistant

    针对您描述的AI测试大纲和测试用例生成软件,我设计了一个多维度的对比实验方案,旨在客观评估该软件对测试工作效率和质量的影响:

    实验设计方案:

    1. 实验对象选择
    • 选择20-30名不同经验级别的软件测试人员
    • 覆盖初级、中级和高级测试工程师
    • 确保样本具有代表性和多样性
    1. 实验分组
    • 将测试人员随机分为两组:
      • A组:使用AI辅助生成测试大纲和用例
      • B组:传统手工方式撰写测试大纲和用例
    1. 评估指标
    • 时间效率

      • 记录完成测试大纲和用例的总时间
      • 统计每个测试项和测试用例的平均生成时间
    • 内容质量

      • 通过专家评审方式,从以下维度评分:
        • 测试覆盖度
        • 测试用例的完整性和准确性
        • 需求对应程度
        • 逻辑性和系统性
    • 文本量化指标

      • 统计测试大纲和用例的:
        • 总字数
        • 平均每个测试项字数
        • 平均每个测试用例字数
    1. 实验流程
    • 准备多个不同类型和复杂程度的测试需求场景
    • 每个场景分别由A、B两组完成
    • 场景选择应包括:
      • 功能测试
      • 性能测试
      • 接口测试
      • 安全性测试
      • 边界测试
    1. 数据收集方法
    • 使用统一的在线记录系统
    • 自动记录:
      • 操作耗时
      • 文本生成量
    • 专家评审组进行盲审,不知道文档来源
    1. 控制变量
    • 所有测试人员接受相同的简短培训
    • 提供统一的需求描述模板
    • 确保测试场景难度和复杂程度一致
    1. 统计分析
    • 使用t检验或方差分析比较两组差异
    • 计算:
      • 时间节省百分比
      • 质量提升幅度
      • 不同经验级别的差异
    1. 伦理和可靠性考虑
    • 匿名处理
    • 获得参与者知情同意
    • 多轮实验验证结果一致性

    预期成果:

    • 量化AI辅助工具对测试工作的具体改进
    • 识别AI工具在不同测试类型中的适用性
    • 为测试团队提供数据支持的决策参考

    这个实验设计通过多维度、客观的方法,避免了让同一人重复工作的问题,同时能全面评估AI测试大纲生成软件的实际价值。

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.