Skip to content
TheChatArchiveThe Chat Archive
o3-2025-04-16· OpenAIHugging Face LMArena Human Preference 140K

我现在做了一套测试大纲、测试用例生成的软件,功能描述如下: 这个AI软件是根据项目的测试需求辅助撰写测试大纲中关于测试项的内容和对应的为测试用例集。…

From a Chatbot Arena battleThe same person sent this prompt to two anonymous models at once. Compare it with Claudeclaude-3-5-haiku-20241022’s answer.
  1. User

    我现在做了一套测试大纲、测试用例生成的软件,功能描述如下: 这个AI软件是根据项目的测试需求辅助撰写测试大纲中关于测试项的内容和对应的为测试用例集。 测试大纲中包含了多个测试项,每个测试项下有<测试项所属层级>、<测试项名称>、<需求描述>、<专家提示>、<测试项描述>、<测试方法>、<通过准则>这几个字段,其中<测试项名称>、<需求描述>、<专家提示>由用户给出,<测试项描述>、<测试方法>、<通过准则>需要生成。 所有的测试项均根据类型进行了分级管理,第一级按需求类型型分,包括功能、性能、接口、边界、安全性、余量、恢复性、容量、安装行、人机交互界面、强度、兼容性、可靠性等方面的测试;后面的分级一般以被测子系统、具体功能等作为标准,实际情况以<测试项所属层级>提供的信息为准。 每个测试项对应多个测试用例,每个测试用例包含<用例名称称>、<输入和步骤>、<预期输出>这几个字段,都需要这个系统生成;这些字段的生成依赖于对应测试项中<测试项名称>、<需求描述>、<测试方法>这几个字段的信息。 另外我再补充一些信息,可以看出,后续内容的生成主要依赖于<需求描述>中的信息,其余的初始字段都是比较固定的,另外一个需要注意的地方就是使用这个系统的测试人员很多,不同的人提供的<需求描述>质量参差不齐。 请你考虑以上信息,帮我设计一个实验,能够充分反映出测试人员使用和不使用这个AI软件完成工作的速度和质量上的差别,要求设计的实验尽量不要影响本来的工作,比如是否可以不让同一个人使用或者不使用这个软件来写同一个内容,而是通过字数之类的方式来统计出一个差别。

  2. Assistant

    下面给出一套“尽量不干扰原有工作流”的实验设计方案,帮助你量化 AI ⼯具对测试人员在「效率」与「质量」上的提升幅度。整个思路是在真实的日常任务中“顺手”采集数据,而不是额外安排一堆练习题。


    1. 实验目标与假设

    维度具体指标零假设 H0备择假设 H1
    速度(效率)人均完成一个测试项 & 其测试用例所花时间AI 与手工无差异AI 显著节省时间
    质量评审打分、缺陷覆盖率、字段完整性等AI 与手工无差异AI 生成结果显著更高 / 不低于手工

    2. 关键自变量与分层思路

    1. 使用方式:
      • A 组:AI 辅助(生成后可人工微调)
      • B 组:纯手工
    2. 需求描述质量:
      • 高质量(描述清晰、结构化)
      • 低质量(描述简短甚至含糊)
    3. 测试人员能力:
      • 初级 / 中级 / 高级

    说明:对 2、3 做分层随机分配,保证 A/B 组在“需求难度”与“个人水平”上近似均衡。


    3. 实验设计 —— “交叉 + 拉丁方”思路

    1. 选取 N 个真实项目/模块,每个模块包含若干测试项。
    2. 将每个模块内的测试项随机分成两半:
      • 一半走 AI 流程
      • 一半走手工流程
      这样 同一名测试人员不会在同一个测试项上同时做 AI 和手工,避免相互影响。但他仍同时体验两种方式,对比更直观。
    3. 用拉丁方或简单“交叉矩阵”确保:
      • 每个人既做 AI 任务,也做手工任务;
      • 每个模块同时被不同水平测试人员覆盖;
      • 需求描述的高/低质量在两种方式下都有出现。
    4. 全程使用 工作量统计插件/表单 记录每个测试项的开始-提交时间戳,实现“零打扰”计时。

    4. 实施步骤

    1. 准备阶段
      a. 抽取最近 24 周要做的若干真实模块,累计 100200 个测试项作为样本。
      b. 对需求描述做“粗分级”,标注高/低质量(可邀 2 名资深人员快速打标签)。
      c. 配置 Jira / 禅道 / 内部平台字段:记录「开始时间」「结束时间」「使用方式(AI/手工)」。
    2. 分配任务
      a. 用脚本 or Excel 把任务按“测试员 × 使用方式 × 描述质量 × 模块”生成分配表。
      b. 任务下发时自动备注“请使用 AI”或“请手工”。
    3. 记录过程
      • AI 组:复制 AI 输出→如需修改→提交;
      • 手工组:正常写;
      • 系统自动采集耗时。
    4. 盲评质量
      • 评审人不看“使用方式”字段,按统一 Rubric 打分:
      • 完整性(字段是否缺失)
      • 准确性(测试方法/通过准则合理性)
      • 可读性/一致性
        • 或统计上线后发现的漏测缺陷数。

    5. 评价指标与计算

    指标度量方式说明
    平均耗时 T̅(结束-开始)/测试项同一人做 AI 与手工的差值 ΔT
    完整率 C填写完整字段数 / 应有字段数AI 常见漏填?
    评审得分 S1–5 Likert 或百分制由 2-3 名资深人员独立评分,取平均
    缺陷覆盖率 D(后续检测到的缺陷数) / (总缺陷)可选,需要上线数据

    统计方法:
    • 正态近似 → 配对 t-test(同人不同方式)或 ANOVA(分层因素)
    • 非正态 → Wilcoxon 或 Friedman test


    6. 样本量粗估

    假设希望检测到 AI 至少提升 25% 的速度(效应量 d≈0.5),α=0.05,功效=0.8,配对设计下大概需要 34–40 名测试项对(≈4–6 人 × 每人 8–10 个任务)。用 G*Power 或 Python statsmodels 可再精算。


    7. 结果呈现

    1. 箱线图:AI vs Manual 在不同需求质量、不同水平人员下的耗时/得分分布。
    2. 效应量表:Cohen’s d, Cliff Δ。
    3. 结论:
      • 若 p<0.05 → 拒绝 H0,AI 提升显著;
      • 同时报告置信区间,供管理层决策。

    8. 实验风险与缓解

    风险影响缓解措施
    测试员忘记切换“使用方式”数据污染通过平台自动锁定字段,或二次确认
    需求拆分颗粒不一致影响耗时可比性预先模板化测试项大小,或用 LOC/字数作协变量
    评审主观差异大质量得分波动双盲多评审 + ICC 一致性检验
    AI 输出需微调导致时间不准实际效益被低估计时从「调用 AI 前」开始,直到最终提交

    9. 实验后续 & 持续改进

    • 将实验结果沉淀成 ROI 报告,若 AI 显著利好,可推广至更多团队。
    • 分析失败用例,反向优化 AI Prompt 或微调模型。
    • 建立常态化监控:每周自动拉取同类指标,形成 Dashboard。


    小结

    这套“交叉+拉丁方”实验做到:

    1. 同一测试员同时体验两种方式,但不在同一测试项里“重复劳动”,几乎不额外占用产能。
    2. 自动化采集耗时 & 盲评质量,客观量化 AI 带来的速度、质量提升。
    3. 兼顾了需求描述质量、人员能力等实际差异,使结论更具说服力。

    祝实验顺利,早日把数据摆在老板面前 🎉

Responses were produced in different, uncontrolled contexts (system prompts, settings, prior turns). This is not a benchmark.