1范围 1.1标识 (1)本文档标题:基于知识图谱检索-知识点向量融合的知识推荐模型测试大纲;…
- User
1范围 1.1标识 (1)本文档标题:基于知识图谱检索-知识点向量融合的知识推荐模型测试大纲; (2)本文档适用的被测对象名称和版本:知识图谱检索-知识点向量融合的知识推荐模型V1.0。 1.2任务概述 北京计算机技术及应用研究所依据国家重点研发计划课题《国家重点研发计划“金融犯罪检察办案知识服务与资金电子数据证据审查关键技术研究”项目任务书》进行科研课题研究,并开发基于知识图谱检索-知识点向量融合的知识推荐模型,测试组受北京计算机技术及应用研究所委托进行科研课题测试,验证基于知识图谱检索-知识点向量融合的知识推荐模型是否实现《国家重点研发计划“金融犯罪检察办案知识服务与资金电子数据证据审查关键技术研究”项目任务书》任务书中的技术指标要求。 1.2.1课题研究内容 (1)中期指标 指标2.8:基于知识图谱检索-知识点向量融合的知识推荐模型。 完成基于知识图谱检索-知识点向量融合的知识推荐模型1个,涵盖已经完成案件要素数据字典的6个罪名的主要案件类型;知识推荐置信度不低于80%。 (2)研究内容 研究面向案件犯罪事实、证据要点和争议焦点的金融司法知识精准推荐算法,针对金融犯罪联邦式知识图谱,通过知识图谱表示学习方法学习案件要素知识并融合知识点的文本向量,构建知识图谱检索-知识点向量融合的知识推荐模型,实现针对金融犯罪案件要素数据字典的法律知识、金融知识和案例知识的精准推荐。 (3)关键技术 利用自然语言处理、知识图谱、机器学习等人工智能技术,由传统的单一需求检索和关键词匹配模式转变为面向办案场景化感知和案件相关的智能知识服务。构建基于金融犯罪司法知识图谱和图神经网络表示学习方法的司法知识推荐模型。该模型通过融合知识图谱检索与知识点向量,能够针对法律知识、金融知识和案例知识的精准推荐。在对业务场景有充分感知的前提下,模型可以主动推送与案件要素和办案疑难点相关的精准司法知识。 (4)成果形式 形成多源知识表示融合的司法知识推荐模型。 1.2.2验收测试准则 依据国家重点研发计划课题《金融犯罪检察办案知识服务与资金电子数据证据审查关键技术研究》任务书,测试组针对测试项2.8进行测试或审查。验收准则如下: 表1-1 依据和引用文件 文档名称 发布日期 颁布/来源单位 国家重点研发计划“金融犯罪检察办案知识服务与资金电子数据证据审查关键技术研究”项目任务书 2022年3月 中华人民共和国科学技术部 1.3文档概述 本文档是针对《国家重点研发计划“金融犯罪检察办案知识服务与资金电子数据证据审查关键技术研究”项目任务书》课题的知识图谱检索-知识点向量融合的知识推荐模型验收测试需求分析和策划工作的总结,文档说明了本次测试的测试策略、测试技术和方法、测试环境、测试工作产品、测试任务结束条件、被测软件的评价准则和方法、测试进度和测试风险等,明确了需要的测试类型以及所包含的测试项,以及需求追溯关系,用于指导后续开展测试工作实施。 附录部分包括附录A 验收测试用例集。 1.4被测对象概述 本验收测试的被测对象为基于知识图谱检索-知识点向量融合的知识推荐模型V1.0。 1.4.1功能概述 基于知识图谱检索-知识点向量融合的知识推荐模型是一种基于深度学习的技术,它能够将在办案件信息和候选案件集信息与司法知识图谱中的知识点进行融合,并通过向量表示知识点融合注意力网络从而实现对在办案件的知识推荐。 该模型的主要功能知识推荐模型:该模型可以将案件信息结合知识图谱中的知识点表示为案件表示向量,使得案件信息可以被有效地检索。可以通过知识图谱对在办案件和候选案件之间的关系进行建模,从而实现对案件的知识推荐。
图1-1 模型结构图 1.4.2评估指标 基于知识图谱检索-知识点向量融合的知识推荐模型的推荐置信度为归一化折损累计增益(NDCG),它是一种考虑了返回顺序的评价指标,公式如下,取值范围为[0, 1],值越大,推荐效果越好。
其中,DCG@K是折损累计增益(DCG)在考虑到排序顺序的因素,使排名靠前案例的累计增益(CG)更高,对排名靠后的进行折损计算。IDCG@K是理想的折损累计增益(IDCG),是一个完美状态。两者计算公式如下:
其中,reli是指推荐列表第i个结果的真实相关性分数,|REL|表示按照reli真实相关性从大到小排序,取前K项结果组成的集合,即按照最优的排序方式对结果进行排序。 1.4.3被测对象总体情况 本次验收测试的被测对象及其相关信息见表1-1。 表1-1 被测对象总体情况 软件产品代号 402-02-04-02 软件产品名称 知识图谱检索-知识点向量融合的知识推荐模型 版本 V1.0 关键等级 开发环境 Python 运行环境 UOS 20 2依据和引用文件 本验收测试大纲所依据和引用的文件见表2-1。 表2-1 依据和引用文件 文档名称 发布日期 颁布/来源单位 国家重点研发计划项目任务书 2021 中华人民共和国科学技术部 填表说明:依据和引用文件的排列顺序为:国家标准/国家军用标准、行业标准、规范、技术文档等。 3测试技术及方法 采用黑盒测试的方式验证指标2.8。黑盒测试作为一种软件测试方法,测试者不了解程序的内部情况,不需具备应用程序的代码、内部结构和编程语言的专门知识。只知道程序的输入、输出和系统的功能,这是从用户的角度针对软件界面、功能及外部结构进行测试,而不考虑程序内部逻辑结构。测试案例是依应用系统应该做的功能,照规范、规格或要求等设计。测试者选择有效输入和无效输入来验证是否正确的输出。 4测试环境 4.1测试环境概述 测试环境采用远程服务器测试,通过显示平台调用命令,在服务器上完成推荐任务以及推荐模型的评估指标计算。
图4-1 测试环境示意图 4.2软件项 本次测试拟使用的软件项见表4-1: 表4-1 测试环境拟使用的软件项 序号 分类 软件项名称及版本 用途 1 操作系统 Uos 20 系统资源、操作界面 2 测试工具软件 Python 3.7 测试软件 3 库文件 transformers 4.1.2 模型构建库 4.3硬件和固件项 本次测试拟使用的硬件和固件项见表4-2。 表4-2 测试环境拟使用的硬件和固件项 序号 分类 硬件和固件名称 用途 1 服务器 天玥机架式服务器 SR124210 服务器 2 显示器 1080p联想显示屏 显示系统界面 3 主机 联想P320 Windows 10 主机 4.4安装、测试与控制 本次知识图谱检索-知识点向量融合的知识推荐模型测试工作测试环境建立经过使用确认,其中: 硬件环境:天玥服务器一台,2T存储空间,128G内存。 部署方式:安装和配置Docker。运行Docker容器,确认容器是否正确运行和配置,以及对应的测试镜像内容。 5测试需求分析 5.1测试级别与测试类型 本次测试项为基于知识图谱检索-知识点向量融合的知识推荐模型V1.0测试,测试级别为模型算法测试。 本次测试的测试类型,基于知识图谱检索-知识点向量融合的知识推荐模型测试类别是功能测试。 5.2知识图谱检索-知识点向量融合的知识推荐模型V1.0测试项说明 依据国家重点研发计划课题《国家重点研发计划“金融犯罪检察办案知识服务与资金电子数据证据审查关键技术研究”项目任务书》,经过测试需求分析,共提取测试需求1项,具体见表5-1。 表5-1 软件测试项一览表 序号 测试项名称 测试项标识 优先级 1 知识图谱检索-知识点向量融合的知识推荐模型 2.8 高 填表说明:测试项分级应具体到最深层,如文档审查的测试项可以是:齐套性性审查、完整性审查、一致性审查;代码审查的测试项可包括:中断审查、接口分析、算法核验等;动态测试的测试项视被测软件实际情况而定。 以下分节对所有测试项(表5-1中定义)的测试内容、测试要求、充分性要求进行描述。测试用例集见附录 A。 5.2.1知识图谱检索-知识点向量融合的知识推荐模型测试项 知识图谱检索-知识点向量融合的知识推荐模型测试项定义和测试充分性要求见表5-2。 表5-2 知识图谱检索-知识点向量融合的知识推荐模型测试 测试项名称 知识图谱检索-知识点向量融合的知识推荐模型 测试项标识 2.8 追踪关系 测试项描述 完成基于知识图谱检索-知识点向量融合的知识推荐模型1个,涵盖已经完成案件要素数据字典的6个罪名的主要案件类型;知识推荐置信度不低于80%。 软件设计约束
测试 类型 性能 测试 测试应覆盖以下内容: 1)完成基于知识图谱检索-知识点向量融合的知识推荐模型1个,知识推荐置信度不低于80%。 2)挑选六个罪名:非法吸收公众存款罪、集资诈骗罪、骗取贷款罪、贷款诈骗罪、非法经营罪(非法支付结算)、洗钱罪的不少于500个案件的司法知识相关数据,标注其中司法知识并由业务专家审查。 3)同行专家评审。 4)形成评审报告。 6研究内容、关键技术、技术指标和成果形式与测试设计对照表 依据验收测试要求进行了全面的需求分析,分解的测试项能够覆盖课题研究相关合同要求,其追溯关系见表6-1。表6-1研究内容、关键技术和成果形式与测试设计对照表。 表6-1 测试 序号 分类 合同要求 对应的测试项 1 研究内容 研究面向案件特征的金融犯罪司法知识精准推荐技术 测试项2.8 2 关键技术 基于知识图谱检索知识点向量融合的知识推荐模型 测试项2.8 3 成果形式 多源知识表示融合的司法知识推荐模型 测试项2.8 7测试工作产品 按照测评需求的要求,列出本次测试过程中应产生的工作产品。本项目测试过程中产生的工作产品见下表。 表7-1 测试工作产品清单 序号 标识 名称 1 402-02-MX-04-02 多源知识表示融合的司法知识推荐模型 8问题分类及处理 在软件测试过程中,包括文档审查、代码审查、动态测试,如果发现软件问题,应及时填写软件问题报告单。对发现的软件问题按其来源分成五类, 即设计问题、文档问题、程序问题、规范性问题和其它问题,具体说明见表8-1。 表8-1 软件问题分类 问题类别 解释说明 设计问题 文档要求与程序实现一致,但执行结果错误。 文档问题 文档要求与程序实现不一致,但程序实现正确,文档要求错误。 程序问题 文档要求与程序实现不一致,但文档要求正确,程序实现错误;或没有详细到具体程序代码细度的文档要求,但程序代码错误。 规范性问题 文档编写中的排版格式、文字、章节图表序号等非功能性的问题;或程序代码中编程风格、注释、不影响软件功能的编程准则违背等非功能性的问题。 其他问题 上述问题以外的问题。 对发现的软件问题进行分级,问题级别分成四级,具体说明见表8-2。 表8-2 软件问题分级 问题级别 描述 关键 可能导致软件任务使命无法完整完成的软件问题,或导致软件任务使命完成受到部分影响的软件问题。 重要 虽然不影响软件任务使命的完成,但对软件的功能、性能、可靠性、安全性等重要质量特性有影响的软件问题;或难以断定软件的外在影响,但程序代码本身存在严重性缺陷的软件问题。 一般 虽然不影响软件的功能、性能、可靠性、安全性等重要质量特性,但对软件的易用性、效率等一般质量特性有影响的软件问题;或难以断定软件的外在影响,但程序代码本身存在非严重性缺陷的软件问题。 建议 对软件使用无影响,但对软件的规范性、清晰性、易理解性等可进一步完善的问题,或其他建设性的意见。 对测试过程中发现的问题进行分析汇总,提交研制方进行问题确认,研制方应对问题进行解释,并提出处理意见(同意修改或不修改),对不修改问题说明理由。研制方根据处理意见对软件进行更改,测试方对更改后的软件完成更改确认和回归测试。 9测试进度及人员安排 本测评项目测试进度安排见表9-1。 表9-1 测试进度 序号 测试活动名称 开始日期 结束日期 负责人 参加人员 1 知识推荐模型测试 2023.05.01 2023.05.15 惠欣恒 陈炫言
附录 A 验收测试用例集 A.1 测试用例设计单 被测软件版本 知识图谱检索-知识点向量融合的知识推荐模型V1.0 测试用例名称 知识图谱检索-知识点向量融合的知识推荐模型类案推荐测试用例 测试用例标识 402-02-CS-04-02 测试追踪 测试说明 在数据测试中,推荐模型要求根据当前的案件基本要素推荐一组历史判例,这些数据应该是未知的,并且与训练数据集不同,进而评估推荐模型的性能 测试设计方法 测试方法采用离线评估:在离线评估阶段,使用指标F1分数作为模型评估指标。 1)数据预处理:将数据集划分为训练集和测试集,通常采用8:2或7:3的比例。 2)模型预测:使用训练好的模型,为测试集中的数据生成推荐列表。 3)模型评估:计算推荐列表与实际评分的准确率、召回率、F1分数等指标,用于衡量模型的性能。 测试用例 初始化 测试用例饿数据标注方案采用LeCaRD方式,即对案件数据根据”关键事实的相关程度“进行标注。具体标注如下: 非常相关:要件事实相关,且案情事实相关(label=3); 比较相关:要件事实相关,但案情事实不相关(label=2); 基本不相关:要件事实不相关,但案情事实相关(label=1); 完全不相关:要件事实不相关,且案情事实不相关(label=0)。 其中: “关键事实”是指:对于犯罪构成要件有意义的事实。关键事实包括要件事实和案情事实,要件事实是案情事实的法律评价。 “非关键事实”是指:没有该事实,或该事实不同,并不影响或者导致不同的量刑和定罪结论。 前提与约束 模型测试数据来源于课题一知识图谱以及相应的案件数据库 终止条件 测试过程 序号 输入及操作说明 期望测试结果 实际测试结果 1 { "id":"1022", "file_name":"8024a233-洗钱罪_2003_1970325245065144.txt", "result_list":[ { "target":"张某", "tags":[ { "type":"金额", "text":"人民币50万元" }, { "type":"贪污贿赂犯罪", "text":"贪污犯罪" }, { "type":"通过转账或者其他支付结算方式转移资金", "text":"协助资金转移" }, { "type":"故意", "text":"明知" }, { "type":"自首", "text":"自首" }, { "type":"提供资金帐户", "text":"提供资金账户" }, { "type":"通过转账或者其他支付结算方式转移资金", "text":"以转账方式协助资金转移。" }, { "type":"提供资金帐户", "text":"提供其本人银行账户及妻子朱某个人银行账户" }, { "type":"认罪认罚", "text":"自愿认罪认罚" }, { "type":"坦白", "text":"主动至公安机关,如实供述上述犯罪事实" } ] } ]} { "1022": { "1004": 1, "1015": 3, "1025": 1, "1045": 1, "1057": 2, "1075": 1, "1079": 3, "1086": 2, "1089": 1, "1092": 0, "1123": 0, "1127": 2, "1145": 2, "1158": 3, "1211": 1, "1219": 3, "1225": 3, "1235": 1, "1263": 2, "1270": 0, "1272": 3, "1316": 3, "1323": 0, "1329": 3, "1351": 3, "1430": 0, "1438": 1, "1458": 0, "983": 2, "992": 3 },} 注: "1022"表示需要查询的案件编号; ["1004": 1,…… 表示候选案件集的案件编号和针对案件"1022"对应的标注等级。
{"1022": [ "1015", "1316", "1272", "1057", "1158", "1086", "1089", "1263", "992", "1004", "1079", "1351", "1329", "1127", "1211", "1225", "1235", "1438", "983", "1458", "1219", "1075", "1145", "1025", "1045", "1092", "1270", "1323", "1430", "1123" ],} 注: 实际测试结果列表表示"1022"查询案件对应的候选推荐案件结果,按照知识推荐置信度排序。
注 1 :在同一个测试项目中,测试用例名称必须唯一; 注 2 :测试用例名称应尽量体现该测试用例的核心意图。 A.2 测试用例集示例 数据1 案件查询数据
数据2 案件候选数据集
数据3 案件期望结果
按照要求完成: 模型测试大纲内容: 1、研究内容 2、与系统或工具的关系(写清楚工具与系统间的关系,数据流转) 2、考核指标(功能与性能) 3、测试数据(测试数据来源,测试数据结构【11个罪名的分布】) 4、测试环境 5、测试工具 6、测试指标定义(指标定义与计算公式,多个指标的话需要分别列举) 7、测试方法 (1.写清楚如何使用指标定义,进行计算。2、测试步骤,接口调用说明或者截图说明,3、多个指标的测试方法需要分别说明)
- Assistant
模型测试大纲
1. 研究内容
本次研究旨在开发基于知识图谱检索-知识点向量融合的知识推荐模型。该模型针对金融犯罪领域的司法知识图谱,利用知识图谱表示学习方法学习案件要素知识,并融合知识点的文本向量,旨在实现针对金融犯罪案件要素数据字典的法律知识、金融知识和案例知识的精准推荐。
具体研究内容包括:
- 研究面向案件犯罪事实、证据要点和争议焦点的金融司法知识精准推荐算法。
- 针对金融犯罪联邦式知识图谱,构建知识图谱检索与知识点向量融合的知识推荐模型。
- 利用自然语言处理、知识图谱、机器学习等人工智能技术,实现对在办案件的知识推荐。
2. 与系统或工具的关系
模型与系统的关系:
知识推荐模型作为司法知识服务系统中的核心算法模块,与系统中的其他功能模块相互配合,共同实现对在办案件的司法知识精准推荐。
数据流转过程:
- 数据输入: 系统将在办案件的信息(包括案件基本情况、证据要点、争议焦点等)传递给知识推荐模型。
- 数据处理: 模型从司法知识图谱和候选案件集中获取相关的知识点和案例信息,对案件信息和知识点进行向量化表示。
- 模型计算: 通过融合注意力网络,对向量化的案件信息和知识点进行计算,生成知识推荐结果。
- 结果输出: 模型将推荐的法律知识、金融知识和案例知识,以及对应的置信度返回给系统。
- 结果展示: 系统接收模型输出的推荐结果,并呈现给用户。
工具与系统间的关系:
- Python 3.7: 作为主要的编程语言,用于开发模型和测试脚本。
- Transformers 4.1.2: 用于构建深度学习模型,进行知识点向量的表示和融合。
- 服务器环境: 部署模型和运行测试的硬件基础。
3. 考核指标(功能与性能)
功能指标:
- 开发完成一个基于知识图谱检索和知识点向量融合的知识推荐模型,能够实现对金融犯罪案件的法律知识、金融知识和案例知识的精准推荐。
- 模型覆盖已完成的案件要素数据字典,涵盖11个罪名的主要案件类型。
性能指标:
- 知识推荐置信度不低于80%,以归一化折损累计增益(NDCG@K)为评估指标。
- 模型在测试数据集上的推荐效果,准确率和召回率达到预期标准。
4. 测试数据
测试数据来源:
- 测试数据来自课题一构建的金融犯罪司法知识图谱和相关的案件数据库。
测试数据结构:
- 案件基本信息: 包括案件编号、案由、案件事实等。
- 案件要素: 涉案金额、犯罪手段、主观故意等要素信息。
- 关联知识点: 与案件相关的法律条文、司法解释和案例等。
- 标注的相关性等级: 专家对案件与知识点的相关性进行标注,等级为0-3。
11个罪名的分布:
- 非法吸收公众存款罪:X件
- 集资诈骗罪:X件
- 骗取贷款罪:X件
- 贷款诈骗罪:X件
- 非法经营罪(非法支付结算):X件
- 洗钱罪:X件
- 票据诈骗罪:X件
- 信用证诈骗罪:X件
- 保险诈骗罪:X件
- 证券诈骗罪:X件
- 期货诈骗罪:X件
(注:实际案件数量待填写)
测试数据量:
- 总计不少于500个案件的司法知识相关数据。
- 所有数据均经过业务专家标注和审查,确保数据质量。
5. 测试环境
硬件环境:
- 服务器: 天玥机架式服务器 SR124210
- 存储空间:2TB
- 内存:128GB
- 显示器: 1080p 联想显示屏
- 主机: 联想 P320,操作系统为 Windows 10
软件环境:
- 操作系统: UOS 20
- 编程语言: Python 3.7
- 深度学习框架: Transformers 4.1.2
- 其他库: NumPy、Pandas、PyTorch 等
测试环境搭建:
- 通过远程服务器进行测试,在服务器上部署模型和测试脚本。
- 使用显示平台和命令行工具,完成测试任务和指标计算。
6. 测试工具
- Python 3.7: 开发模型和测试脚本的主要语言。
- Transformers 4.1.2: 用于构建和训练深度学习模型。
- NumPy、Pandas: 数据处理和分析工具。
- PyTorch: 深度学习框架,支持模型的训练和推理。
- SSH 工具: 如 PuTTY 或 Xshell,用于远程连接服务器。
- 代码编辑器: 如 VSCode 或 PyCharm,用于编写和调试代码。
- 命令行工具: UOS 20 自带的终端,用于执行测试命令。
7. 测试指标定义
7.1 归一化折损累计增益(NDCG@K)
- 定义: NDCG 是一种考虑了推荐结果顺序的评价指标,用于衡量排序质量。
- 取值范围: [0, 1],值越大,推荐效果越好。
计算公式:
[ NDCG@K = \frac{DCG@K}{IDCG@K} ]
- DCG@K(折损累计增益):
[ DCG@K = \sum_{i=1}^{K} \frac{2^{rel_i}-1}{\log_2(i+1)} ]
- IDCG@K(理想折损累计增益): 推荐结果按照相关性从高到低排序,计算得到的 DCG 值。
7.2 准确率(Precision@K)
- 定义: 在前 K 个推荐结果中,相关结果所占的比例。
计算公式:
[ Precision@K = \frac{\text{相关的推荐结果数量}}{K} ]
7.3 召回率(Recall@K)
- 定义: 在所有相关结果中,被推荐的比例。
计算公式:
[ Recall@K = \frac{\text{相关的推荐结果数量}}{\text{数据集中所有相关结果的数量}} ]
相关性评分(rel_i)取值:
- 3:非常相关
- 2:比较相关
- 1:基本不相关
- 0:完全不相关
8. 测试方法
8.1 指标计算方法
8.1.1 NDCG@K 的计算
- 模型输出: 对每个查询案件,模型生成一个候选案件推荐列表,列表长度为 K。
- 相关性评分: 根据人工标注的相关性评分,为每个推荐结果赋予 rel_i 值。
- 计算 DCG@K:
[ DCG@K = \sum_{i=1}^{K} \frac{2^{rel_i}-1}{\log_2(i+1)} ]
- 计算 IDCG@K:
- 将相关性评分按从高到低排序,得到理想的推荐顺序。
- 计算理想顺序下的 DCG 值,即为 IDCG@K。
- 计算 NDCG@K:
[ NDCG@K = \frac{DCG@K}{IDCG@K} ]
8.1.2 准确率和召回率的计算
- 准确率 Precision@K:
[ Precision@K = \frac{\text{相关的推荐结果数量}}{K} ]
- 召回率 Recall@K:
[ Recall@K = \frac{\text{相关的推荐结果数量}}{\text{数据集中所有相关结果的数量}} ]
8.2 测试步骤
-
准备阶段:
- 数据准备: 将测试数据集上传至服务器,确保数据格式正确。
- 模型部署: 在服务器上部署知识推荐模型。
-
运行模型:
- 输入案件: 通过命令行或脚本,将查询案件输入模型。
- 生成推荐: 模型输出 Top-K 推荐结果,保存结果列表。
-
结果评估:
- 计算指标: 使用上述公式计算 NDCG@K、Precision@K 和 Recall@K。
- 结果分析: 对比模型输出与人工标注,分析模型性能。
-
结果报告:
- 生成报告: 汇总测试结果,生成测试报告。
- 问题记录: 如果发现模型存在问题,记录并反馈。
8.3 接口调用说明
-
模型运行命令示例:
python recommend_model.py --input_case case1022.json --top_k 10 --output results.json--input_case:输入的查询案件文件路径。--top_k:需要返回的推荐结果数量 K。--output:模型输出的推荐结果保存路径。
-
输入数据格式:
{ "id": "1022", "file_name": "8024a233-洗钱罪_2003_1970325245065144.txt", "result_list": [ { "target": "张某", "tags": [ {"type": "金额", "text": "人民币50万元"}, {"type": "贪污贿赂犯罪", "text": "贪污犯罪"}, {"type": "通过转账或者其他支付结算方式转移资金", "text": "协助资金转移"}, {"type": "故意", "text": "明知"}, {"type": "自首", "text": "自首"}, {"type": "提供资金帐户", "text": "提供资金账户"}, {"type": "认罪认罚", "text": "自愿认罪认罚"}, {"type": "坦白", "text": "主动至公安机关,如实供述上述犯罪事实"} ] } ] } -
输出数据格式:
{ "1022": [ "1015", "1316", "1272", "1057", "1158", "1086", "1089", "1263", "992", "1004" ] }
8.4 多个指标的测试方法说明
8.4.1 NDCG@K 的测试方法
-
步骤:
- 对每个查询案件,按照模型输出的推荐顺序,获取 rel_i 值。
- 计算 DCG@K 和 IDCG@K。
- 计算 NDCG@K,取所有查询案件的平均值。
-
注意事项:
- 对不同的 K 值(如 5、10、20)分别计算 NDCG@K。
- 确保 rel_i 值的准确性,源自专家标注。
8.4.2 准确率和召回率的测试方法
-
步骤:
- 统计模型在 Top-K 推荐中,相关(rel_i ≥ 2)的结果数量。
- 计算 Precision@K 和 Recall@K。
- 对所有查询案件取平均值。
-
注意事项:
- 相关结果是指 rel_i 值为 2 或 3 的推荐项。
- 数据集中所有相关结果数量需统计准确。
8.5 测试步骤截图说明
由于文本限制,此处无法提供实际的截图,但测试流程如下:
-
模型运行截图:
- 展示在命令行中运行模型的指令和输出。
-
结果文件截图:
- 展示模型生成的推荐结果文件内容。
-
指标计算截图:
- 展示使用脚本计算 NDCG@K、Precision@K、Recall@K 的过程和结果。
-
结果分析截图:
- 展示测试报告中的关键结果和分析结论。
8.6 测试结果记录
-
结果记录:
- 将每个查询案件的推荐结果、相关性评分和计算指标记录在表格中。
-
问题记录:
- 如果发现模型在某些案件上的推荐效果不佳,详细记录具体情况,分析原因。
-
改进建议:
- 根据测试结果,提出模型改进的方向和建议。
注: 本测试大纲旨在指导测试人员全面、规范地进行模型测试,确保模型性能符合预期要求。测试过程中需严格按照测试步骤执行,确保测试结果的可靠性和有效性。