GB/T 41813.2-2022 信息技术 智能语音交互测试方法 第2部分：语义理解

　　ICS 35 . 240 . 01 CCS L 77

　　中 华 人 民 共 和 国 国 家 标 准

　　GB/T 41813 . 2—2022

　　信息技术 智能语音交互测试方法

　　第 2 部分 : 语义理解

　　Information technology—Intelligent speech interaction testing method—

　　part 2 : Semantic understanding

　　2022-10-12 发布 2023-05-01 实施

　　国家市场监督管理总局国家标准化管理委员会

　　

　　发

　　

　　布

　　GB/T 41813 . 2—2022

　　目 次

　　前言 Ⅲ

　　引言 Ⅳ

　　1 范围 1

　　2 规范性引用文件 1

　　3 术语和定义 1

　　4 概述 1

　　5 测试准备和执行 2

　　5 . 1 测试数据集 2

　　5 . 2 测试工具 3

　　5 . 3 测试环境 3

　　5 . 4 测试执行 3

　　5 . 5 结果判定 3

　　6 功能测试方法 3

　　6 . 1 意图理解 3

　　6 . 2 命名实体识别 3

　　6 . 3 敏感信息辨别 4

　　6 . 4 语义拒识 4

　　6 . 5 信息检索 4

　　6 . 6 文本相似度计算 4

　　6 . 7 文本修改 4

　　6 . 8 语义修正 4

　　6 . 9 自然语言生成 5

　　6 . 10 逻辑推理 5

　　6 . 11 对话引导 5

　　6 . 12 上下文相关的多轮会话 5

　　7 性能测试方法 5

　　7 . 1 语义理解效果 5

　　7 . 2 语义理解效率 8

　　7 . 3 系统稳定性 9

　　附录 A(规范性) 主观体验测试 10

　　A. 1 概述 10

　　A. 2 测试项 10

　　A. 3 测试方法 10

　　参考文献 12

　　Ⅰ

　　GB/T 41813 . 2—2022

　　前 言

　　本文件按照 GB/T 1 . 1—2020《标准化工作导则 第 1 部分：标准化文件的结构和起草规则》的规定起草。

　　本文件是 GB/T 41813《信息技术 智能语音交互测试方法》的第 2 部分。 GB/T 41813 已经发布了以下部分：

　　— 第 1 部分：语音识别;

　　— 第 2 部分：语义理解。

　　请注意本文件的某些内容可能涉及专利。 本文件的发布机构不承担识别专利的责任。

　　本文件由全国信息技术标准化技术委员会(SAC/TC 28)提出并归口 。

　　本文件起草单位：中国电子技术标准化研究院、科大讯飞股份有限公司、小米通讯技术有限公司、华为终端有限公司、深圳市优必选科技股份有限公司、中国电信集团有限公司、思必驰科技股份有限公司、中国科学院自动化研究所、中国医学科学院生物医学工程研究所、哈尔滨工业大学、海信视像科技股份有限公司、马上消费金融股份有限公司、腾讯科技(北京)有限公司、沈阳新松机器人自动化股份有限公司、深圳市人马互动科技有限公司、平安科技(深圳)有限公司、安徽咪鼠科技有限公司、泾丰科技(深圳)有限公司、北京捷通华声科技股份有限公司、北京百度网讯科技有限公司、深圳市北科瑞声科技股份有限公司、阿里云计算有限公司、云从科技集团股份有限公司、上海计算机软件技术开发中心、网易(杭州)网络有限公司、南京云问网络技术有限公司、联想(北京)有限公司、福州数据技术研究院有限公司、国家网络软件产品质量监督检验中心(济南)、华南理工大学、山东省计算中心(国家超级计算济南中心)、神思电子技术股份有限公司、郑州中业科技股份有限公司、中汽数据(天津)有限公司、中国电器科学研究院有限公司、中汽研(天津)汽车工程研究院有限公司、中科极限元(杭州)智能科技股份有限公司、北京爱数智慧科技有限公司。

　　本文件主要起草人：徐洋、马万钟、吴国纲、朱亚军、贾一君、周立君、宋文林、袁杰、杨震、田定书、钱彦昱、陶建华、花云飞、蒲江波、李海峰、王峰、杨春勇、苏丹、张锋、冯海洪、刘国涛、任军民、陈楠、刑启洲、李笑如、黄石磊、汪淼淼、蔡立志、李军、胡光龙、杨萌、鹿飞、方斌、王岳、井馄、温正棋、李介、张莹、徐向民、孟宪明、高永超、张晴晴。

　　Ⅲ

　　GB/T 41813 . 2—2022

　　Ⅳ

　　引

　　

　　言

　　智能语音交互在智能家居、智能客服、移动终端、车载终端以及智慧教育、智慧医疗、智能办公、服务机器人等诸多领域应用广泛，已成为当前人机交互的重要方式之一 。 随着智能语音交互的深入，需要对智能语音交互的系统参考框架、基础技术要求、互联网接口要求等进行统一规范，在这方面，国家已制定了支撑智能语音交互系统的基础性国家标准。 在此基础上，也需要用统一的测试方法和评价标准来对智能语音交互系统的能力进行评测，为智能语音交互相关的产品和服务提供评测的基础方法和依据。

　　GB/T 41813《信息技术 智能语音交互测试方法》为 GB/T 36464(所有部分)《信息技术 智能语音交互系统》提供基础通用的测试方法。 智能语音交互包括语音识别、语义理解和语音合成三个基本环节，各环节所涉及的测试对象、测试项 目 、测试环境和测试方法均有所不同。 GB/T 41813《信息技术

　　智能语音交互测试方法》旨在确立和描述适用于智能语音交互各环节的通用测试项和通用测试方法，拟由三个部分构成。

　　— 第 1 部分：语音识别。 目的在于为智能语音交互应用中的语音识别环节提供通用测试项和通用测试方法。

　　— 第 2 部分：语义理解。 目的在于为智能语音交互应用中的语义理解环节提供通用测试项和通用测试方法。

　　— 第 3 部分：语音合成。 目的在于为智能语音交互应用中的语音合成环节提供通用测试项和通用测试方法。

　　GB/T 41813 . 2—2022

　　信息技术 智能语音交互测试方法

　　第 2 部分：语义理解

　　1 范围

　　本文件描述了智能语音交互测试中语义理解系统的通用测试项和通用测试方法。

　　本文件适用于智能语音服务提供商、用户和第三方检测机构对智能语音交互应用的语义理解系统测试的设计和实施。

　　2 规范性引用文件

　　下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。 其中，注 日期的引用文件，仅该日期对应的版本适用于本文件;不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。

　　GB/T 36464(所有部分) 信息技术 智能语音交互系统

　　3 术语和定义

　　GB/T 36464(所有部分)界定的以及下列术语和定义适用于本文件。

　　3.1

　　语义理解 semanticunderstanding

　　使功能单元理解人说话的意图。

　　[来源：GB/T 36464 . 1—2020,3 . 11]

　　3.2

　　命名实体 namedentity

　　具有特指或唯一含义的指称名字的实体。

　　3.3

　　意图 intention

　　语音交互过程中需要系统执行的任务或达成目标。

　　4 概述

　　智能语音交互测试中的语义理解测试主要包括功能测试与性能测试，具体如下：

　　— 功能测试用于检查被测系统是否提供了语义理解相关的各项功能，包括：意图理解、命名实体识别、敏感信息识别、语义拒识、信息检索、文本相似度计算、文本修改、语义修正、自然语言生成、逻辑推理、对话引导和上下文相关的多轮对话;

　　— 性能测试用于检查被测系统中语义理解相关的各项性能，包括：语义理解效果、语义理解效率和系统稳定性。

　　测试过程中，应依据被测系统技术规范进行在线/离线的功能和性能测试。 可使用主观体验的方法进行测试，主观体验测试应按照附录 A 描述的测试项和测试方法执行。 本文件所列测试项可用于对

　　1

　　GB/T 41813 . 2—2022

　　GB/T 36464(所有部分)中语义理解相关的功能和性能要求进行测试。

　　注：本文件对所列出的功能测试项选择不做要求，实际测试时根据被测系统的功能要求和测试需求进行选择。

　　5 测试准备和执行

　　5 . 1 测试数据集

　　在测试开始前，应通过人工编写或采集的方式制作测试数据集。 可根据不同测试项划分出多个测试数据集，在实际测试时可根据需要选择测试数据集。 测试数据集类型和要求应符合表 1 和表 2 的要求。

　　表 1 测试文本类型和要求

　　序号

　　文本分类

　　数量

　　1

　　常用文本

　　具有意图表示的单字、词语文本

　　每类不少于 5 条

　　2

　　短语文本

　　3

　　单句文本

　　4

　　对话文本

　　5

　　段落文本

　　6

　　文章文本

　　7

　　特殊文本

　　敏感信息文本

　　每类不少于 1 000 条

　　8

　　命名实体文本，如：人名、地名等，覆盖已定义业务相关命名实体

　　9

　　特殊格式文本，如：数字、日期时间、英文大小写等

　　每类不少于 5 条

　　10

　　特定语种文本，如：中文、英文、韩文等

　　11

　　特殊字符集编码文本

　　12

　　特殊符号文本，如：逗号、句号、问号等

　　13

　　异常文本

　　乱码文本

　　每类不少于 5 条

　　14

　　不支持语种文本

　　表 2 测试数据集类型和要求

　　序号

　　测试数据分类

　　文本要求

　　数量

　　1

　　已定义

　　场景或

　　业务文

　　本数据

　　已定 义 场 景 或 业 务 的 文本数据

　　应在数据较多情况下，统计文本长度分布，根据此分布来控制文本长度数量分布;否则应根据常用文本长度平均值的正态分布，控制不同文本长度数量分布

　　文本类型应符合表 1 的要求

　　文本内容宜为语音识别的输出结果

　　每个业务不少于 200 条人工编写数据，可直接使用已有真实数据

　　2

　　已定 义 场 景 或 业 务 的 常用文本数据

　　每个业务至少覆盖 3 条已有真实数据，可持续收集

　　3

　　未定义场景或

　　业务文本数据

　　同领域，未定义场景或业务的一般文本数据

　　每个业 务 至 少 覆 盖 3 条 真 实 数据，可持续收集

　　4

　　同领域，未定义场景或业务的常用文本数据

　　每个业 务 至 少 覆 盖 3 条 真 实 数据，可持续收集

　　5

　　闲聊

　　平均不少于 5 个字符

　　不少于 1 000 条人工编写数据

　　6

　　异常文本数据

　　每一条均不少于 5 个字符

　　不少于 100 条人工编写数据

　　2

　　GB/T 41813 . 2—2022

　　5 . 2 测试工具

　　语义理解测试工具包括可编程测试工具、测试统计工具和资源监测工具，应符合下列要求。

　　a) 可编程测试工具要求如下：

　　● 应能调用被测系统开放接口;

　　● 应能对工具配置文件进行定制;

　　● 应能接收文本数据并将其输入至被测系统;

　　● 应能进行功能测试及其相应的性能测试;

　　● 应能以文本形式获取被测系统运行结果。

　　b) 测试统计工具要求如下：

　　● 应能自动对不同测试项的系统运行结果进行统计和分析;

　　● 应能自动对系统运行结果和标准结果对比文件进行比对。

　　c) 资源监测工具应能监测内存、中央处理单元(CPU)、图形处理单元(GPU)、句柄数等系统资源参数。

　　5 . 3 测试环境

　　应根据被测系统的功能和性能要求，以及应用场景配置相应的软硬件环境。

　　5 . 4 测试执行

　　应使用可编程测试工具和测试统计工具将测试数据集输入到在线/离线状态的被测系统中并获取运行结果。

　　5 . 5 结果判定

　　应根据被测系统技术要求对系统在各测试项上的运行结果进行记录、分析和判定，形成测试结果。

　　6 功能测试方法

　　6 . 1 意图理解

　　测试内容：检查被测系统是否提供理解说话人的意图的功能，包括但不限于以下具体功能。

　　a) 模糊识别：能正确处理错别字、同义词、多字和少字等问题。

　　b) 语义抽取：能抽取语义要素和说话人关键意图，包括：

　　● 命名实体抽取，被测系统能自动对文本中表达关键意图的命名实体进行抽取;

　　● 关键词抽取，被测系统能自动对文本中表达意图的关键词进行抽取;

　　● 语义关系抽取，被测系统能自动对文本中表达语义关系的三元组进行抽取。

　　c) 语义排序：被测系统能在语义理解结果中给出多个排序后的理解结果，供说话人进行选择或二次确认。

　　d) 意图分类：被测系统能对说话人的关键意图进行预测，将输入的文本数据对应到一个或多个预定的意图上，并标记文本数据所属意图类别。

　　测试方法：按照表 2 中的已定义场景或业务文本数据的要求制作测试数据集，使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，按照测试内容的描述对结果进行判定。

　　6 . 2 命名实体识别

　　测试内容：检查被测系统是否提供在文本中找出并准确标注命名实体的功能。

　　3

　　GB/T 41813 . 2—2022

　　测试方法：按照表 1 中的中命名实体文本的要求制作测试数据集，使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，按照测试内容的描述对结果进行判定。

　　6 . 3 敏感信息辨别

　　测试内容：检查被测系统是否提供根据上下文对输入文本中的敏感内容进行分辨的功能。

　　注：敏感内容包括涉及黄色、暴力、恐怖和国家安全等信息的内容。

　　测试方法：按照表 1 中的敏感信息文本的要求制作测试数据集，使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，按照测试内容的描述对结果进行判定。

　　6 . 4 语义拒识

　　测试内容：检查被测系统是否提供对无法处理或不应当处理的无效文本输入内容进行分辨和拒识的功能。

　　注：无法处理的内容包括被测系统不支持的或与业务无关的内容;不应当处理的内容包括完全无意义的内容。

　　测试方法：按照表 2 中的未定义场景或业务文本数据的要求制作测试数据集，使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，按照测试内容的描述对结果进行判定。

　　6 . 5 信息检索

　　测试内容：检查被测系统是否提供信息检索的功能，包括但不限于以下具体功能。

　　a) 个性化词典检索：如联系人列表、歌曲列表和兴趣点(POI)等。

　　b) 第三方信源检索：如天气、航班、酒店和股票等。

　　c) 自定义知识库检索。

　　测试方法：按照表 2 中的已定义场景或业务文本数据的要求制作测试数据集，使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，按照测试内容的描述对结果进行判定。

　　6 . 6 文本相似度计算

　　测试内容：检查被测系统是否提供根据输入的文本数据，计算其与已有文本的语义信息一致性程度的功能。 语义信息一致性类型包括但不限于以下具体方面。

　　a) 句子用词发生了变化，但语义信息相似。

　　b) 句子结构发生了变化，但语义信息相似。

　　c) 句子用词和结构相似，但语义信息不相似。

　　测试方法：按照表 2 中的已定义场景或业务文本数据的要求制作测试数据集，使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，按照测试内容的描述对结果进行判定。

　　6 . 7 文本修改

　　测试内容：检查被测系统是否提供对对话中的前一句文本进行修改的功能。

　　测试方法：按照表 2 中的已定义场景或业务文本数据的要求制作测试数据集，使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，按照测试内容的描述对结果进行判定。

　　6 . 8 语义修正

　　测试内容：检查被测系统是否提供对语义理解错误的结果进行自动校正的功能。

　　注：语义理解错误包括句法错误、中文分词错误、指代消歧错误等。

　　测试方法：按照表 2 中的已定义场景或业务文本数据的要求制作测试数据集，使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，按照测试内容的描述对结果进行判定。

　　4

　　GB/T 41813 . 2—2022

　　6 . 9 自然语言生成

　　测试内容：检查被测系统是否提供根据语义理解结果生成自然语言文本，符合说话人的意图、满足语音交互响应的功能。

　　注： 自然语言文本内容包括：

　　a) 简单答复文本;

　　b) 根据预定义模板的答复文本;

　　c) 理解和符合说话人的意图的答复文本;

　　d) 说话人的意图不明确时给出的合理的引导或推荐的答复文本。

　　测试方法：按照表 2 中的已定义场景或业务文本数据的要求制作测试数据集，使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，按照测试内容的描述对结果进行判定。

　　6 . 10 逻辑推理

　　测试内容：检查被测系统是否提供对文本内容的逻辑计算和推导的功能。

　　示例：2020 年是闰年;爸爸的妈妈叫奶奶。

　　测试方法：按照表 2 中的已定义场景或业务文本数据的要求制作测试数据集，使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，按照测试内容的描述对结果进行判定。

　　6 . 1 1 对话引导

　　测试内容：检查被测系统是否提供根据说话人的意图和场景需求动态生成引导提示用语，引导用户

　　对其最终目的进行陈述的功能。 引导提示用语包含但不限于以下具体内容：

　　a) 个性化词典;

　　b) 根据用户行为习惯挖掘归类的信息;

　　c) 已定义知识库内的知识;

　　d) 第三方信源信息;

　　e) 海量数据的检索得到的关联信息;

　　f) 拒识提示。

　　测试方法：按照表 2 中的已定义场景或业务文本数据的要求制作测试数据集，使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，按照测试内容的描述对结果进行判定。

　　6 . 12 上下文相关的多轮会话

　　测试内容：检查被测系统是否提供上下文相关的多轮会话处理能力，包含但不限于以下具体功能：

　　a) 对话状态跟踪;

　　b) 对话策略管理;

　　c) 对话意图切换、跳转;

　　d) 历史信息继承。

　　测试方法：按照表 2 中的已定义场景或业务文本数据的要求制作测试数据集，使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，按照测试内容的描述对结果进行判定。

　　7 性能测试方法

　　7 . 1 语义理解效果

　　测试内容：语义理解效果测试项用精确率、召回率、拒识率、准确率、F1 值、平均排序倒数和归一化

　　5

　　GB/T 41813 . 2—2022

　　折损累计增益等参数表征，具体参数描述和计算方法如下。

　　a) 精确率：检测被测系统的语义理解能力，即被测系统对有效文本实际响应正确的次数占所有文本响应正确的总次数的比率。 参数值计算方法见公式(1) :

　　PSS = × 100% …………………………( 1 )

　　式中：

　　PSS — 语义理解精确率;

　　NSS — 有效文本实际响应正确的次数;

　　NS — 所有文本响应正确的总次数。

　　b) 召回率：检测被测系统的语义理解能力，即被测系统对有效文本实际响应正确的次数占应响应正确的总次数的比率。 参数值计算方法见公式(2) :

　　RSS = × 100% …………………………( 2 )

　　式中：

　　RSS — 语义理解召回率;

　　NSS — 有效文本实际响应正确的次数;

　　NSC — 有效文本应响应正确的总次数。

　　c) 拒识率：检测被测系统的语义拒识能力，即被测系统对无效文本实际响应正确的次数占无效文本输入的总次数的比率。 其中，无效文本包括被测系统不支持的或业务无关的文本数据和完全无意义的噪音数据。 参数值计算方法见公式(3) :

　　SR …………………………( 3 )

　　式中：

　　SR — 语义拒识率;

　　NSR — 无效文本实际响应正确的次数;

　　NR — 无效文本输入的总次数。

　　d) 准确率：检测被测系统的语义理解能力，即被测系统对所有文本实际响应正确次数占所有文本响应的总次数的比率。 参数值计算方法见公式(4) :

　　ASS …………………………( 4 )

　　式中：

　　ASS — 语义理解准确率;

　　NSS — 有效文本实际响应正确的次数;

　　NSR — 无效文本实际响应正确的次数;

　　N — 所有文本响应的总次数。

　　e) F1 值：检测被测系统的语义理解能力，即被测系统的语义理解精确率和语义理解召回率的加权调和平均值。 参数值计算方法见公式(5) :

　　F …………………………( 5 )

　　式中：

　　F1 — 语义理解 F1 值;

　　PSS — 语义理解精确率;

　　RSS — 语义理解召回率。

　　f) 平均排序倒数：检测被测系统的信息检索能力，即正确结果在被测系统给出结果中的排序位置

　　6

　　GB/T 41813 . 2—2022

　　倒数的平均值。 参数值计算方法见公式(6) :

　　MRR …………………………( 6 )

　　式中：

　　MRR — 平均排序倒数;

　　Q —信息检索的总次数;

　　i —第 i次信息检索;

　　ranki —在第 i次信息检索中正确结果出现的排序位置。

　　g) 归一化折损累计增益：检测被测系统的信息检索能力，即被测系统给出结果的排序相关性评

　　分与理想结果的排序相关性评分的比值。 参数值计算方法见公式(7)、公式(8)和公式(9) :

　　DCG …………………………( 7 )

　　式中：

　　DCG — 折损累计增益;

　　K — 信息检索结果个数;

　　j —第 j 个检索结果;

　　relj —第 j 个检索结果的相关性评分。

　　IDCG …………………………( 8 )

　　式中：

　　IDCG —理想结果折损累计增益;

　　| RELK|—信息检索结果个数按照相关性评分从大到小排序;

　　j —第 j 个检索结果;

　　relj —第 j 个检索结果的相关性评分。

　　NDCG=DCG/IDCG …………………………( 9 )

　　式中：

　　NDCG — 归一化折损累计增益;

　　DCG — 折损累计增益;

　　IDCG —理想结果折损累计增益。

　　测试方法：语义理解效果测试可根据不同功能选择适用测试指标进行测试，不同功能及其适用的效果测试指标对应情况见表 3 。

　　表 3 不同功能及其适用的效果测试指标

　　功能

　　精确率

　　召回率

　　拒识率

　　准确率

　　F1 值

　　平均排序倒数

　　归一化折损累计增益

　　意图理解a

　　必选

　　必选

　　可选