GB/T 41813.1-2022 信息技术 智能语音交互测试方法 第1部分:语音识别.pdf

GB/T 41813.1-2022 信息技术 智能语音交互测试方法 第1部分:语音识别.pdf
积分0.00
特惠
积分0
VIP全站资料免积分下载
立即下载
同类资料根据编号标题搜索
文档
仅供个人学习
反馈
标准编号:
文件类型:.pdf
资源大小:5.8 M
标准类别:电力标准
资源ID:378687
VIP资源

标准规范下载简介:

内容预览由机器从pdf转换为word,准确率92%以上,供参考

GB/T 41813.1-2022 信息技术 智能语音交互测试方法 第1部分:语音识别.pdf

式中: Tw一语音识别平均子句响应时间; t一得到第i条语音中第j个子句识别结果的时刻; t一第i条语音中第j个子句输人结束的时刻; N一一输人语音总条数。 ?) . 语音识别响应时间分布:此参数显示测试数据集上所有语音识别响应时间分布及其占比情况 实际测试时可根据需要划分不同响应时间区间。

GB/T 41813.1—2022

d)语音识别吞吐率:此参数描述一次性输人包含录制好的(长时间)语音并一次性给出整体语音 识别结果的效率,即被测系统在单位响应时间内识别语音音频的时间长度。参数值计算方法 为测试数据集上语音音频总时长除以测试数据集上语音识别响应时间总时长。 测试方法:语音识别效率测试方法如下。 测试数据:按照表1的要求制作测试数据集,此外,制作语音时长为10s士0.1s、语音结束后无 静音的测试数据集用于语音识别平均响应时间和语音识别响应时间分布测试;制作语音时长 大于10h的测试数据集用于语音识别吞吐率测试。 测试工具:符合5.2的要求。 测试设备:符合5.3的要求。 测试环境:符合5.4的要求。 测试执行:按照5.5的要求对被测系统进行测试。 测试结果:按照测试内容描述的方法得出系统运行结果并生成结果文件,包括测试数据集名 称、测试数据集数量、测试项结果等。系统运行结果符合被测系统技术要求或相关标准规范则 测试通过,否则不通过。

测试内容:语音唤醒效果测试项包括唤醒率、误唤醒频度、语音打断成功率、语音打断唤醒率、语音 误唤醒频度、协同唤醒成功率和协同唤醒正确率等参数,具体参数描述如下。 a)唤醒率:检测被测系统的语音唤醒能力,即某段时间内的语音唤醒操作中,成功唤醒被测系统 的比率。参数值计算方法为成功语音唤醒次数除以语音唤醒操作总次数。 b)误唤醒频度:检测被测系统的语音唤醒能力,即单位时间内被测系统被误唤醒的次数。参数值 计算方法为误唤醒次数除以测试总时长。 c)语音打断成功率:检测被测系统的语音打断能力,即被测系统成功被语音打断的比率。参数值 计算方法为语音打断成功次数除以语音打断操作总次数。 d)语音打断唤醒率:检测被测系统的语音唤醒能力,即某段时间内的语音唤醒操作中,成功打断 并唤醒被测系统的比率。参数值计算方法为成功打断唤醒次数除以语音打断唤醒操作总 次数。 e) 语音打断误唤醒频度:检测被测系统的语音唤醒能力,即单位时间内被测系统语音打断误唤醒 的次数。参数值计算方法为语音打断误唤醒次数除以测试总时长。 t+ )协同唤醒成功率:检测同一场景多个设备的语音唤醒能力,即对多个设备进行唤醒操作,有且 仅有一个设备被成功唤醒的比率。参数值计算方法为有且仅有一个设备被成功唤醒的次数除 以语音唤醒操作总次数。 g)协同唤醒正确率:检测同一场景多个设备的语音唤醒能力,即对多个设备进行唤醒操作,用户 意图中的设备被正确唤醒的比率。参数值计算方法为用户意图中的设备被正确唤醒的次数除 以语音唤醒操作总次数。 测试方法:语音唤醒效果测试方法如下。 测试数据:按照表1的要求制作包含预定义唤醒命令字(词)、非唤醒命令字(词)、自定义唤醒 命令字(词)、多个唤醒命令字(词)和语音打断唤醒命令字(词)的测试数据集,宜选取不少于 200条测试语音。 测试工具:符合5.2的要求。 测试设备:符合5.3的要求。 测试环境:符合5.4的要求,其中,测试场景类型见表5。

GB/T 39976-2021标准下载GB/T 41813.1—2022

测试执行:按照5.5的要求对被测系统进行测试 测试结果:按照测试内容描述的方法得出系统运行结果并生成结果文件,包括测试数据集名 称、测试数据集数量、测试项结果等。系统运行结果符合被测系统技术要求或相关标准规范则 测试通过,否则不通过。

测试内容:前端信号处理效果测试项包括语音编解压缩率、端点检测准确率、信噪比改善率、噪声抑 制量、声源定位正确率和回声返回衰减增益等参数,具体参数描述如下。 a)语音编解压缩率:检测被测系统的语音编解码能力,参数值计算方法为语音编码后输出的压缩 音频码流率除以语音编码前音频码流率。 b)端点检测准确率:检测被测系统的端点检测能力,参数值计算方法见公式(3):

(valid silence

AvAD一端点检测准确率; Tvlid"有效语音音频时长; Talence一无效音频时长; T&v一检测误差音频时长。 c)信噪比改善率:检测被测系统的语音增强能力,参数值计算方法为输出语音的信噪比除以输入 语音的信噪比。 d)噪声抑制量:检测被测系统的语音增强能力,即被测系统输出信号的噪声振幅相对于输人信号 的噪声振幅的减少量。参数值计算方法见公式(4):

∑N=m(n) |² DNR=10log10 >=Ut(n)|²

ERLE=10log10 E{ly(n)|²} E{|e(n) |2} ··......................5

GB/T 41813.1—2022

GB/T 41813.1—2022

式中: ERLE一回声返回衰减增益,单位为分贝[dB(A)]; y(n)一期望回声信号; e(n)一一误差信号。 测试方法:前端信号处理效果测试方法如下。 测试数据:按照表1的要求制作测试数据集,此外,制作前、后静音段时长不少于3s的测试数 据集,宜不少于200条测试语音,用于端点检测准确率测试。 测试工具:符合5.2的要求。 测试设备:符合5.3的要求。 测试环境:符合5.4的要求。 测试执行:按照5.5的要求对被测系统进行测试。 测试结果:按照测试内容描述的方法得出系统运行结果并生成结果文件,包括测试数据集名 称、测试数据集数量、测试项结果等。系统运行结果符合被测系统技术要求或相关标准规范则 测试通过,否则不通过。

测试内容:说话人分离效果测试项包括分离错误率参数,检测被测系统的说话人分离能力,即被测 系统分离错误的语音片段时长占整个有效语音片段时长的比率。参数值计算方法见公式(6):

D正 E=dur(s)XNrel 式中: DER 一分离错误率; 心 一实际结果和系统输出结果都包含同一个说话人(对)的说话人片段数量; dur(s)一片段s的时长; Ne(s)一片段s中实际结果的数量; Nh(s)一片段s中系统输出结果的数量; Nomeer(s)一片段s中系统输出结果与实际结果正确对应的数量。 测试方法:说话人分离效果测试方法如下。 测试数据:按照表1的要求制作包含至少2个说话人交替对话的测试数据集,对话时长宜 20min。 测试工具:符合5.2的要求。 测试设备:符合5.3的要求。 测试环境:符合5.4的要求。 测试执行:按照5.5的要求对被测系统进行测试。 测试结果:按照测试内容描述的方法得出系统运行结果并生成结果文件,包括测试数据集名 称、测试数据集数量、测试项结果等。系统运行结果符合被测系统技术要求或相关标准规范则 测试通过,否则不通过。

SL 258-2017 水库大坝安全评价导则(替代SL 258-2000,清晰无水印,附条文说明)7.6语言信息识别效果

dur(s)× Nre

测试内容:语言信息识别效果测试项包括召回率参数,参数值计算方法为某类型语言信息被正确识 的次数占应该被识别正确的总次数的比率。 测试方法:语言信息识别效果测试方法如下。 测试数据:按照表1的要求制作包含一个或多个语音信息的测试数据集,选取不少于200条测

GB/T 41813.1—2022

试语音。 测试工具:符合5.2的要求。 测试设备:符合5.3的要求。 测试环境:符合5.4的要求,其中,测试场景类型见表5。 测试执行:按照5.5的要求对被测系统进行测试。 测试结果:按照测试内容描述的方法得出系统运行结果并生成结果文件,包括测试数据集名 称、测试数据集数量、测试项结果等。系统运行结果符合被测系统技术要求或相关标准规范则 测试通过,否则不通过。

试语音。 测试工具:符合5.2的要求。 测试设备:符合5.3的要求。 测试环境:符合5.4的要求,其中,测试场景类型见表5。 测试执行:按照5.5的要求对被测系统进行测试。 测试结果:按照测试内容描述的方法得出系统运行结果并生成结果文件,包括测试数据集名 称、测试数据集数量、测试项结果等。系统运行结果符合被测系统技术要求或相关标准规范则 测试通过,否则不通过。

测试内容:系统稳定性测试项包括稳定运行和资源使用等参数。 a)稳定运行:检测在给定的软硬件配置和系统并发路数的条件下,被测系统运行6.1~6.7的各 项功能,未出现崩溃、假死或功能异常,且符合性能要求,能持续正常运行的能力。给定的软硬 件配置和系统并发路数需满足被测系统正常运行的能力。 b)资源使用:检测在给定的软硬件配置和系统并发路数的条件下,被测系统运行6.1~6.7的各 项功能,系统物理内存、虚拟内存、CPU、GPU、句柄、网络资源等各项资源使用率持续平稳的 能力。给定的软硬件配置和系统并发路数需满足被测系统正常运行的能力。 测试方法:系统稳定性测试方法如下。 测试数据:按照测试项要求准备测试数据集,并明确软硬件配置和系统并发路数。 测试工具:符合5.2的要求。 测试设备:符合5.3的要求。 测试环境:符合5.4的要求。 测试执行:按照5.5的要求对被测系统进行测试,在线场景下持续7d、离线场景下持续3d连 续不间断向被测系统循环输人测试语音,连续监测系统运行情况和系统物理内存、虚拟内存、 CPU、GPU、句柄、网络资源等各项资源使用率变化情况。 测试结果:按照测试内容描述的方法得出系统运行结果并生成结果文件,包括测试数据集名 称、测试数据集数量、软硬件配置、系统并发路数和测试项结果等。系统运行结果符合被测系 统技术要求或相关标准规范则测试通过,否则不通过。

测试内容:系统稳定性测试项包括稳定运行和资源使用等参数。 a)稳定运行:检测在给定的软硬件配置和系统并发路数的条件下,被测系统运行6.1~6.7的各 项功能,未出现崩溃、假死或功能异常,且符合性能要求,能持续正常运行的能力。给定的软硬 件配置和系统并发路数需满足被测系统正常运行的能力。 b)资源使用:检测在给定的软硬件配置和系统并发路数的条件下,被测系统运行6.1~6.7的各 项功能,系统物理内存、虚拟内存、CPU、GPU、句柄、网络资源等各项资源使用率持续平稳的 能力。给定的软硬件配置和系统并发路数需满足被测系统正常运行的能力。 测试方法:系统稳定性测试方法如下。 测试数据:按照测试项要求准备测试数据集,并明确软硬件配置和系统并发路数。 测试工具:符合5.2的要求。 测试设备:符合5.3的要求。 测试环境:符合5.4的要求。 测试执行:按照5.5的要求对被测系统进行测试大道四标段桥面板吊装施工方案,在线场景下持续7d、离线场景下持续3d连 续不间断向被测系统循环输人测试语音,连续监测系统运行情况和系统物理内存、虚拟内存、 CPU、GPU、句柄、网络资源等各项资源使用率变化情况。 测试结果:按照测试内容描述的方法得出系统运行结果并生成结果文件,包括测试数据集名 称、测试数据集数量、软硬件配置、系统并发路数和测试项结果等。系统运行结果符合被测系 统技术要求或相关标准规范则测试通过:否则不通过

1 GB/T5271.29一2006信息技术词汇第29部分:人工智能语音识别与合成

©版权声明
相关文章