T/CESA 1198-2022 人工智能 视频图像审核系统技术规范.pdf

T/CESA 1198-2022 人工智能 视频图像审核系统技术规范.pdf
积分0.00
特惠
积分0
VIP全站资料免积分下载
立即下载
同类资料根据编号标题搜索
文档
仅供个人学习
反馈
标准编号:T/CESA 1198-2022
文件类型:.pdf
资源大小:4.2 M
标准类别:电力标准
资源ID:277204
VIP资源

T/CESA 1198-2022标准规范下载简介:

内容预览由机器从pdf转换为word,准确率92%以上,供参考

T/CESA 1198-2022 人工智能 视频图像审核系统技术规范.pdf

基础域包括支持通用计算单元或异构计算单元的硬件、网络设备和存储设备等构成的资源池。

视频图像审核系统与内容采集系统和人工审核系统之间的关系见图2,系统的部署形式可采用云服 务,也可采用私有化部署。视频图像审核系统中宜具备视频图像解析引擎和对外服务功能。 注1:内容采集系统指具备针对视频图像、语音、文本等非结构化数据采集能力的系统; 注2:人工审核系统指面向审核员开发并提供可视化操作界面的审核系统

SC/T 3104-2010 鲜、冻蓝圆鲹6. 1.1 标签管理

系统标签管理包括以下要求: a) 系统应能查看已支持的标签列表,并能配置指定标签的报警阈值,根据报警阈值输出审核结 果; b) 系统标签体系应支持按照审核业务需求分类、移动: C 系统宜支持对标签的启用、禁用等功能; 系统宜支持对标签的新增、删除、查询、更改等功能。

系统人物管理包括以下要求: 系统应支持对符合GB/T35678一2017中4.1要求的人脸图像数据进行人脸注册,并与接入数据 进行识别、比对,生成相似度值; 系统应支持对符合GB/T35678一2017中4.2要求的人脸图像数据进行检测、识别

T/CESA 11982022

T/CESA 11982022

)系统宜支持对人物以及相关人脸图像数据的新增、删除、查询、更改等功能

系统应支持对关键词库以及库中关键词的新增、删除、查询、更改等功能。

6.1.4审核模板管理

系统审核模板管理包含以下要求: a)系统应支持审核模板的新增、删除、查询、更改等功能,开启与关闭,设置默认模板; b)系统应支持配置审核模板,宜支持自定义绑定标签、人物、关键词库、审核分数范围等条件: c)系统应支持设定抽顿方式及频率

6.1.5审核任务管理

系统审核任务管理包括以下要求: 系统应支持选择审核模板; 系统应支持通过配置标签、人物、关键词、审核分数范围等条件进行审核任务的创建、编辑 和删除操作; c 系统应支持通过审核任务名称对审核任务筛选

6.1.6审核结果输出

系统审核结果输出包括以下要求: a)系统应支持查看审核任务的审核结果: b)系统应支持通过时间、标签、人物、关键词、审核分数范围等条件对审核结果筛选

6.1.7离线审核管理

系统离线审核管理包括以下要求: a)系统应支持通过创建离线审核任务的方式对离线文件审核,离线文件导入类型可包括视频 图像、语音、文本等数据类型: b)系统应支持查看离线审核任务的审核结果

系统应具备用户管理、角色管理模块,支持用户、角色的新增、删除、查询、更改等功能,实现对 用户进行部门划分、通过角色对用户进行功能权限的分配管理。

系统日志包括以下要求: a)系统应支持自动生成操作日志,记录操作人员身份信息、进入、退出系统的时间和操作情况: b)系统应具备操作日志查询、导出等功能,

6. 2. 1 兼容性

兼容性包括以下要求: 图像编码应支持IPEG、BMP、PNG、TIFF格式,可

b)视频编码应支持H.264、H.265、AVS格式,视频分辨率应支持50X50以上像素,宜支持1920× 1080以下像素; c)音频编码应支持MP3、ACC格式,可支持其他格式; d)文本应支持Word、Excel、PPT、PDF、TXT格式,可支持其他格式。

6.2.2.1视频图像识别类

6. 2. 2. 1. 1人脸类

对于视频图像中大于(32×32) 像素的人脸类检测识别,包含下列要求: a)准确率不应低于90%; b) 召回率不应低于90%; C QPS不应低于200; d 响应时间不宜大于2s

6.2.2.1.2物体类

对于视频图像中宽边大于50像素的物体检测识别,包含下列要求: a) 准确率不应低于90%; b 召回率不应低于80%; C) QPS不应低于200; d)响应时间不宜大于2s

6. 2. 2. 1. 3图标类

对于视频图像中宽边大于60像素的特定图标检测识别,包含下列要求: a) 准确率不应低于95%; b 召回率不应低于80%; QPS不应低于300; ? d)响应时间不宜大于2s

6.2.2.1.4场景类

对于视频图像中大于整体画面10%的目标场景分类,包含下列要求: a) 准确率不应低于90%; b 召回率不应低于80%; C QPS不应低于400; d)响应时间不宜大于2s

6.2.2.1.5字符类

对于视频图像中大于(32×32)像素的中文字符或(16×16)像素的英文字符检测识别,包含下列 要求: a 准确率不应低于90%; b) QPS不应低于30; 响应时间不宜大于2s

6. 2. 2. 2 语音识别类

对于语音的内容检测识别,包含以下要求: a) 误报率不应高于5%; b)语音转写倍速不应低于50; c)响应时间不宜大于2s。

标签管理采用下列测试方法: a)测试用户对指定标签的报警阅值进行调整,并根据报警阅值输出审核结果,通过调整标签的 阅值观察在相同输入下的输出结果变化,是否在修改该标签阈值后与期望结果一致; 测试用户根据不同业务对标签体系分类、移动标签; 测试用户查看标签启用、禁用功能,先选取输出结果带有某标签的数据进行测试,然后对某 标签禁用,观察输出结果是否已经取消该标签,再重新启用该标签,观察输出结果是否恢复该 标签; d 测试用户查看已支持的标签列表,通过新增、删除、查询或更改任意标签确定标签列表的有 效性。

7. 1. 2 人物库管理

人物库管理采用下列测试方法: a)测试用户使用符合GB/T35678一2017中4.1要求的人脸图像数据进行人脸数据注册,然后利用 符合该标准的同一人的不同角度人脸图像数据接入系统,观察与该注册人脸的相似度是否最 高; 测试用户将多张符合GB/个35678一2017中4.2要求的人脸图像数据接入系统,观察系统能够检 测到人脸位置并获取人脸图像的图像数占总输入图像的比例; C 测试用户对人物以及相关人脸图像数据进行新增、删除、查询、更改等操作,观察功能有效 。

关键词管理测试时测试用户根据系统要求方法对关键词进行新增、删除、更改、查询等操作,观 同变化后输出结果是否有对应变化

7.1.4审核模板管理

审核模板管理采用下列测试方法: a 测试用户对审核模板创建,并观察是否在审核模板中自定义绑定标签、人物、关键词库、审 核分数范围等条件; 6) 测试用户对审核模板创建,并观察是否设定抽帧方式及频率; 测试用户对审核模板进行新增、删除、查询、更改等操作,检测功能有效性。并观察已创建 的审核模板是否支持开启与关闭以及设置默认模板。

7.1.5审核任务管理

审核任务管理采用下列测试方法: 测试用户根据系统要求配置任意标签、人物、关键词、审核分数范围进行审核任务的创建、 编辑操作,观察审核任务是否正确构建,并观察系统中审核任务在编辑后是否产生对应反馈; b 测试用户在创建一系列任务后对部分任务删除,观察系统是否只执行了剩余任务; c)测试用户通过输入审核任务名称,观察系统是否对审核任务筛选展示。

7.1. 6 审核结果输出

审核结果输出测试时测试用户查看审核任务的审核结果,并根据时间、标签、人物、关键词、审核 分数范围条件对审核结果筛选,观察系统是否根据相应约束条件展示。

7.1.7 离线审核管理

离线审核管理测试时测试用户构建视频、 图片、语音、文本等数据类别离线测试文件,通过创建离 线任务的方式对该离线文件审核,观察是否正确审核并观察审核结果。

7.1. 8 用户管理

零超级用户对普通用户是否有管理功能,并根据 系统要求观察系统是否对部门划分, 级别用户进行权限管理

系统日志采用下列测试方法: a)测试用户进入系统、退出系统并做出一些操作,将这些操作记录,然后观察系统日志中是否 有相对应日志,包括身份信息记录、操作时间以及操作记录; b)测试用户对操作日志进行查询并导出,观察系统是否导出相关日志。

按照实际业务情况准备多种视频图像数据开展测试,同一视频图像内容应准备多种格式或分辨率, 视频图像格式应符合6.2.1的要求, 若同一视频图像内容的部分格式或分辨率未审核成功,应记录不兼容情况、视频图像内容、测试设 备型号以及操作系统,定位不兼容原因

7. 2. 2 算法性能

算法性能在测试时应设计部署多个不同测试环境,在不同数据库服务器、应用服务器、平台等配置 下测试和性能监控,测试条件可参见附录A。 应根据实际审核业务准备多种视频图像作为测试数据集,视频图像的格式应符合兼容性评估要求 设计测试用例MZ/T 093-2017 中国福利彩票系统彩票随机数检验规范, 在已部署好的测试环境中执行测试用例,记录测试结果,并按照下列方法进行计算: a)准确率和召回率:根据测试结果,基于混淆矩阵(表1),统计真正样本数(TP),假正样本 数(FP),假负样本数(FN),真负样本数(TN),根据下式对准确率和召回率进行计算,计 算结果应符合6.2.2的要求:

1)准确率计算方法:

式中: Far一误报率; FA一系统报出关键词总数中错误的关键词个数,单位:个; KW一关键词表的词汇量,单位:个; HR一语音长度,单位:小时; C一每小时每个关键词最大容忍的误报个数,一般取10。 每秒查询量:采用并发性能测试工具,设置并发数N个,每个并发用户不断向被测审核系统发 送审核请求,记录成功执行的查询平均响应时间为T秒,QPS=N/T。根据监测结果与6.2.2的要 求进行比对; d 响应时间:采用性能测试工具,设置并发数1个,用户串行向被测审核系统发送审核请求,记 录成功执行的查询平均响应时间为T秒: 语音转写倍速:测试音频文件总时长为H小时,调用音频转写接口将测试音频文件发送到审核 系统,记录系统语音转写处理时间为h小时,转写倍速为H/h。

T/CESA 11982022

测试工具包括软硬件平台,可由检测机构提供或由测试用户准备,其中: a 检测机构提供的测试工具要求如下: 1 硬件平台:CPU主频大于2.OGHz、内存大于4GB的等同性能的硬件平台,测试硬件平台的 算力性能上限宜根据检测业务需求确定; 2) 操作系统:主流操作系统,如Linux、Windows等: 3)调用算法库进行测试时,应提供算法库接口函数。 测试用户准备测试工具要求如下: 1 可结合审核系统实际应用时的配置准备测试工具: 2 直接提供被测系统或产品,使用检测机构提供的测试数据,被测系统或产品反馈测试结果 记录。

除另有规定外,基本测试环境如下: a) 环境温度:15℃~35℃; b) 相对湿度:25%~75%; c) 气压:86kPa~106kPa; d) 照度:3001x~15001x; e) 环境噪声:小于60dB。

除另有规定外GB/T 36710-2018 公共机构办公区节能运行管理规范,基本测试环境如下: a) 环境温度:15℃~35℃; b 相对湿度:25%~75%; C 气压:86kPa~106kPa; d) 照度:3001x~15001x; 环境噪声:小于60dB。

检测机构可按实际审核业务需求准备覆盖多种视频图像的测试数据集用来开展测试。测试数据集的 要求包括但不限于: 测试数据集标注质量:数据集标注信息准确、完备并符合要求; b 测试数据集的多样性:测试数据集应体现真实应用场景,类别覆盖全面,且包括不同光照条 件、不同分辨率、不同角度等情况的样本; 测试数据集与训练数据集的互斥性:测试数据集与训练数据集中的数据均不相同: 测试数据集的干扰样本:数据集中宜包含已知干扰样本、对抗性样本或业务不相关样本等异 常样本。

©版权声明
相关文章