GBT 39400-2020 工业数据质量 通用技术规范.pdf

GBT 39400-2020 工业数据质量 通用技术规范.pdf
积分0.00
特惠
积分0
VIP全站资料免积分下载
立即下载
同类资料根据编号标题搜索
文档
仅供个人学习
反馈
标准编号:
文件类型:.pdf
资源大小:1.1 M
标准类别:其他标准
资源ID:247171
VIP资源

标准规范下载简介:

内容预览由机器从pdf转换为word,准确率92%以上,供参考

GBT 39400-2020 工业数据质量 通用技术规范.pdf

对可用数据质量定量元素的所有数据质量定量子元素加以识别,判断这些元素的数据质量定量 素是否适用于某一特定类型的数据集。每个可用数据质量定量元素至少包含一个可用数据质量定 元素。 注:数据质量定量子元素可用性由数据规范来决定,

GB/T39400—2020

GB 51026-2014 石油库设计文件编制标准6.1.4新建附加数据质量定量子元素

方面,则应命名并定义新的 量定量子元素。附加数据质量定量子元素的命名和定义,应作为数据集质量信息的一部分。

6.1.5数据质量定量子元素描述项使用

6.1.5.1数据质量范围

对每个可用数据质量定量子元素,应识别至少一个数据质量范围。数据质量范围可以是数据集系 列、数据集或数据集内具有相同特征的部分数据。若数据质量范围无法识别,则默认为该数据集 注:数据质量范围的确定参照数据规范及数据质量非定量元素提供的非定量质量信息

6.1.5.2数据质量测量

每个数据质量范围有一个数据质量测量。数据质量测量应简要描述测量类型和测量边界。数据集 的质量应由多个测量来衡量 注:单一测量不能充分评价数据质量,也不能为数据集的所有应用提供单一测量

6.1.5.3数据质量评价过程

每个数据质量测量有一个数据质量评价过程。数据质量评价过程应描述数据质量范围内的数据 量方法,并包含该方法报告

6.1.5.4数据质量结果

将数据质量测量应用到数据质量范围所限定的数据后得到的值或值的集合。 将所得到的值或值的集合,用可接受的指定一致性质量等级,评价这些值或值的集合得到的结 果。该数据质量结果为“通过”或“不通过”。 这两种类型的数据质量结果都应被提供

6.1.5.5数据质量值类型

每个数据质量结果有一个数据质量值类型。

6.1.5.6数据质量值单位

每个数据质量结果有一个数据质量值单位(若存在

6.1.5.7数据质量测量日期

6.2非定量的数据质量信息

6.2.1识别可用的数据质量非定量元素

数据集目的应明确,用途应清晰,数据志应完整。 数据集的数据志应是可用的,或者报告数据志,或者报告缺少数据志的原因。 数据质量范围所限定的数据集内,当一部分数据的数据志与其他部分的数据志不同时,应提供其

据志,作为非定量的数据质量信息完整记录的一部分

6.2.2新建附加数据质量非定量元素

GB/T39400—2020

若本标准所列数据质量非定量元素未能充分描述非定量数据质量的某一方面,则应命名并定义新 的数据质量非定量元素。附加数据质量非定量元素的命名和定义,应作为数据集质量信息的一部分,

7.1.1数据质量评价方法分类

数据质量评价方法分为: 直接评价方法:通过比较数据与内外部参考信息来确定数据质量; 间接评价方法:使用与数据相关的外部知识推断或估计数据质量。

7.1.2直接评价方法

直接评价方法可分为: 完全检查方法:测试数据质量范围内的所有数据项; 抽样检查方法:测试数据质量范围内的部分数据项,抽样方法、抽样率及抽样过程应在数据质量报 告中报告 注:使用抽样检查方法时,特别是在使用小样本或非随机抽样时,分析数据质量结果的可信度

7.1.3间接评价方法

数据质量评价过程是产生和报告数据质量结果的一系列步骤。评价与报告数据质量结果的过 图3,评价步骤见表1。

GB/T39400—2020限定范围的数据规范和数据集用户需求第一步识别可用数据质量定量元素识别数据质量定量子元素识别数据质量范围第二步识别数据质量测量给出一致性质量等级第三步选择并运用数据质量评价方法第四步确定数据质量结果第五步确定一致性报告数据质量结果报告数据质量结果(定量结果)(通过、不通过)图33评价与报告数据质量结果的过程流表1评价步骤步骤活动描述识别可用数据质量定量元素、数据质量根据5.2识别数据质量定量元素、数据质量定量子元素及数据质量1定量子元素及数据质量范围范围。若数据规范或用户需求有测试需要,则重复该步对每个测试,识别数据质量测量、数据质量值类型及数据质量值单2识别数据质量测量位(若存在)3选择并运用数据质量评价方法对每个被识别的数据质量测量,选择数据质量评价方法结果为:定量数据质量结果、数据质量值或数据质量值集合、数据质4确定数据质量结果量值单位及数据质量测量日期若数据规范或用户需求中已指定一致性质量等级,将其与数据质量5确定一致性结果相比可确定一致性。一致性数据质量结果(“通过”或“不通过”)是定量数据质量结果与一致性质量等级比较后的结果8工业数据质量控制8.1控制规则8.1.1数据质量描述测试套件“数据质量描述测试套件”用来测试数据集质量描述的正确性。数据集质量描述应通过该测试套件的所有测试。测试一:要素测试8

GB/T39400—2020

组)测试目的:证实质量要素都在质量描述中; b)测试方法: 一检查质量描述,证实数据质量定量元素、数据质量定量子元素及数据质量定量子元素描述 项已被用来描述定量的质量信息; 检查质量描述,证实数据质量非定量元素已被用来描述非定量的质量信息。 测试二可用性测试 a)测试目的:证实质量描述的可用性; 6)测试方法: 识别数据规范中与定量质量相关的语句,并用其来识别可用的数据质量定量元素及其口 用的数据质量定量子元素; 一比较规范中识别的数据质量定量子元素与质量描述中所用的数据质量定量子元素,确保 该数据集可用的所有数据质量定量子元素已被识别并用在质量描述中; 检查可用的数据质量非定量元素,确保已被识别并用在质量描述中

测试目的:证实质量描述中附加元素是排斥性的,且附加元素的信息已被充分提供; b)测试方法: 检查所有附加数据质量定量元素,证实每个附加元素都描述了本标准中数据质量定量元 索没有描述的定量质量信息: 检查所有附加数据质量定量子元素,证实每个附加子元素都描述了本标准中数据质量定 量子元素没有描述的定量质量信息; 检查所有附加数据质量非定量元素,证实每个附加元素都描述了本标准中数据质量非定 量元素没有描述的非定量质量信息

测试四:定量子元素描述项正确性检查

a)测试目的:证实数据质量定量子元素描述项使用正确; D 测试方法:比较本标准及每个可用数据质量定量子元素(包括附加数据质量定量子元素)所 供的质量信息,证实数据质量定量子元素描述项的使用符合本标准。 测试五:“数据质量报告”符合性检查

测试目的:证实质量描述已用“数据质量报告”报告; D 测试方法:比较质量信息和“数据质量报告”,证实质量信息已用符合本标准要求的“数据 报告”报告

8.1.2数据质量内容测试套件

3.1.2.1测试目的:保证纳入“工 .1.2.2测试方法:任何纳入“工业数据”的数据应符合给定的数据规范,并提供一致性数据质量报告 且在这些数据规范上的数据质量结 一致性测试参见GB/T16656.31

数据质量控制总体上可分为三个步骤: a)生产者自查:生产者(数据集生产者)自查认为数据及其质量描述完全符合“数据质量描述 套件”“数据质量内容测试套件”的所有要求,才能将其提交给第三方检查。 b) 第三方检查:第三方检查认为生产者提交的数据及其质量描述完全符合“数据质量描述测证 件”“数据质量内容测试套件”的所有要求,才能将其提交给评审组检查。否则,详细指出错 将材料返回给生产者修改

数据质量控制总体上可分为三个步骤: a)生产者自查:生产者(数据集生产者)自查认为数据及其质量描述完全符合“数据质量描述测试 套件”“数据质量内容测试套件”的所有要求,才能将其提交给第三方检查。 b) 第三方检查:第三方检查认为生产者提交的数据及其质量描述完全符合“数据质量描述测试套 件”“数据质量内容测试套件”的所有要求WS/T 418-2013 受委托临床实验室选择指南,才能将其提交给评审组检查。否则,详细指出错误, 将材料返回给生产者修改

GB/T 394002020

件”“数据质量内容测试套件”的所有要求,才能将其纳人“工业数据”。否则,详细指出错误,将 材料返回生产者修改

数据质量信息应按规范要求报告。 质量信息应以“数据质量报告”报告, 当多个数据质量结果被综合成单个数据质量结果来报告数据集质量时,综合数据质量结果应包含 在“数据质量报告”中,其数据质量结果类型为“综合”

数据质量报告主要内容见表2。其中: a)编号:给表中每个条款编号。 b)名称:报告条款名称。 C) 说明:定义或描述条款内容。 d) 约束/条件:描述报告该条款的必要条件,或需要该条款的条件。其含义如下: 必备:应有该条款; 条件可选:规定条件被满足时应有该条款; 可选:该条款是可选的。

GB/T 24328.11-2020 卫生纸及其制品 第11部分:光学性能的测定 亮度和颜色的测定 C2°(室内日光条件)表2数据质量报告主要内容

GB/T 394002020

[1]GB/T16656.31一1997工业自动化系统与集成产品数据的表达与交换第31部分:一 致性测试方法论与框架:基本概念 [2] GB/T 19000—2016 质量管理体系基础和术语 [3] GB/T 33674—2017 气象数据集核心元数据 [4] GB/T 34945—2017 信息技术数据溯源描述模型 [51 GB/T 36344—2018 信息技术数据质量评价指标

©版权声明