System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本说明书实施例属于计算机,尤其涉及一种数据质量管理方法和装置。
技术介绍
1、随着数字化浪潮的到来,物联网技术得到了迅速发展,越来越多的物联网设备和传感器连接到网络上,产生了大量的物联网数据。然而由于设备质量和环境等因素的影响,物联网数据质量参差不齐,而高质量的物联网数据却又是影响下游数据应用和业务决策的重要因素。
2、希望有一种新的技术方案,以期能够更加准确的评估数据质量。
技术实现思路
1、本专利技术的目的在于提供一种数据质量管理方法和装置。
2、第一方面,提供了一种数据质量管理方法,包括:确定目标设备的第k组状态数据对应的第k组指标值,所述第k组状态数据包括所述目标设备上报的若干状态记录,所述第k组指标值包括对应在m个评价指标下的m个指标值;根据所述m个评价指标对应的m个综合权重处理所述第k组指标值,获得所述第k组状态数据的质量分数,其中任意第j个评价指标所对应的综合权重基于其对应的客观权重和主观权重计算得到,所述m个评价指标各自对应的客观权重基于n组历史指标值计算得到,所述n组历史指标值属于所述目标设备的前k组状态数据对应的前k组指标值。
3、第二方面,提供了一种数据质量管理装置,包括:指标计算单元,配置为确定目标设备的第k组状态数据对应的第k组指标值,所述第k组状态数据包括所述目标设备上报的若干状态记录,所述第k组指标值包括对应在m个评价指标下的m个指标值;质量计算单元,配置为根据所述m个评价指标对应的m个综合权重处理所述第k组指标值,
4、第三方面,提供了一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第一方面中提供的方法。
5、第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算设备中执行时,计算设备执行第一方面中提供的方法。
6、本说明书实施例提供的技术方案中,基于目标设备的n组历史状态数据所对应的n组历史指标值,确定出对目标设备设置的m个评价指标各自对应的客观权重,并基于该m个评价指标各自对应的主观权重和客观权重来综合评定该m个评价指标各自对应的综合权重,进而基于该m个评价指标各自对应的综合权重来处理需要进行质量评价的状态数据对应在该m个评价指标下的指标值,所获得的质量分数能够更为准确的表达相应状态数据的数据质量,以利后续基于状态数据的质量分数更好的进行下游业务。
本文档来自技高网...【技术保护点】
1.一种数据质量管理方法,包括:
2.根据权利要求1所述的方法,所述第j个评价指标所对应的综合权重,基于预设主观权重系数和客观权重系数对所述第j个评价指标对应的主观权重和客观权重加权求和而得到。
3.根据权利要求1所述的方法,所述m个评价指标包括如下各项指标中的至少一项:完整性、准确性、及时性和一致性。
4.根据权利要求1所述的方法,所述m个评价指标包括准确性;单条所述状态记录中包括对应在多个预设字段下的字段值;其中,所述方法还包括:对于所述多个预设字段中的任意第y个预设字段,预先设置所述第y个预设字段所对应的异常值判定规则;
5.根据权利要求1所述的方法,所述方法还包括:通过预先配置的与所述目标设备对应的物模型,接收所述目标设备上报的任意第x条状态记录,所述物模型包括所述目标设备的设备类别、多个预设字段以及所述多个预设字段各自要求的数据格式。
6.根据权利要求1所述的方法,所述m个评价指标各自对应的客观权重基于如下各种方法中的一种计算得到:熵权法、主成分分析法以及标准离差法。
7.根据权利要求1所述的方法,
8.根据权利要求1-7中任一项所述的方法,所述方法由数据质量管理装置执行,所述数据质量管理装置以函数即服务的形式部署于云计算平台中。
9.一种数据质量管理装置,包括:
10.根据权利要求9所述的装置,所述m个评价指标包括准确性;单条所述状态记录中包括对应在多个预设字段下的字段值;其中所述装置还包括:
11.根据权利要求9或10所述的装置,所述装置还包括:数据采集单元,配置为通过预先配置的与所述目标设备对应的物模型,接收所述目标设备上报的任意第x条状态记录,其中所述物模型包括所述目标设备的设备类别、多个预设字段以及所述多个预设字段各自要求的数据格式。
12.一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现权利要求1-8中任一项所述的方法。
13.一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算设备中执行时,计算设备执行权利要求1-8中任一项所述的方法。
...【技术特征摘要】
1.一种数据质量管理方法,包括:
2.根据权利要求1所述的方法,所述第j个评价指标所对应的综合权重,基于预设主观权重系数和客观权重系数对所述第j个评价指标对应的主观权重和客观权重加权求和而得到。
3.根据权利要求1所述的方法,所述m个评价指标包括如下各项指标中的至少一项:完整性、准确性、及时性和一致性。
4.根据权利要求1所述的方法,所述m个评价指标包括准确性;单条所述状态记录中包括对应在多个预设字段下的字段值;其中,所述方法还包括:对于所述多个预设字段中的任意第y个预设字段,预先设置所述第y个预设字段所对应的异常值判定规则;
5.根据权利要求1所述的方法,所述方法还包括:通过预先配置的与所述目标设备对应的物模型,接收所述目标设备上报的任意第x条状态记录,所述物模型包括所述目标设备的设备类别、多个预设字段以及所述多个预设字段各自要求的数据格式。
6.根据权利要求1所述的方法,所述m个评价指标各自对应的客观权重基于如下各种方法中的一种计算得到:熵权法、主成分分析法以及标准离差法。
7.根据权利要求1所述的方法,所述m个...
【专利技术属性】
技术研发人员:冀晨宇,苟晓东,王世睿,
申请(专利权)人:蚂蚁区块链科技上海有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。