数据质量的监控方法、装置、存储介质及计算机设备制造方法及图纸

技术编号:40036116 阅读:22 留言:0更新日期:2024-01-16 19:00
本申请实施例公开了一种数据质量的监控方法、装置、存储介质及计算机设备,涉及数据监控领域。本申请的方法包括:采集业务数据,以及利用检查规则库集合中的各个检查规则对业务数据进行检查,输出各个检查规则对应的异常数据集;根据均值偏移算法识别出各个异常数据集中不满足数据质量判据的数据,以及根据识别结果生成数据质量清单;根据数据质量指标计算各个数据质量集合的评估分数,若评估分数大于分数阈值,则进行报警提示,实现自动检查设备全寿命周期数据质量问题,代替人工检查工作,提升数据质量检查工作效率。

【技术实现步骤摘要】

本申请涉及数据监控领域,尤其涉及一种数据质量的监控方法、装置、存储介质及服务器。


技术介绍

1、电网企业的盈利模式由获取购销价差转变为输配电准许总收入,经营业绩由主要依赖电量增长转变为依赖有效资产增长和运营效率提升,在适应监管要求下,必须强化资产、业务与成本三者关系,争取合理输配电核价参数及核价水平,这就要求电网企业必须提升资产管理水平,夯实有效资产基础。电网企业在运行过程中会产生大量的业务数据,如何对业务数据进行质量监控是目前研究的热点。


技术实现思路

1、本申请实施例提供了数据质量的监控方法、装置、存储介质及计算机设备,可以自动检查设备全寿命周期数据质量问题,代替人工检查工作,提升数据质量检查工作效率。所述技术方案如下:

2、第一方面,本申请实施例提供了一种数据质量的监控方法,所述方法包括:

3、采集业务数据,以及利用检查规则库集合中的各个检查规则对所述业务数据进行检查,输出各个检查规则对应的异常数据集;

4、根据均值偏移算法识别出各个异常数据集中不满足数据质量判据的数本文档来自技高网...

【技术保护点】

1.一种数据质量的监控方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在数据中台中采集业务数据,以及基于Map-Reduce检测算法对所述业务数据进行检查。

3.根据权利要求1或2所述的方法,其特征在于,各个数据质量指标配置有多个数据质量指标规则,每个数据质量指标规则配置有权重;

4.根据权利要求3所述的方法,其特征在于,若数据x满足公式|x-xn|<k×e,则数据x判断为异常数据;其中,e为异常数据集的标准差,xn为数据质量判据,x为异常数据集中的任意一个数据,k为正实数。

5.根据权利要求1或2或4所述的方法,其特征...

【技术特征摘要】

1.一种数据质量的监控方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在数据中台中采集业务数据,以及基于map-reduce检测算法对所述业务数据进行检查。

3.根据权利要求1或2所述的方法,其特征在于,各个数据质量指标配置有多个数据质量指标规则,每个数据质量指标规则配置有权重;

4.根据权利要求3所述的方法,其特征在于,若数据x满足公式|x-xn|<k×e,则数据x判断为异常数据;其中,e为异常数据集的标准差,xn为数据质量判据,x为异常数据集中的任意一个数据,k为正实数。

5.根据权利要求1或2或4所述的方法,其特征在于,分别给数据质量清单中的各个数据质量集合设置分类标...

【专利技术属性】
技术研发人员:韩永生李春廷赵忠洋夏竹侠王辉司彩霞
申请(专利权)人:远光软件股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1