一种云边协同模式下的数据质量稽核方法技术

技术编号:39764863 阅读:24 留言:0更新日期:2023-12-22 02:19
本发明专利技术公开了一种云边协同模式下的数据质量稽核方法,通过公司侧定义评价指标

【技术实现步骤摘要】
一种云边协同模式下的数据质量稽核方法


[0001]本专利技术涉及工业互联网水电领域,特别设计一种云边协同模式下的数据质量稽核方法


技术介绍

[0002]工业数据质量稽核能够支撑工业互联网行业的数据质量评估与提升,为及时发现洞察数据质量问题

明确问题类别与源头进行质量改进,实现全过程管理与评估;对于集团多级模式下,更需要统一稽核策略,及时发现厂站侧的数据质量问题,提升整个集团的数据质量;现有技术的数据稽核大多数只能在当前的公司侧或者厂站侧进行稽核任务的定义和运行,无法形成公司侧和厂站侧的数据稽核联动;因此,需要设计一种云边协同模式下的数据质量稽核方法来解决上述问题


技术实现思路

[0003]本专利技术的目的在于提供一种云边协同模式下的数据质量稽核方法,该方法解决了现有技术的数据稽核只能在公司侧或者厂站侧进行稽核任务的定义和运行,无法有效进行联动的问题;具有可进行公司侧和厂站侧的数据稽核联动的特点

[0004]为解决上述技术问题,本专利技术的技术方案是:一种云边协同模式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种云边协同模式下的数据质量稽核方法,其特征在于,包括以下步骤:
S1
,定义水电数据质量规则和告警条件,具体包括:定义水电数据的规则类型

质量纬度

规则代码和参数值信息;
S2
,制定质量规则模板,具体包括:将水电数据的规则固化为模板,对于相同场景下的稽核直接复用;
S3
,配置质量规则任务,具体包括:选择监控对象

引用或自定义质量规则以及配置调度任务和配置告警条件,形成需要下发的质量规则任务列表;配置任务名称

加入对象数据,以及针对稽核策略的具体判断数据异常的条件和任务的执行周期;
S4
,运行质量任务,具体包括:将配置好的质量任务下发到厂站侧,并在厂站侧运行质量任务
,
由于现场采集设备和链路的原因产生数据中断现象,
Hive 实时库和
Kafka
队列中没有此部分的数据,系统恢复后,
Hive
历史库通过全量的方式采集数据,造成
Hive
历史库中有数据,
Hive
实时库和工业互联网平台没有数据;此时进入运维管理,找到对应的任务,进行测点补植,将
Hive
历史库中的数据同步到工业...

【专利技术属性】
技术研发人员:黄正海司汉松张春辉毛业栋徐波袁琴王学丽关苏敏
申请(专利权)人:中国长江电力股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1