电网调控多源时序数据批流融合的数据检测方法和装置制造方法及图纸

技术编号:41436883 阅读:21 留言:0更新日期:2024-05-28 20:31
本发明专利技术涉及一种电网调控多源时序数据批流融合的数据检测方法和装置,包括源数据端将业务系统数据发送到数据汇集模块,数据汇集模块将业务系统数据、业务系统数据的维度特征信息和数据时间尺度信息封装成业务分析报文,将业务分析报文发送到数据检测引擎,数据检测引擎依据触发方式对业务系统数据处理,得到调度运行数据,并触发检测计算组件对调度运行数据进行检测,得到检测明细数据。本发明专利技术既支持流数据的实时计算与检测,保证实时检测新增数据的质量情况,同时能定期对存量历史数据进行批处理,无需将流数据检测与批数据检测拆分成两种不同的独立架构进行单独处理,提高数据检测计算的实时性和稳定性的技术问题,同时简化了数据检测开发和运维的工作逻辑,解决了调优人力成本高、资源利用率低等问题。本发明专利技术还涉及一种设备和存储介质。

【技术实现步骤摘要】

本专利技术涉及电力系统,尤其涉及一种电网调控多源时序数据批流融合的数据检测方法和装置


技术介绍

1、实际电网调控系统运行和数据采集过程中,调控运行数据来源于多个系统,且调控运行数据往往存在增量、补送以及历史等多时间尺度的时序数据,数据类型多变且特性多样,以动态数据流为主的增量数据、补送数据和海量长周期历史存量数据在处理方式、粒度和调度时机上都有一定的差异,往往导致数据检测处理架构上无法完全统一,现在通常将动态数据流为主的增量数据、补送数据的检测与历史存量数据检测拆分成两种不同的独立架构进行单独处理,占用了大量资源并增加了运维工作成本。


技术实现思路

1、针对解决以动态数据流为主的增量数据、补送数据和海量长周期历史存量数据在处理方式、粒度和调度时机上的差异,无法在数据检测处理架构统一的问题,本专利技术提供了一种电网调控多源时序数据批流融合的数据检测方法和装置。

2、第一方面,本专利技术提供了一种电网调控多源时序数据批流融合的数据检测方法,所述方法包括:

3、源数据端采集多个业务系统数据本文档来自技高网...

【技术保护点】

1.一种电网调控多源时序数据批流融合的数据检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述数据汇集模块接收所述业务系统数据,将所述业务系统数据、所述业务系统数据的维度特征信息和数据时间尺度信息封装成业务分析报文,将所述业务分析报文发送到数据检测引擎,具体包括:

3.根据权利要求2所述的方法,其特征在于,所述数据检测引擎收到并解析所述业务分析报文得到所述业务系统数据的维度特征信息和数据时间尺度信息,根据所述数据时间尺度信息确定触发方式,依据所述触发方式对所述业务系统数据处理,得到调度运行数据,并触发检测计算组件对所述调度运行数据进...

【技术特征摘要】

1.一种电网调控多源时序数据批流融合的数据检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述数据汇集模块接收所述业务系统数据,将所述业务系统数据、所述业务系统数据的维度特征信息和数据时间尺度信息封装成业务分析报文,将所述业务分析报文发送到数据检测引擎,具体包括:

3.根据权利要求2所述的方法,其特征在于,所述数据检测引擎收到并解析所述业务分析报文得到所述业务系统数据的维度特征信息和数据时间尺度信息,根据所述数据时间尺度信息确定触发方式,依据所述触发方式对所述业务系统数据处理,得到调度运行数据,并触发检测计算组件对所述调度运行数据进行检测,得到检测明细数据,具体包括:

4.根据权利要求3所述的方法,其特征在于,所述当所述数据时间尺度信息是增量数据类型或补发数据类型,所述触发方式是实时处理,则所述数据检测引擎实时处理所述业务分析报文,得到所述调度运行数据,通过所述调度运行数据触发所述检测计算组件进行检测,得到所述检测明细数据,具体包括:

5.根据权利要求3所述的方法,其特征在于,所述当所述...

【专利技术属性】
技术研发人员:谢琳陶蕾冯琼陈斌叶瑞丽石上丘张周杰李泽科狄方春罗雅迪黄运豪范海威封超涵俞灵武书舟陈建洪宁馨盛歆歆
申请(专利权)人:中国电力科学研究院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1