一种基于流处理任务和定时任务的数据实时集成方法技术

本发明专利技术提出一种基于流处理任务和定时任务的数据实时集成方法，属于数据实时集成技术领域。包括：S1、获取不同来源的待集成数据，规范待集成数据格式；S2、定义集成后的数据大小，数据大小用键的数量进行表征；S3、定义数据暂存区的存储结构，存储不同来源正在集成的数据；S4、通过数据传输接口将规范后的待集成数据输入数据暂存区进行数据集成；S5、判断数据集成是否完成，若集成完成，将数据暂存区中Key下集成的数据以字典格式存入MongoDB数据库，并从数据暂存区中删除数据；若集成未完成，不进行任何操作。解决无法实现流处理任务和定时任务的实时数据集成，无法支持用户对全量生产信息实时随机查询和历史数据下载的问题。信息实时随机查询和历史数据下载的问题。信息实时随机查询和历史数据下载的问题。

【技术实现步骤摘要】
一种基于流处理任务和定时任务的数据实时集成方法


[0001]本申请涉及一种基于流处理任务和定时任务的数据实时集成方法，属于数据实时集成


技术介绍

[0002]电力设备是重点领域之一，信息技术与发电制造技术的深度融合，助力实现粗放制造向绿色制造转型、生产型制造向服务型制造转型。时至今日，电力装备的各个领域几乎都能看到智能化的身影。智能监测系统在融合了工业现场的传统DCS系统的主要功能的同时，融入了大数据挖掘、智能算法分析、物联网、网络互连等技术，通过对电厂生产和安全运行的全方位数据监测和感知，对数据进行融合、分析和处理，并与业务流程深度集成，为机组运行优化、智能控制和决策提供依据。
[0003]在实际生产过程中，往往会在电厂侧配置上万个传感器，进行参数收集、监测和分析等。现有智能监测系统通常以智能监盘的形式提供部分重要生产参数的可视化实时显示和历史查询，支持运维人员迅速掌握重要生产参数的变化，发现潜在问题，指导后续操作。然而，在项目应用中发现，运维人员的需求十分灵活多变，时常需要在不同的工况下，查看不同的参数信息；比较同一工况下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于流处理任务和定时任务的数据实时集成方法，其特征在于，包括以下步骤：S1、获取不同来源的待集成数据，规范待集成数据格式；t
i
:{k1:v1,k2:v2,
…
k
n
:v
n
}式中，t
i
为数据通道中采集数据的时间戳，k
i
为键的标识，v
i
为相应的数值，k
i
:v
vi
为键值对；S2、定义集成后的数据大小，数据大小用键的数量进行表征；S3、定义数据暂存区的存储结构，存储不同来源正在集成的数据；S4、通过数据传输接口将规范后的待集成数据输入数据暂存区进行数据集成；S5、判断数据集成是否完成，若集成完成，将数据暂存区中Key下集成的数据以字典格式存入MongoDB数据库，并从数据暂存区中删除数据；若集成未完成，不进行任何操作。2.根据权利要求1所述的一种基于流处理任务和定时任务的数据实时集成方法，其特征在于，定义集成后的数据大小的方法是：当时间戳t1仅有流处理任务的数据待集成时，对规范后的待集成数据的键提取并集Key
‑
set1，统计Key
‑
set1中键的数量|Key
‑
set1|用键的个数表征集成后流处理任务的数据大小；当时间戳t2既有流处理任务的数据又有定时任务的数据待集成时，对规范后的待集成数据的键提取并集Key
‑
set2，统计Key
‑
set2中键的数量|Key
‑
set2|，用键的个数表征集成后流处理任务和定时任务的数据大小。3.根据权利要求2所述的一种基于流处理任务和定时任务的数据实时集成方法，其特征在于，数据暂存区通过Redis内存数据库实现，存储结构包括Key和Value，Key为数据通道中采集数据的时间戳，Value为时间戳下的键值对。4.根据权利要求3所述的一种基于...

【专利技术属性】
技术研发人员：平丽琪，毛静轩，曲晓峰，苗东旭，赵明，宋为平，杨永明，崔明，孟晓冬，李文浩，
申请(专利权)人：哈尔滨电气科学技术有限公司，
类型：发明
国别省市：