本发明专利技术公开了一种能源互联网的实时数据分析系统及其方法，适用于时效性要求较高的实时流计算以及时效性不高、精确的离线计算。本发明专利技术前端采用一种分布式缓存的机制，实现大规模并发数据的高速采集；后端采用一种分布式计算框架的机制，实现业务计算方法的快速实现。本发明专利技术既能满足实时流计算又能满足离线计算的通用、高效的计算框架；同时，本发明专利技术支持业务计算的水平扩展。
【技术实现步骤摘要】
本专利技术涉及实时数据分析领域，特别是。
技术介绍
随着移动互联、物联网技术的不断发展，建立在物联网技术基础之上的能源互联网应用在生成过程中产生多源、海量的时序数据。其主要特征为:(I)分布在全网采集节点越来越多；(2)采集节点数据产生频率低，部分节点数据为秒级；(3)对于单个采集节点或者多个采集节点之间的数据，进行实时分析；(4)对于单个采集节点的历史数据或者多个采集节点的历史数据，进行统计分析；(5)对于实时数据进行可靠的计算分析；(6)对于新的业务需求，通过水平扩展方式，快速实现新的计算分析需求。
技术实现思路
针对现有技术中存在的问题，本专利技术提供了一种能够实时分析多源、海量的时序数据的系统以实现能源的动态调整，可实现数据的高速采集与快速实现实时流计算与离线计算业务的实时数据分析系统及其方法。本专利技术的目的通过以下技术方案实现。—种能源互联网的实时数据分析系统，包括缓存组件、计算组件、协调服务组件，所述的缓存组件向计算组件单向通信，所述的缓存组件和协调服务组件之间双向通信，所述的计算组件和协调服务组件之间双向通信，所述的缓存组件上连接有API接口，所述的API接口与协调服务组件之间双向通信，所述的计算组件上连接有存储组件，所述的存储组件与计算组件之间双向通信。所述的计算组件包括数据源单元和计算单元，所述的数据源单元向计算单元单向通信。所述的存储组件向数据源单元单向通信，所述的计算单元向存储组件单向通信。所述的API接口为实时数据加载API接口和\或实时消息加载API接口；所述的存储组件包括实时数据库、关系数据库和HDFS。—种能源互联网的实时数据分析方法，在实时计算分析场景下执行实时流计算；在历史数据统计分析场景下执行离线计算。所述的实时流计算步骤包括:I)应用程序通过API接口向缓存组件加载实时数据；2)计算组件的数据源单元从缓存层读取实时数据；3)计算组件的数据计算单元，完成实时流数据的计算，并将计算结果存储于存储组件。所述的离线计算分为定时周期离线计算和消息触发离线计算，所述的定时周期离线计算步骤包括:I)计算组件的数据源单元通过定时机制，从存储组件中定时地获取历史数据;2)计算组件的计算单元完成业务计算，并将计算结果存储于存储组件，所述的消息触发离线计算步骤包括:I)应用程序通过API接口，将触发消息发送至缓存组件;2)计算组件的数据源单元，从缓存组件获取消息，并且数据源单元获得消息后，则从存储组件读取历史数据;3)计算组件的计算单元完成业务计算，并将计算结果存储于存储组件。相比于现有技术，本专利技术的优点在于:解决了实时数据高速分布式采集;提供了实时流计算场景下的可编程计算系统;提供了对于计算准确性高且时效性不高的离线可编程计算系统。【附图说明】图1为本专利技术实时数据分析的结构示意图。图2为本专利技术实时流计算机构示意图。图3为本专利技术定时周期离线计算结构图。图4为本专利技术消息触发离线计算结构图。【具体实施方式】下面结合说明书附图和具体的实施例，对本专利技术作详细描述。如图1所示，一种能源互联网的实时数据分析系统，包括缓存组件、计算组件、协调服务组件，以上组件均支持分布式集群部署。所述的缓存组件向计算组件单向通信，所述的缓存组件和协调服务组件之间双向通信，缓存组件的功能是实现数据的高速采集，其主要分为两种类型队列:数据缓存队列、消息缓存队列。为了实时数据的高效采集，数据缓存可创建多个数据队列，进而提升实时数据加载的并发性能。同时，从数据可靠性角度，数据/消息缓存队列创建备份队列，并将备份队列部署在与原队列不同的集群节点上。协调服务组件的功能是解决缓存组件与计算组件集群的协调服务，以及应用的元数据管理。所述的计算组件和协调服务组件之间双向通信，计算组件的功能是提供实时/离线计算的基本系统，所述的缓存组件上连接有API接口，所述的API接口与协调服务组件之间双向通信，所述的计算组件上连接有存储组件，所述的存储组件与计算组件之间双向通信。所述的计算组件包括数据源单元和计算单元，所述的数据源单元向计算单元单向通信。所述的存储组件向数据源单元单向通信，所述的计算单元向存储组件单向通信。所述的API接口为实时数据加载API接口和\或实时消息加载API接口；所述的存储组件包括实时数据库、关系数据库和HDFSο计算组件通过存储组件的接口，从存储组件中获取数据或者将计算结果存储于存储组件。协调服务组件负责缓存组件、计算组件的元数据管理，进而实现各集群节点协调管理。协调服务组件也可为用户提供元数据管理，例如:缓存组件IP与端口号、存储组件IP和端口号等等。在应用中，整个系统系统只对外部提供协调服务系统的IP和端口号，其他组件的元数据信息均存储于协调服务组件。—种能源互联网的实时数据分析方法，在实时计算分析场景下执行实时流计算；在历史数据统计分析场景下执行离线计算。如图2所示，所述的实时流计算步骤包括:I)应用程序通过API接口向缓存组件加载实时数据；2)计算组件的数据源单元从缓存层读取实时数据；3)计算组件的数据计算单元，完成实时流数据的计算，并将计算结果存储于存储组件。在该种应用场景下，缓存组件设计目的:(I)解决应用程序数据高速提交的数据缓存的问题；(2)数据的持久化存储，解决数据缓存的可靠性；(3)支持集群部署，解决数据并发加载的问题。计算组件设计当前第1页1 2 本文档来自技高网...
【技术保护点】
一种能源互联网的实时数据分析系统，包括缓存组件、计算组件、协调服务组件，其特征在于所述的缓存组件向计算组件单向通信，所述的缓存组件和协调服务组件之间双向通信，所述的计算组件和协调服务组件之间双向通信，所述的缓存组件上连接有API接口，所述的API接口与协调服务组件之间双向通信，所述的计算组件上连接有存储组件，所述的存储组件与计算组件之间双向通信。
【技术特征摘要】
【专利技术属性】
技术研发人员：王远，蒋英明，吴佳，苏丹，袁卫国，陈立宇，郑晓露，粟勇，周淳，史英杰，袁军，李贤慧，
申请(专利权)人：江苏瑞中数据股份有限公司，国家电网公司，国网冀北电力有限公司信息通信分公司，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。