一种基于面向对象的数据采集系统及采集方法技术方案

本发明专利技术公开了一种基于面向对象的数据采集系统及采集方法，涉及电力系统数据采集领域。目前，电能采集过程中出现的拓展性、复用性和灵活性方面不足。本发明专利技术包括网关集群、通信前置集群、业务处理器集群、数据总线、入库服务模块、海量数据分析模块、数据存储模块；本技术方案采用分布式弹性架构设计，运用流处理、消息中间件、分布式存储与并行计算等技术，重构电力数据采集系统，从存储能力、计算性能、数据处理速度和智能分析等方面进行极大地提升，为支撑用电营销智能分析、服务业务创新、拓展专业应用和提高供电服务水平等方面提供了有力保障。

An Object-Oriented Data Acquisition System and Method

【技术实现步骤摘要】
一种基于面向对象的数据采集系统及采集方法
本专利技术涉及电力系统数据采集领域，尤其涉及一种基于面向对象的数据采集系统及采集方法。
技术介绍
目前采集系统的通信协议因各种拓展而很不统一，导致电能采集通信过程中增加了大量不必要的规约转换工作，对实现互操作带来了困难，严重制约了未来智能电网下电量信息的高度智能化应用。同时，传统的通信协议主要是面向业务的数据型协议，对于电能采集中日趋多样化的采集任务需求，在其拓展性、复用性和灵活性方面逐渐显现出一些不足。在采集数据时，传统1376.1规约下只允许按照已有规则进行数据采集，例如日冻结正向有功总电能量，必须通过规定的0DF005编码去采集，电能采集过程中出现的拓展性、复用性和灵活性方面不足。
技术实现思路
本专利技术要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供一种基于面向对象的数据采集系统及采集方法，以达到提高拓展性、复用性和灵活性的目的。为此，本专利技术采取以下技术方案。一种基于面向对象的数据采集系统，包括网关集群、通信前置集群、业务处理器集群、数据总线、入库服务模块、海量数据分析模块、数据存储模块；网关集群，用于将采集设备接入电力数据采集系统，并维护终端通讯链路和原始报文的收发，所述的采集设备包括专变负控终端、配变监测终端、低压集中器；通信前置集群，与网关集群相连，用于原始数据报文的分发调度，并将原始数据报文推送至分布式消息队列中；通信前置集群对报文的分发调度基于设备地址域算法实现策略分发，通过监控业务处理器集群各节点的运行状况实现分发策略的动态调整；通过心跳握手机制监控前置业务处理器各节点的运行状况，针对节点新增、节点故障及故障节点恢复三种场景分别按照“新增节点分发策略”、“节点故障时分发策略”和“故障节点恢复时分发策略进行动态调整，并把本节点上的终端地址按地址域算法分发给指定业务处理器节点，以减少且均衡加载系统档案，降低程序对服务器内存配置要求；业务处理器集群，与通信前置模块相连，用于通讯规约解析，并与分布式消息队列进行交互；即从消息队列获取下行请求并组成下行帧，将通信前置的原始数据报文进行规约解析并将解析结果推送至分布式消息队列中，数据总线模块，用于支撑上下行通信交互信息的时序化和持久化；采用高吞吐量的分布式Kafka消息队列，充分利用Kafka服务的主题和主题分区，将发布者主题和主站应用集群、业务处理器集群相关联，统一管理主站应用产生的下行请求数据和终端上行数据的收/发；入库服务模块，用于从消息队列获取数据批量存入关系型数据库；采用分布式大数据框架Hadoop和传统关系型数据库Oracle结合的方式以适应海量数据的分析和存储；海量数据分析模块，通过基于分布式文件系统的大数据框架实现业务数据的实时计算、离线分析，为进一步深度挖掘提供技术支撑；数据存储模块，用于存储全部业务数据、档案数据、原始数据，为系统提供基本数据支持和计算服务；其分为主生产库、灾备库、历史库、数据发布库，并按业务和存储时限做分库策略以降低单点数据库的访问压力。对海量数据的存储，根据不同的数据使用属性将关系型数据库划分为主生产库、灾备库、历史库、数据发布库，保障采集数据安全稳定、降低生产库的数据访问压力、提升数据发布效率，并按业务和存储时限做分库策略以降低单点数据库的访问压力。作为优选技术手段：通信前置机把现场所有终端设备地址域划按一定规则划分为多个区间，设备地址按下行Topic的数量取模得到对应组地址域区间；下行Topic与地址域区间之间存在映射关系，前置业务处理器节点对地址域区间的管理，也即对下行Topic的管理；初始化地址域分配策略按业务前置处理服务节点数量取模，节点新增、节点故障及故障节点恢复时分别按照“新增节点分发策略”、“节点故障时分发策略”和“故障节点恢复时分发策略”实现动态调整，将分配信息及时更新至Zookeeper分布式服务系统，以降低程序内存加载，提高程序集群扩展能力。作为优选技术手段：A)节点新增/扩容时的分发策略为：A01)对每个业务处理器节点所分配的Topic按照Topic编码进行排序，并计算该节点当前处理的Topic总数；A02)对业务处理器节点根据Topic总数进行排序；A03)计算每个业务处理器节点能处理Topic的平均值，Topic总数除以业务处理器节点总数；A04)将节点中Topic数量大于AvgTopic的所有业务处理器节点的多余Topic取出，取出规则：A05)优先选择步骤A02)排序较大的业务处理器节点中Topic编码较大的Topic；A06)将步骤A04)中取出的Topic优先分配给新增的业务处理器节点，使新增节点的Topic数约平均值；若仍有未分配的Topic则对所有节点进行取模分配；A07)其他节点中删除被分配走的Topic信息。作为优选技术手段：B)节点故障时的分发策略为：B01)对前置业务处理器节点按照Topic数量进行排序；B02)Topic总数除以当前运行的前置业务处理器节点总数，得到当前运行的每个业务处理器节点处理Topic的平均值；B03)根据平均值计算当前运行的每个业务处理器节点可新增的Topic数量：由b计算得的均值-现有的Topic数；B04)将因节点故障引起的待分发Topic按照节点新增/扩容时的分发策略的计算值依次分发给排序小的业务处理器节点。作为优选技术手段：C)故障节点恢复时分发策略为：C01)恢复的业务处理器节点按照初始化时的分配策略加载对应的Topic；C02)从其他业务处理器节点定时删除这些被归还给恢复节点的Topic信息。作为优选技术手段：入库服务模块对采集数据进行即采即校、实时修复的方式，运用流处理技术，实现对采集负荷、电能示值数据进行实时检查、校验，并对问题数据进行标记，对异常负荷数据进行修复；针对问题数据通过功率估值、ARIMA算法和营销发行电量进行修复，保证数据的合理性、一致性、逻辑性，通过及时发现、标注无效和失真数据，提高系统数据质量；运用流处理技术实现电能量数据、告警事件的实时监测与分析；所述流处理技术采用实时计算的框架，采用Hbase+Storm，Storm实时计算框架负责从消息队列中获取原始数据和报文数据入HBase分布式数据库。作为优选技术手段：海量数据分析模块通过大数据分布式内存并行计算框架，实现按小时对采集成功率指标、各类用户电量和负荷、线损计算、配变运行监测、移动运营商信道质量监测、终端在线率进行统计，以满足各级单位业务管控需求；准实时分析框架采用Hive+Spark，Spark离线计算框架实现将原始数据导入Hive数据仓库执行海量数据的统计分析业务及数据挖掘。本专利技术的另一个专利技术目的为提供一种基于面向对象的数据采集方法，其特征在于：1)当采集主站需要对终端、测量点进行设置、召测操作时，包括以下步骤：101)Oracle主生产库从营销系统同步基础数据，主要存储全部业务数据、档案数据、原始数据，为采集主站提供数据查询；102)采集主站发起下行请求，可根据不同操作类型设置不同Key发布到Kafka服务的下行Topic中，并将操作命令id存入Redis缓存中；103)下行Topic内的消息按照Key和算法被分区存储，不同的分区可定义不同的优先级，如配置优先级最高的分区处本文档来自技高网...

【技术保护点】
1.一种基于面向对象的数据采集系统，其特征在于：包括网关集群、通信前置集群、业务处理器集群、数据总线、入库服务模块、海量数据分析模块、数据存储模块；网关集群，用于将采集设备接入电力数据采集系统，并维护终端通讯链路和原始报文的收发，所述的采集设备包括专变负控终端、配变监测终端、低压集中器；通信前置集群，与网关集群相连，用于原始数据报文的分发调度，并将原始数据报文推送至分布式消息队列中；通信前置集群对报文的分发调度基于设备地址域算法实现策略分发，通过监控业务处理器集群各节点的运行状况实现分发策略的动态调整；通过心跳握手机制监控前置业务处理器各节点的运行状况，针对节点新增、节点故障及故障节点恢复三种场景分别按照“新增节点分发策略”、“节点故障时分发策略”和“故障节点恢复时分发策略进行动态调整，并把本节点上的终端地址按地址域算法分发给指定业务处理器节点，以减少且均衡加载系统档案，降低程序对服务器内存配置要求；业务处理器集群，与通信前置模块相连，用于通讯规约解析，并与分布式消息队列进行交互；即从消息队列获取下行请求并组成下行帧，将通信前置的原始数据报文进行规约解析并将解析结果推送至分布式消息队列中，数据总线模块，用于支撑上下行通信交互信息的时序化和持久化；采用高吞吐量的分布式Kafka消息队列，充分利用Kafka服务的主题和主题分区，将发布者主题和主站应用集群、业务处理器集群相关联，统一管理主站应用产生的下行请求数据和终端上行数据的收/发；入库服务模块，用于从消息队列获取数据批量存入关系型数据库；采用分布式大数据框架Hadoop和传统关系型数据库Oracle结合的方式以适应海量数据的分析和存储；海量数据分析模块，通过基于分布式文件系统的大数据框架实现业务数据的实时计算、离线分析，为进一步深度挖掘提供技术支撑；数据存储模块，用于存储全部业务数据、档案数据、原始数据，为系统提供基本数据支持和计算服务；其分为主生产库、灾备库、历史库、数据发布库，并按业务和存储时限做分库策略以降低单点数据库的访问压力。...

【技术特征摘要】
2019.01.04 CN 20191000954321.一种基于面向对象的数据采集系统，其特征在于：包括网关集群、通信前置集群、业务处理器集群、数据总线、入库服务模块、海量数据分析模块、数据存储模块；网关集群，用于将采集设备接入电力数据采集系统，并维护终端通讯链路和原始报文的收发，所述的采集设备包括专变负控终端、配变监测终端、低压集中器；通信前置集群，与网关集群相连，用于原始数据报文的分发调度，并将原始数据报文推送至分布式消息队列中；通信前置集群对报文的分发调度基于设备地址域算法实现策略分发，通过监控业务处理器集群各节点的运行状况实现分发策略的动态调整；通过心跳握手机制监控前置业务处理器各节点的运行状况，针对节点新增、节点故障及故障节点恢复三种场景分别按照“新增节点分发策略”、“节点故障时分发策略”和“故障节点恢复时分发策略进行动态调整，并把本节点上的终端地址按地址域算法分发给指定业务处理器节点，以减少且均衡加载系统档案，降低程序对服务器内存配置要求；业务处理器集群，与通信前置模块相连，用于通讯规约解析，并与分布式消息队列进行交互；即从消息队列获取下行请求并组成下行帧，将通信前置的原始数据报文进行规约解析并将解析结果推送至分布式消息队列中，数据总线模块，用于支撑上下行通信交互信息的时序化和持久化；采用高吞吐量的分布式Kafka消息队列，充分利用Kafka服务的主题和主题分区，将发布者主题和主站应用集群、业务处理器集群相关联，统一管理主站应用产生的下行请求数据和终端上行数据的收/发；入库服务模块，用于从消息队列获取数据批量存入关系型数据库；采用分布式大数据框架Hadoop和传统关系型数据库Oracle结合的方式以适应海量数据的分析和存储；海量数据分析模块，通过基于分布式文件系统的大数据框架实现业务数据的实时计算、离线分析，为进一步深度挖掘提供技术支撑；数据存储模块，用于存储全部业务数据、档案数据、原始数据，为系统提供基本数据支持和计算服务；其分为主生产库、灾备库、历史库、数据发布库，并按业务和存储时限做分库策略以降低单点数据库的访问压力。2.根据权利要求1所述的一种基于面向对象的数据采集系统，其特征在于：通信前置机把现场所有终端设备地址域划按一定规则划分为多个区间，设备地址按下行Topic的数量取模得到对应组地址域区间；下行Topic与地址域区间之间存在映射关系，前置业务处理器节点对地址域区间的管理，也即对下行Topic的管理；初始化地址域分配策略按业务前置处理服务节点数量取模，节点新增、节点故障及故障节点恢复时分别按照“新增节点分发策略”、“节点故障时分发策略”和“故障节点恢复时分发策略”实现动态调整，将分配信息及时更新至Zookeeper分布式服务系统，以降低程序内存加载，提高程序集群扩展能力。3.根据权利要求2所述的一种基于面向对象的数据采集系统，其特征在于：A)节点新增/扩容时的分发策略为：A01)对每个业务处理器节点所分配的Topic按照Topic编码进行排序，并计算该节点当前处理的Topic总数；A02)对业务处理器节点根据Topic总数进行排序；A03)计算每个业务处理器节点能处理Topic的平均值，Topic总数除以业务处理器节点总数；A04)将节点中Topic数量大于AvgTopic的所有业务处理器节点的多余Topic取出，取出规则：A05)优先选择步骤A02)排序较大的业务处理器节点中Topic编码较大的Topic；A06)将步骤A04)中取出的Topic优先分配给新增的业务处理器节点，使新增节点的Topic数约平均值；若仍有未分配的Topic则对所有节点进行取模分配；A07)其他节点中删除被分配走的Topic信息。4.根据权利要求3所述的一种基于面向对象的数据采集系统，其特征在于：B)节点故障时的分发策略为：B01)对前置业务处理器节点按照Topic数量进行排序；B02)Topic总数除以当前运行的前置业务处理器节点总数，得到当前运行的每个业务处理器节点处理Topic的平均值；B03)根据平均值计算当前运行的每个业务处理器节点可新增的Topic数量：由b计算得的均值-现有的Topic数；B04)将因节点故障引起的待分发Topic按照节点新增/扩容时的分发策略的计算值依次分发给排序小的业务处理器节点。5.根据权利要求4所述的一种基于面向对象的数据采集系统，其特征在于：C)故障节点恢复时分发策略为：C01)恢复的业务处理器节点按照初始化时的分配策略加载对应的Topic；C02)从其他业务处理器节点定时删除这些被归还给恢复节点的Topic信息。6.根据权利要求5所述的一种基于面向对象的数据采集系统，其特征在于：入库服务模块对采集数据进行即采即校、实时修复的方式，运用流处理技术，实现对采集负荷、电能示值数据进行实时检查、校验，并对问题数据进行标记，对异常负荷数据进行修复；针对问题数据通过功率估值、ARIMA算法和营销发行电量进行修复，保证数据的合理性、一致性、逻辑性，通过及时发现、标注无效和失真数据，提高系统数据质量；运用流处理技术实现电能量数据、告警事件的实时监测与分析；所述流处理技术采用实时计算的框架，采用Hbase+Storm，Storm实时计算框架负责从消息队列中获取原始数据和报文数据入HBase分布式数据库。7.根据权利要求6所述的一种基于面向对象的数据采集系统，其特征在于：海量数据分析模块通过大数据分布式内存并行计算框架，实现按小时对采集成功率指标、各类用户电量和负荷、线损计算、配变运行监测、移动运营商信道质量监测、终端在线率进行统计，以满足各级单位业务管控需求；准实时分析框架采用Hive+Spark，Spark离线计算框架实现将原始数据导入Hive数据仓库执行...

【专利技术属性】
技术研发人员：郑安刚，巫钟兴，王伟峰，汪岳荣，顾春云，江婷，骆云江，郁春雷，麻吕斌，
申请(专利权)人：国网浙江省电力有限公司，中国电力科学研究院有限公司，浙江华云信息科技有限公司，国家电网有限公司，
类型：发明
国别省市：浙江,33