一种基于大数据技术的用电信息采集系统及其采集方法技术方案

一种基于大数据技术的用电信息采集系统及其采集方法，涉及用电信息采集系统及其采集方法。目前用电信息采集系统存在高速海量数据存储计算模型欠缺和耗时、且计算效果不佳的问题。本发明专利技术包括：通信服务模块；数据存储模块：与通信服务模块相连，包括关系型数据库、分布式数据库及云存储，获取的用电信息数据对应存放至关系型数据库、分布式数据库及云存储中；数据处理模块：与数据存储模块相连，其包括定时计算服务单元、实时数据流处理单元、复杂事件流处理单元、海量数据离线处理单元及数据挖掘单元；数据展现模块：与数据存储模块相连。本技术方案实时计算和离线计算采用不同的处理方式，提高数据的实时处理能力和计算速度并有效减少存储空间。

Power information collection system based on big data technology and collecting method thereof

The utility model relates to an electric power information collection system based on big data technology and a collecting method thereof, relating to an electric power information collecting system and a collecting method thereof. At present, the power information collection system has many problems, such as high-speed, massive data storage, lack of computational model, time-consuming and poor computing effect. The invention includes a communication service module; data storage module: connected with the communication service module, including relational database, distributed database and cloud storage, access to electricity information of the corresponding data is stored to the relational database, distributed database and cloud storage; data processing module is connected with the data storage module, including timing service unit, real-time data stream processing unit, complex event stream processing unit, data processing unit and off-line data mining unit; data display module and data storage module is connected. The real-time calculation and off-line calculation of this technology scheme adopted different processing methods to improve the real-time processing ability and computing speed of data, and effectively reduce the storage space.

【技术实现步骤摘要】
一种基于大数据技术的用电信息采集系统及其采集方法
本专利技术涉及用电信息采集系统及其采集方法，尤其是一种基于大数据技术的用电信息采集系统及其采集方法。
技术介绍
自2010年起全面推进用电信息采集系统建设。截至2014年7月份，国网27家单位全部开展了用电信息采集系统建设，全口径用户实现采集覆盖2.3亿户，采集覆盖率达到66.98%，采集的电量占总售电量比例达到93.49%。用电信息采集系统由系统主站、传输信道、采集终端以及智能电表组成。系统主站负责整个系统的用电信息采集、存储、分析、处理和应用，由通信子系统、数据库、业务应用、接口应用等组成。大部分网省公司采用省级集中部署方式建设。传输信道分为系统主站与终端之间的远程通信信道、终端与智能电表之间的本地通信信道。当前公司范围内采集系统远程通信信道主要采用GPRS/CDMA无线公网系统、230MHz无线专网信道、电话PSTN、光纤通信信道等。本地通信信道主要采用RS485、低压电力线载波（窄带、宽带）、微功率无线等。电力用户用电信息采集系统是对电力用户的用电信息进行采集、处理和实时监控的系统，实现用电信息的自动采集、计量异常监测、电能质量监测、用电分析和管理、相关信息发布、分布式能源监控、智能用电设备的信息交互等功能。目前用电信息采集系统存在以下问题：1.高速海量数据存储计算模型欠缺现用电信息采集业务数据模型，面对浙江全省2000多万低压用户，在高频数据采集、存储、计算领域，存在不同种类、不同形式的海量数据存储、计算时间周期偏长；2.耗时两大且计算效果不佳，存在计算瓶颈现用电信息采集数据计算，受制于oracle原内存空间、处理性能瓶颈，对于每天24点的全省全量数据，实现数据计算，耗时两大且计算效果不佳。
技术实现思路
本专利技术要解决的技术问题和提出的技术任务是对现有技术方案进行完善与改进，提供大数据技术的用电信息采集系统，以达到存储、计算能力增强。为此，本专利技术采取以下技术方案。基于大数据技术的用电信息采集系统，包括：通信服务模块：通过通信网络与采集设备相连以获得用电信息数据；数据存储模块：与通信服务模块相连，包括关系型数据库、分布式数据库及云存储，获取的用电信息数据对应存放至关系型数据库、分布式数据库及云存储中；数据处理模块：与数据存储模块相连，其包括定时计算服务单元、实时数据流处理单元、复杂事件流处理单元、海量数据离线处理单元及数据挖掘单元，所述的定时计算服务单元及关系型数据库相连；所述的实时数据流处理单元、复杂事件流处理单元与分布式数据库相连，所述的复杂事件流处理单元、海量数据离线处理单元、数据挖掘单元与云存储相连；数据展现模块：与数据存储模块相连，以进行数据的展现，包括与分布式数据库相连的实时数据监测单元和与云存储相连的海量数据查询单元。本技术方案实时计算和离线计算采用不同的处理方式，提高数据的实时处理能力和计算速度并有效减少存储空间。作为对上述技术方案的进一步完善和补充，本专利技术还包括以下附加技术特征。通讯服务模块包括通信网关集群、通信前置机集群、流处理单元；其中通信网关集群用于维护终端通讯链路和原始报文的收发；通信前置机集群用于维护终端原始通讯报文的解析以及采集数据入库；采集数据入库采用双链路存储机制，即一路将低频度采集数据保存至关系型数据库，一路将所有采集数据保存至云平台；流处理单元用于对采集数据进行实时处理，包括数据提取、过滤、分析计算。关系型数据库为关系型数据库集群，其包括主数据库集群、历史数据库、灾备数据库；其中主数据库集群负责存储整个采集系统的档案数据和近期业务数据，为其他应用提供数据访问支撑；历史数据库通过数据迁移从主数据库迁移过来一定时间以上的历史业务数据进行存储；灾备数据库通过数据库底层复制技术，实现与生产主数据库相同的数据库应用备份节点。云存储设于云平台上，所述的云平台包括云存储、云计算和云接口；其中云存储负责采集全量数据以及来自外部数据源的各类非结构化数据的存储，并从关系型数据库中通过ETL实时同步档案数据；云计算负责对多样化的海量数据通过分布式计算实现各类统计分析；云接口负责对外部应用提供标准程序调用接口。云数据平台以高级统计分析计算业务为主，使得原依赖生产主数据库的统计分析等复杂应用迁移至云数据平台中，保证生产主数据库单一的数据采集入库及基本功能作用，降低主库压力，同时提升复杂统计分析应用以及数据处理的效率，使得高级统计分析功能响应速度可较之前大幅提升，以满足时效性越来越高的业务需求。所述的数据存储模块设有用于对电量采集前置机采集到的电量进行队列缓存的分布式消息队列存储单元，数据处理模块的实时数据流处理单元为分布式流计算单元：其采用ApacheStorm进行分布式实时计算；读取分布式消息队列存储单元数据，并实时存储到分布式数据库；数据处理模块的定时计算服务单元为分布式离线计算模块：用于在分布式数据库中抽取需要处理的电量信息，并将其导入到Hive数据表；通过Spark离线计算处理相关Hive数据表得到当期电量，并对相关异常处理。数据处理模块在系统部署初始化时，使用Sqoop工具直接从关系型数据库读取档案数据，并将数据放到分布式数据库存储，提供给各个分布式计算服务调用档案数据；在系统运行过程中，从关系型数据库读取增量档案更新数据，并可将数据实时更新到云平台的分布式文件存储中，为分布式流计算和离线计算提供准确的基础信息。数据展现模块根据各个应用框架的交互和状态数据，进行可视化的界面展现，同时通过读取各个计算服务存储在分布式数据库中的日志信息以及收集的文本日志信息，监控计算服务的运行状态，实现计算节点的热部署；对计算服务进行实时任务调度。基于大数据技术的用电信息采集方法，包括以步骤：1）电量采集前置机将采集电量实时发送到Kafka队列缓存；2）Storm集群读取Kafka队列电量信息，并实时存储到Hbase；3）Spark在Hbase中抽取需要处理的电量信息，并将其导入到Hive数据表；4）通过Spark离线计算操作相关Hive数据表得到当期电量。在步骤2）中，Storm集群包括一个主节点Nimbus和一群工作节点Supervisor，并通过Zookeeper进行协调；Nimbus负责在集群里面分发代码，分配计算任务给机器，并且监控状态；Supervisor监听分配给它那台机器的工作，根据需要启动/关闭工作进程。Supervisor的每一个工作进程执行一个topology的一个子集；一个运行的topology由运行在多台机器上的多个工作进程组成；计算任务Topology是由不同的Spouts和Bolts，通过数据流连接起来的图；Spout作为Storm中的消息源，用于为Topology生产消息，从外部数据源不间断地读取数据并发送给Topology消息；Bolt为Storm中的消息处理者，用于为Topology进行消息的处理，Bolt处理包括消息过滤、聚合、查询数据库，其对消息作逐级处理；最后，Topology被提交到Storm集群中运行；或通过命令停止Topology的运行，将Topology占用的计算资源归还给Storm集群。有益效果：基于大数据技术应用，通过分布式离线技术批量高速计算用电信息采集数据的分布式复杂事件流处理技本文档来自技高网...

【技术保护点】
基于大数据技术的用电信息采集系统，其特征在于包括：通信服务模块：通过通信网络与采集设备相连以获得用电信息数据；数据存储模块：与通信服务模块相连，包括关系型数据库、分布式数据库及云存储，获取的用电信息数据对应存放至关系型数据库、分布式数据库及云存储中；数据处理模块：与数据存储模块相连，其包括定时计算服务单元、实时数据流处理单元、复杂事件流处理单元、海量数据离线处理单元及数据挖掘单元，所述的定时计算服务单元及关系型数据库相连；所述的实时数据流处理单元、复杂事件流处理单元与分布式数据库相连，所述的复杂事件流处理单元、海量数据离线处理单元、数据挖掘单元与云存储相连；数据展现模块：与数据存储模块相连，以进行数据的展现，包括与分布式数据库相连的实时数据监测单元和与云存储相连的海量数据查询单元。

【技术特征摘要】
1.基于大数据技术的用电信息采集系统，其特征在于包括：通信服务模块：通过通信网络与采集设备相连以获得用电信息数据；数据存储模块：与通信服务模块相连，包括关系型数据库、分布式数据库及云存储，获取的用电信息数据对应存放至关系型数据库、分布式数据库及云存储中；数据处理模块：与数据存储模块相连，其包括定时计算服务单元、实时数据流处理单元、复杂事件流处理单元、海量数据离线处理单元及数据挖掘单元，所述的定时计算服务单元及关系型数据库相连；所述的实时数据流处理单元、复杂事件流处理单元与分布式数据库相连，所述的复杂事件流处理单元、海量数据离线处理单元、数据挖掘单元与云存储相连；数据展现模块：与数据存储模块相连，以进行数据的展现，包括与分布式数据库相连的实时数据监测单元和与云存储相连的海量数据查询单元。2.根据权利要求2所示的基于大数据技术的用电信息采集系统，其特征在于：通讯服务模块包括通信网关集群、通信前置机集群、流处理单元；其中通信网关集群用于维护终端通讯链路和原始报文的收发；通信前置机集群用于维护终端原始通讯报文的解析以及采集数据入库；采集数据入库采用双链路存储机制，即一路将低频度采集数据保存至关系型数据库，一路将所有采集数据保存至云平台的云存储；流处理单元用于对采集数据进行实时处理，包括数据提取、过滤、分析计算。3.根据权利要求1所示的基于大数据技术的用电信息采集系统，其特征在于：关系型数据库为关系型数据库集群，其包括主数据库集群、历史数据库、灾备数据库；其中主数据库集群负责存储整个采集系统的档案数据和近期业务数据，为其他应用提供数据访问支撑；历史数据库通过数据迁移从主数据库迁移过来一定时间以上的历史业务数据进行存储；灾备数据库通过数据库底层复制技术，实现与生产主数据库相同的数据库应用备份节点。4.根据权利要求1所示的基于大数据技术的用电信息采集系统，其特征在于：云存储设于云平台上，所述的云平台包括云存储、云计算和云接口；其中云存储负责采集全量数据以及来自外部数据源的各类非结构化数据的存储，并从关系型数据库中通过ETL实时同步档案数据；云计算负责对多样化的海量数据通过分布式计算实现各类统计分析；云接口负责对外部应用提供标准程序调用接口。5.根据权利要求1所示的基于大数据技术的用电信息采集系统，其特征在于：所述的数据存储模块设有用于对电量采集前置机采集到的电量进行队列缓存的分布式消息队列存储单元，数据处理模块的实时数据流处理单元为分布式流计算单元：其采用ApacheStorm进行分布式实时计算；读取分布式消息队列存储单元数据，并实时存储到分布式数据库；数据处理模块的定时计算...

【专利技术属性】
技术研发人员：蒋锦霞，朱青山，裴旭斌，闫娇娇，王红凯，黄宇腾，
申请(专利权)人：国网浙江省电力公司信息通信分公司，国家电网公司，浙江华云信息科技有限公司，
类型：发明
国别省市：浙江,33