基于AMI与J2EE的智能用电数据管理方法及系统技术方案

本发明专利技术公开了基于AMI与J2EE的智能用电数据管理方法，包括以下步骤：根据不同业务需求，按照待采集数据的配置条件要求，进行分配采集任务；采集任务执行，根据编制好的采集任务，按照要求自动下发采集指令到采集终端或量测设备，获取采集终端或量测设备的各类数据；数据检查，对采集回来的数据进行业务规则检查、数据完整性检查、数据质量检查，以针对数据结果正确与否进行的检查；数据存储，将采集终端或量测设备采集回来的数据存储到缓存区达到设定量后进行批量存储；智能用电数据管理系统，包括传感器、串口服务器、通讯服务电路、采集终端，在不需要增加硬件设施的条件下，采用技术手段自动或手动补采，做到数据的完整性。

【技术实现步骤摘要】
基于AMI与J2EE的智能用电数据管理方法及系统
本专利技术涉及用电数据管理、用电数据采集、展示和智能监控领域，具体的说，是基于AMI与J2EE的智能用电数据管理方法及系统。
技术介绍
目前在美国广泛应用的是高级量测体系AMI，而其中重要的是计量数据管理系统（MDMS）。MDMS是一个带有分析工具的数据库，通过与AMI自动数据手机系统的配合使用，处理和储存电表的计量值，能与其他信息系统之间进行交互，如用电信息系统、账单系统、电力网站、停电管理系统、电能质量管理和负荷预测系统、移动工作组管理、地理信息系统、变压器负荷管理系统。MDMS的一个基本功能是对AMI数据进行确认、编辑、估算、以确保即使通信网络终端和用户侧故障时，流向上述信息系统或软件的数据流也是完整这准确的。我国各主要电力公司根据业务发展需要，从20世纪90年代至今，已经建立了针对不同类型用户的电能信息采集系统，主要有关口电能量采集系统、电力负荷管理系统、客户电能量采集系统、低压集中抄表系统和配电自动化系统，并且各种电能量采集终端的安装已经具有一定规模。电能信息采集系统利用微电子和计算机网络、传感等技术自动读取和处理表计数据，将城市居民的用电信息加以综合处理。它主要实现用电数据采集、用电数据管理、表计控制、营销业务综合应用、表计运行维护管理。现有的采集系统无法满足不同类型用户、不同类型能源的采集需求，缺乏统一规划、统一标准规范，往往一个计量点要安装几个采集终端和各自系统主站交换数据。这不仅造成人力、物力等资源的极大浪费，还增加了计量设备的负担，影响了计量的准确度和设备的可靠行。比如用户用电信息智能采集系统侧重于数据的采集、分析和预测，而减弱了数据检查和数据挖掘的功能，这样就不能保证的数据的完整性和正确性。为此设计出弥补数据完整性的采集系统，如具有备用集中器的用电信息采，主要是通过当主集中器与主站之间的通信发生故障而不能将用电数据发送到主站时或当主集中器与采集器之间的通信发生故障而不能实时采集用电数据时，启动并切换到备用集中器，备用集中器将尚未发给主站的来自主集中器的用电数据继续发送到主站，并且继续收集采集器采集到的用电数据并且发送到主站的方法来降低数据完整性的缺陷。但是此方法是通过增加硬件设备的方法来解决的，这样就不可避免的增加了投入成本，也增加了投入效益回收年限。
技术实现思路
本专利技术的目的在于提供基于AMI与J2EE的智能用电数据管理方法及系统，在不需要增加硬件设施的条件下，采用技术手段自动或手动补采，做到数据的完整性。本专利技术通过下述技术方案实现：基于AMI与J2EE的智能用电数据管理方法，包括以下步骤：步骤A、采集任务分配：根据不同业务需求，按照待采集数据的配置条件要求，进行分配采集任务；步骤B、采集任务执行：经步骤A，根据编制好的采集任务，按照要求自动下发采集指令到采集终端或量测设备，获取采集终端或量测设备的各类数据；步骤C、数据检查：对步骤B采集回来的数据进行包括业务规则检查、数据完整性检查、数据质量检查，以针对数据结果正确与否进行的检查；步骤D、数据存储：将采集终端或量测设备采集回来的数据根据业务需要划分为一类实时数据、二类历史数据、三类事件数据，分别建立对应的消息队列，将数据存储到缓存区达到设定量后进行批量存储。进一步的，为更好的实现本专利技术所述方法，所述步骤A包括：步骤A.1、数据采集：智能用电数据管理系统对Q/GDW376.1-2009协议、MODBUS等采集终端常规协议的兼容开发与特性开发，根据不同的业务需要，通过智能电表、集中器、采集器采集能耗设备数据，通过传感器采集环境温度数据、辐射、风速、压力等数据；步骤A.2、数据过滤：将从主要由传感器组成的量测设备和主要由智能电表、集中器、采集器组成的采集终端得到的响应报文通过智能用电数据管理系统各种内置的过滤器进行数据匹配与过滤，最终转换成智能用电数据管理系统能够识别的数据和信息。进一步的，为更好的实现本专利技术所述方法，所述步骤B包含如下步骤：步骤B.1、收集市面上各种主流采集终端或量测设备的通信协议；步骤B.2、针对这些协议分析通信规则，找共性，开发兼容通信包；步骤B.3、针对主流采集设备的个性通信规则，进行最小差异化开发；步骤B.4、打包成一个大共性，小异性的兼容性通信API；步骤B.5、搭建测试环境，对主流采集设备进行测试步骤B.6、根据测试结果修改程序；步骤B.7、完成采集任务执行过程。进一步的，为更好的实现本专利技术所述方法，所述步骤C包含如下步骤：步骤C.1、数据采集过程：针对管理界面接收到的采集任务信息，按其具体配置条件对采集任务进行分组分时执行，按照配置条件匹配目标采集终端的通信协议对应在智能用电数据管理协议解析中的API，通过智能用电数据管理数据处理层对API的采集指令进行数据转换，自动按照采集任务下发采集设备能够识别的加密的采集指令到采集终端，智能用电数据管理数据处理层对采集终端反馈的加密的数据进行算法解密，并将采集回来的数据转换为智能用电数据管理系统能够识别和存储的格式。步骤C.2、数据质量检查：提供有效的数据检查指标，对采集的数据的合理性、有效性进行检查；步骤C.3、检查结果：通过智能用电数据管理系统按照业务规格设置的数据验证指标对数据进行验证，来实现数据的完整性和正确性；步骤C.4、经步骤C.3，如果所采集数据为合格数据或采集数据成功则将执行步骤D；如若所采集数据为不合格数据或采集数据不成功则将进行数据补采的选择，当选择补采，执行步骤C.1，当选择不补采，执行步骤D。进一步的，为更好的实现本专利技术所述方法，步骤C.3还包括以下步骤：步骤C3.1、采集质量检查：对采集任务的执行质量进行检查，统计数据采集成功率、采集的完整率；步骤C3.2、实时召采：数据检查完成后发现存在问题进行的差异化采集通讯。基于AMI与J2EE的智能用电数据管理方法及系统，包括传感器、串口服务器、通讯服务电路、采集终端，所述传感器通过串口服务器同通讯服务电路连接，所述通讯服务电路连接采集终端，所述采集终端包括智能电表、集中器和采集器；在所述通讯服务电路设置有将传感器、智能电表、集中器、采集器等所得终端或量测设备的响应报文进行数据匹配与过滤的过滤链层；在所述通讯服务电路设置有用于完成步骤B、步骤C、步骤D的IoHandler业务处理层；所述过滤链层中包括链路层过滤器、加密过滤器、请求响应过滤器、应用层过滤器、事件过滤器、心跳过滤器、时钟同步过滤器、身份认证过滤器、上行消息队列过滤器和下行消息队列过滤器；经过滤链层所述IoHandler业务处理层将数据对象处理最终转化为业务数据进行存储。进一步的，为更好的实现本专利技术所述系统，在所述串口服务器与通讯服务电路之间进行通信时采用TCP/IP通信且采用JMX监控；在采集终端与通讯服务电路之间进行通信时采用TCP/IP通信且采用JMX监控。进一步的，为更好的实现本专利技术所述系统，在通讯服务电路中采用IOService通信服务。本专利技术与现有技术相比，具有以下优点及有益效果：（1）本专利技术在不需要增加硬件设施的条件下，采用技术手段自动或手动补采，做到数据的完整性。（2）本专利技术基于国家电网公司整理规划要求和一系列标准规范，所有的采集标准和规范均统一规范，便于适应各本文档来自技高网...

【技术保护点】
基于AMI与J2EE的智能用电数据管理方法，其特征在于：包括以下步骤：步骤A、采集任务分配：根据不同业务需求，按照待采集数据的配置条件要求，进行分配采集任务；步骤B、采集任务执行：经步骤A，根据编制好的采集任务，按照要求自动下发采集指令到采集终端或量测设备，获取采集终端或量测设备的各类数据；步骤C、数据检查：对步骤B采集回来的数据进行包括业务规则检查、数据完整性检查、数据质量检查，以针对数据结果正确与否进行的检查；步骤D、数据存储：将采集终端或量测设备采集回来的数据根据业务需要划分为一类实时数据、二类历史数据、三类事件数据，分别建立对应的消息队列，将数据存储到缓存区达到设定量后进行批量存储。

【技术特征摘要】
1.基于AMI与J2EE的智能用电数据管理方法，其特征在于：包括以下步骤：步骤A、采集任务分配：根据不同业务需求，按照待采集数据的配置条件要求，进行分配采集任务；步骤B、采集任务执行：经步骤A，根据编制好的采集任务，按照要求自动下发采集指令到采集终端或量测设备，获取采集终端或量测设备的各类数据；步骤C、数据检查：对步骤B采集回来的数据进行包括业务规则检查、数据完整性检查、数据质量检查，以针对数据结果正确与否进行的检查；步骤D、数据存储：将采集终端或量测设备采集回来的数据根据业务需要划分为一类实时数据、二类历史数据、三类事件数据，分别建立对应的消息队列，将数据存储到缓存区达到设定量后进行批量存储；所述步骤A包括：步骤A.1、数据采集：智能用电数据管理系统对Q/GDW376.1-2009协议、MODBUS采集终端常规协议的兼容开发与特性开发，根据不同的业务需要，通过智能电表、集中器、采集器采集能耗设备数据，通过传感器采集包括环境温度数据、辐射数据、风速数据、压力数据；步骤A.2、数据过滤：将从主要由传感器组成的量测设备和主要由智能电表、集中器、采集器组成的采集终端得到的响应报文通过智能用电数据管理系统各种内置的过滤器进行数据匹配与过滤，最终转换成智能用电数据管理系统能够识别的数据和信息；所述步骤B包含如下步骤：步骤B.1、收集市面上各种主流采集终端或量测设备的通信协议；步骤B.2、针对这些协议分析通信规则，找共性，开发兼容通信包；步骤B.3、针对主流采集设备的个性通信规则，进行最小差异化开发；步骤B.4、打包成一个大共性，小异性的兼容性通信API；步骤B.5、搭建测试环境，对主流采集设备进行测试步骤B.6、根据测试结果修改程序；步骤B.7、完成采集任务执行过程。2.根据权利要求1所述的基于AMI与J2EE的智能用电数据管理方法，其特征在于：所述步骤C包含如下步骤：步骤C.1、数据采集过程：针对管理界面接收到的采集任务信息，按其具体配置条件对采集任务进行分组分时执行，按照配置条件匹配目标采集终端的通信协议对应在智能用电数据管理协议解析中的API，通过智能用电数据管理数据处理层对API的采集指令进行数据转换，自动按照采集任务下发采集设备能够识别的加密的采集指令到采集终端，智能用电数据...

【专利技术属性】
技术研发人员：罗华永，辜文斌，朱海萍，黄继勇，宋卫平，何灵慧，沈磊，
申请(专利权)人：四川中电启明星信息技术有限公司，
类型：发明
国别省市：四川;51