一种基于分布式计算的智能电网计量处理方法技术

本发明专利技术提供一种基于分布式计算的智能电网计量处理方法，包括：获取电网计量数据、采用基于HDFS的分布式运行数据存储方式对所述电网计量数据进行存储、采用分布式计算框架Spark的计量数据抽取快速模式、采用分布式计算框架Spark的迭代计算方式，将抽取出来的所述电网计量数据转化成为RDD抽象数据，再对所述RDD抽象数据进行迭代计算、采用Airflow的数据计算调度方法，对迭代计算后的数据进行调度计算，将调度计算后的数据存储到HDFS分布式文件系统中。本案对智能电网计量数据的处理上在数据的传输过程中保证数据的完整性、准确性、同步性，在处理过程中缩短访问时间、提高数据处理效率，有助于电力信息化的发展。

【技术实现步骤摘要】
一种基于分布式计算的智能电网计量处理方法
本专利技术涉及电力信息化
，尤其涉及一种基于分布式计算的智能电网计量处理方法。
技术介绍
现阶段智能电网技术快速发展，智能计量分析技术也开始运用在智能电网中产生的计量数据中，但是我国智能电网的发展正从传统的计量方法向高科技计量方式上发展。在智能电网中现阶段的计量技术还存在着不足。智能电网计量数据的采集设备智能化程度低，传统的电磁型互感器计量方式以串口传送计量结果还没有完全替代、新老计量设备更新换代不够完善，导致采集回来的计量数据的处理不够完善；同时在计量数据的自动化归档的过程中信息归档存在着信息缺失、数据不准确、数据不同步、传输不及时的缺点。在对归档的计量数据进行处理时，现有的方法在处理海量的数据时存在无法批量处理数据、访问归档数据的时间过长等缺点，对海量的智能电网数据处理效率低，无法满足现阶段对电力信息化的要求。且现阶段大量的计量数据采集回来后却无法得到有效的利用。另外，国内还有大量老式的电表在老旧小区中使用，如何通过低成本的高效率的将传统电表并入智能电网中，有着重要的意义，将这类老式电表以较低成本纳入到智能化的智能电网中有利于降低抄表人员的投入，加速电网智能化联网。
技术实现思路
本专利技术的目的是提供一种基于分布式计算的智能电网计量处理方法。为了实现本专利技术目的，本专利技术提供一种基于分布式计算的智能电网计量处理方法，包括：获取电网计量数据；采用基于HDFS的分布式运行数据存储方式对电网计量数据进行存储；采用分布式计算框架Spark的计量数据抽取快速模式；采用分布式计算框架Spark的迭代计算方式，将抽取出来的电网计量数据转化成为RDD抽象数据，再对RDD抽象数据进行迭代计算；采用Airflow的数据计算调度方法，对迭代计算后的数据进行调度计算，将调度计算后的数据存储到HDFS分布式文件系统中。更进一步的方案是，采用基于HDFS的分布式运行数据存储方式对电网计量数据进行存储的步骤，包括：构建HDFS分布式文件存储系统，HDFS分布式文件存储系统包含NameNode节点和多个DataNode节点；利用MOBUS通信协议在NameNode节点和多个DataNode节点之间进行对电网计量数据进行存储读写操作。更进一步的方案是，采用分布式计算框架Spark的迭代计算方式对RDD抽象数据进行迭代计算的步骤，包括：通过分布式计算框架Spark的调度器接口DAGScheduler根据抽象数据RDD组成有向无环图DAG，并分解成多个调度阶段；通过分布式计算框架Spark的调度器接口DAGScheduler将调度阶段分解成任务集，并将任务集提交到work节点中进行运算。本专利技术的有益效果是，基于智能电网海量的电网计量数据，采用基于HDFS的分布式运行数据存储方式对计量数据进行存储，再采用分布式计算框架Spark的计量数据抽取快速模式和迭代计算方式，有效缩短访问时间、提高数据处理效率，再把处理后的数据传送到Airflow中进行数据计算调度，实现数据的批量处理、缩短数据的访问时间，提高访问效率和处理效率，本案在对智能电网计量数据的处理上最大的特点在数据的传输过程中保证数据的完整性、准确性、同步性，在处理过程中缩短访问时间、提高数据处理效率，有助于电力信息化的发展。附图说明图1是本专利技术智能云采集系统实施例的系统框图。图2是本专利技术智能云采集系统实施例中电量采集装置的正视图。图3是本专利技术智能云采集系统实施例中电量采集装置的侧视图。图4是本专利技术智能电网计量处理方法实施例的流程图。图5是本专利技术智能电网计量处理方法实施例中HDFS体系结构图图6是本专利技术智能电网计量处理方法实施例中Hbase处理机制原理图。图7是本专利技术智能电网计量处理方法实施例中HDFS系统数据列表时序图。图8是本专利技术智能电网计量处理方法实施例中Spark运行框架。图9是本专利技术智能电网计量处理方法实施例中Airflow基本框架图。图10是本专利技术智能电网计量处理方法实施例中Airflow的数据计算调度步骤的流程图。以下结合附图及实施例对本专利技术作进一步说明。具体实施方式参照图1至图3，智能云采集系统包括多个电量采集装置和服务器群组，多个电量采集装置分散布置在各地的居民楼或商用楼，服务器群组包括多个服务器、多个内侧存储装置集群和分布式文件服务器，其通过MOBUS通信协议连接。电量采集装置1包括电表箱、水平移动组件、竖直移动组件和采集组件23，电表箱包括箱体11和设置在箱体11内的多个电表12，多个电表12呈矩阵排列在箱体11内。水平移动组件包括两个水平支撑架211、水平驱动电机212、第一螺杆213、第一导杆214和水平移动滑块215，两个水平支撑架211分别设置在箱体11的顶部的水平两端上，第一导杆214沿水平方向固定设置在两个水平支撑架211之间，第一螺杆213沿水平布置并可转动地设置在水平支撑架211上，第一螺杆213通过轴承与水平支撑架211连接，水平驱动电机212设置在第一螺杆213的轴向端并与第一螺杆213的轴向端驱动连接，水平驱动电机212驱动第一螺杆213绕其轴线转动，水平移动滑块215贯穿设置有第一驱动螺孔和第一定位孔，第一螺杆213穿过第一驱动螺孔并与第一驱动螺孔啮合，第一导杆214沿水平方向布置并穿过第一定位孔，使得在水平驱动电机212的旋转驱动作用下，带动第一螺杆213的转动，继而驱动水平移动滑块215沿水平方向移动。竖直移动组件包括竖直驱动电机223、第二螺杆221、第二导杆222和竖直移动滑块224，第二螺杆221沿竖直方向布置并可转动地设置在水平移动滑块215上，竖直驱动电机223设置在水平移动滑块215上，竖直驱动电机223与第二螺杆221的轴向端连接并驱动第二螺杆221绕其轴线转动，第二螺杆221通过轴承与水平移动滑块215连接，竖直移动滑块224贯穿设置有第二驱动螺孔和第二定位孔，第二螺杆221穿过第二驱动螺孔并与第二驱动螺孔啮合，第二导杆222沿竖直方向布置并穿过第二定位孔，定位架237设置在第二螺杆221相对于竖直驱动电机223的轴向端处，第二螺杆221可转动地设置在定位架237上，第二导杆222固定连接水平移动滑块215和定位架237之间。在竖直驱动电机223的旋转驱动作用下，带动第二螺杆221的转动，继而驱动竖直移动滑块224沿竖直方向移动。采集组件23包括机壳231、摄像头232和主控电路板235，摄像头232、主控电路板235均设置在机壳231上，机壳231设置在竖直移动滑块224上，摄像头232和电源模块分别与主控电路板235连接，机壳231上设置有凸透镜233，多个LED灯234位于凸透镜233的外周，摄像头232与凸透镜233相对。主控电路板235通过数据线236和数据线216分别与竖直驱动电机223、水平驱动电机212连接，数据线236本文档来自技高网...

【技术保护点】
1.一种基于分布式计算的智能电网计量处理方法，其特征在于，包括：/n获取电网计量数据；/n采用基于HDFS的分布式运行数据存储方式对所述电网计量数据进行存储；/n采用分布式计算框架Spark的计量数据抽取快速模式；/n采用分布式计算框架Spark的迭代计算方式，将抽取出来的所述电网计量数据转化成为RDD抽象数据，再对所述RDD抽象数据进行迭代计算；/n采用Airflow的数据计算调度方法，对迭代计算后的数据进行调度计算，将调度计算后的数据存储到HDFS分布式文件系统中。/n

【技术特征摘要】
1.一种基于分布式计算的智能电网计量处理方法，其特征在于，包括：
获取电网计量数据；
采用基于HDFS的分布式运行数据存储方式对所述电网计量数据进行存储；
采用分布式计算框架Spark的计量数据抽取快速模式；
采用分布式计算框架Spark的迭代计算方式，将抽取出来的所述电网计量数据转化成为RDD抽象数据，再对所述RDD抽象数据进行迭代计算；
采用Airflow的数据计算调度方法，对迭代计算后的数据进行调度计算，将调度计算后的数据存储到HDFS分布式文件系统中。


2.根据权利要求1所述的智能电网计量处理方法，其特征在于：
所述采用基于HDFS的分布式运行数据存储方式对所述电网计量数据进行存储的步骤，包括：
构建HDFS分布式文件...

【专利技术属性】
技术研发人员：刘剑清，陈伟峰，谢志伟，白金，李艺，
申请(专利权)人：公诚管理咨询有限公司，
类型：发明
国别省市：广东;44