一种基于分布式计算的智能电网计量处理方法技术

本发明专利技术提供一种基于分布式计算的智能电网计量处理方法，包括：获取电网计量数据、采用基于HDFS的分布式运行数据存储方式对所述电网计量数据进行存储、采用分布式计算框架Spark的计量数据抽取快速模式、采用分布式计算框架Spark的迭代计算方式，将抽取出来的所述电网计量数据转化成为RDD抽象数据，再对所述RDD抽象数据进行迭代计算、采用Airflow的数据计算调度方法，对迭代计算后的数据进行调度计算，将调度计算后的数据存储到HDFS分布式文件系统中。本案对智能电网计量数据的处理上在数据的传输过程中保证数据的完整性、准确性、同步性，在处理过程中缩短访问时间、提高数据处理效率，有助于电力信息化的发展。

【技术实现步骤摘要】
一种基于分布式计算的智能电网计量处理方法
本专利技术涉及电力信息化
，尤其涉及一种基于分布式计算的智能电网计量处理方法。
技术介绍
现阶段智能电网技术快速发展，智能计量分析技术也开始运用在智能电网中产生的计量数据中，但是我国智能电网的发展正从传统的计量方法向高科技计量方式上发展。在智能电网中现阶段的计量技术还存在着不足。智能电网计量数据的采集设备智能化程度低，传统的电磁型互感器计量方式以串口传送计量结果还没有完全替代、新老计量设备更新换代不够完善，导致采集回来的计量数据的处理不够完善；同时在计量数据的自动化归档的过程中信息归档存在着信息缺失、数据不准确、数据不同步、传输不及时的缺点。在对归档的计量数据进行处理时，现有的方法在处理海量的数据时存在无法批量处理数据、访问归档数据的时间过长等缺点，对海量的智能电网数据处理效率低，无法满足现阶段对电力信息化的要求。且现阶段大量的计量数据采集回来后却无法得到有效的利用。另外，国内还有大量老式的电表在老旧小区中使用，如何通过低成本的高效率的将传统电表并入智能电网中，有着重要的意本文档来自技高网...

【技术保护点】
1.一种基于分布式计算的智能电网计量处理方法，其特征在于，包括：/n获取电网计量数据；/n采用基于HDFS的分布式运行数据存储方式对所述电网计量数据进行存储；/n采用分布式计算框架Spark的计量数据抽取快速模式；/n采用分布式计算框架Spark的迭代计算方式，将抽取出来的所述电网计量数据转化成为RDD抽象数据，再对所述RDD抽象数据进行迭代计算；/n采用Airflow的数据计算调度方法，对迭代计算后的数据进行调度计算，将调度计算后的数据存储到HDFS分布式文件系统中。/n

【技术特征摘要】
1.一种基于分布式计算的智能电网计量处理方法，其特征在于，包括：
获取电网计量数据；
采用基于HDFS的分布式运行数据存储方式对所述电网计量数据进行存储；
采用分布式计算框架Spark的计量数据抽取快速模式；
采用分布式计算框架Spark的迭代计算方式，将抽取出来的所述电网计量数据转化成为RDD抽象数据，再对所述RDD抽象数据进行迭代计算；
采用Airflow的数据计算调度方法，对迭代计算后的数据进行调度计算，将调度计算后的数据存储到HDFS分布式文件系统中。


2.根据权利要求1所述的智能电网计量处理方法，其特征在于：
所述采用基于HDFS的分布式运行数据存储方式对所述电网计量数据进行存储的步骤，包括：
构建HDFS分布式文件...

【专利技术属性】
技术研发人员：刘剑清，陈伟峰，谢志伟，白金，李艺，
申请(专利权)人：公诚管理咨询有限公司，
类型：发明
国别省市：广东;44