电力大数据混合计算架构制造技术

本发明专利技术涉及一种电力大数据混合计算架构，用于处理包括历史数据和实时数据的电力大数据，电力大数据混合计算架构包括：批量计算层，批量计算层用于对历史数据进行并行聚类迭代计算，从而获得对电力用户的初始用户分群情况；实时计算层，实时计算层用于结合初始用户分群情况对实时数据进行快速聚类迭代计算，从而获得电力用户的实时用户分群情况；服务层，服务层基于批量计算层的并行聚类迭代计算结果获得批量视图、基于实时计算层的快速聚类迭代计算结果获得实时视图，并对外提供查询批量视图和/或实时视图的查询接口。本发明专利技术解决了并行计算与高延时之间的问题，实现对电力大数据的低延时并行计算。

【技术实现步骤摘要】
电力大数据混合计算架构
本专利技术属于电力信息处理领域，具体涉及一种电力大数据混合计算架构。
技术介绍
对于电力大数据的处理，传统计算架构主要有Hadoop架构、Fourinone架构、Spark架构、Storm架构等。其中，Hadoop架构和Fourinone架构适合处理大规模、高并发的数据计算，但是一次计算所需耗费时间长，高延时限制了其在高实时性大数据应用中的应用。而Spark架构和Storm架构等高实时性的流式计算框架适用于处理高速、大型数据流的分布式实时计算，但其数据结构设计和对象关系不适用于大规模并行计算。由此可见，需要一种能够均衡高延时和并行计算之间的问题、适用于电力大数据处理的新型计算架构。
技术实现思路
本专利技术的目的是提供一种延时较低、且适用于并行计算，从而解决电力大数据处理过程中所存在问题的电力大数据混合计算架构。为达到上述目的，本专利技术采用的技术方案是：一种电力大数据混合计算架构，用于处理包括历史数据和实时数据的电力大数据，所述电力大数据混合计算架构包括：批量计算层，所述批量计算层用于对所述历史数据进行并行聚类迭代计算，从而获得对电力用户的初始用户分群情况；实时本文档来自技高网...

【技术保护点】
1.一种电力大数据混合计算架构，用于处理包括历史数据和实时数据的电力大数据，其特征在于：所述电力大数据混合计算架构包括：批量计算层，所述批量计算层用于对所述历史数据进行并行聚类迭代计算，从而获得对电力用户的初始用户分群情况；实时计算层，所述实时计算层用于结合所述初始用户分群情况对所述实时数据进行快速聚类迭代计算，从而获得电力用户的实时用户分群情况；服务层，所述服务层基于所述批量计算层的并行聚类迭代计算结果获得批量视图、基于所述实时计算层的快速聚类迭代计算结果获得实时视图，并对外提供查询所述批量视图和/或所述实时视图的查询接口。

【技术特征摘要】
1.一种电力大数据混合计算架构，用于处理包括历史数据和实时数据的电力大数据，其特征在于：所述电力大数据混合计算架构包括：批量计算层，所述批量计算层用于对所述历史数据进行并行聚类迭代计算，从而获得对电力用户的初始用户分群情况；实时计算层，所述实时计算层用于结合所述初始用户分群情况对所述实时数据进行快速聚类迭代计算，从而获得电力用户的实时用户分群情况；服务层，所述服务层基于所述批量计算层的并行聚类迭代计算结果获得批量视图、基于所述实时计算层的快速聚类迭代计算结果获得实时视图，并对外提供查询所述批量视图和/或所述实时视图的查询接口。2.根据权利要求1所述的电力大数据混合计算架构，其特征在于：所述批量计算层由历史数据库中获得所述历史数据并存储，再利用模糊C均值聚类方法对所存储的所述历史数据进行并行聚类迭代计算并输出初步聚类结果，从而基于所述初步聚类结果获得所述初始用户分群情况。3.根据权利要求2所述的电力大数据混合计算架构，其特征在于：所述批量计算层中，确定所述模糊C均值聚类方法中所需的各个聚类和聚类个数c、各个聚类的初始聚类中心以及停止阀ε、迭代次数b后，在所述停止阀ε和迭代次数b的控制下通过以下步骤进行并行聚类迭代计算：步骤(1)：基于所述初始聚类中心或上一次所述迭代计算获得的聚类中心，对所述历史数据构成的集合X＝{x1,x2,…,xn}中的各个对象分布式地求解其对各个聚类的隶属度其中，i为聚类编号，μik表征所述集合X中的对象xk对第i个聚类的隶属关系，1≤i≤c，1≤k≤n，隶属度μik的取值范围为[0，1]，dik为所述集合X中的对象xk到第i个聚类的聚类中心pi之间的距离，djk为所述集合X中的对象xk到第j个聚类...

【专利技术属性】
技术研发人员：马晓东，顾杨青，张军民，何平，李珏，白锐，
申请(专利权)人：国网江苏省电力有限公司苏州供电分公司，江苏新智合电力技术有限公司，
类型：发明
国别省市：江苏,32