一种基于大数据平台的电力数据处理方法技术

本发明专利技术公开了一种基于大数据平台的电力数据处理方法，所述方法包括：获取电力网络中的应用数据；将所述应用数据按照预设的方式进行汇总处理，形成数据表格后将处理后的汇总数据发送并存储到与电力网络配套的大数据平台中；在大数据平台中，将所述汇总数据进行可视化处理并实时显示出来；采用聚类算法对所述汇总数据进行关联情况分析，找出电力网络中的关键电力节点；采用关联规则方法分析电力节点中的历史故障数据，并对电力节点进行评估和持续跟踪，当某一节点运行出现故障时，预测得到其他节点的故障情况。本申请所述的基于大数据平台的电力数据处理方法不仅能够提高电力数据收集和利用的效率，而且能够准确实现对故障点的预测。

【技术实现步骤摘要】
一种基于大数据平台的电力数据处理方法
本专利技术涉及数据处理
，特别是指一种基于大数据平台的电力数据处理方法。
技术介绍
对于电力行业来说，智能电网的迅速发展使信息通信技术正以前所未有的广度、深度与电网的生产、电力企业的管理进行快速融合，信息通信系统已逐渐成为智能电网的中枢神经，支撑着新一代电网的生产和电网管理的前进和发展。随着后续智能电表的逐步普及，电网业务数据将从时效性层面进一步丰富和拓展。基于大数据具有的大容量、多分类等特征，已经在海量、实时的电网业务数据中得到进一步凸显。因此，我们如果能够充分利用这些基于电网实际运行状态的数据，对其进行深入分析，就能够基于分析结果提供大量的高附加值的服务。所以，随着电网架构悄然、渐进的改变，使得现有电网调控手段面临巨大的威胁和挑战。首先，并入电网的电源在时空上分布的不均衡性，主要体现在地域上分布的不均衡性，电源容量大小及容量利用因子的不均衡性。其次，源网流向在时空上分布的不清晰性。主要体现在输电与配电逻辑清晰的传统概念逐渐被打破，电网调控逻辑化解析程度逐渐减弱。最后，分布与集中的矛盾日益突出，主要体现在时空关联使电网向广域化发展。面对已经出现或即将出现的新的问题和挑战，电网调控手段必须相应的改变，才能够适应新形势下电网的发展。但是，现有电力网络监测技术大多数都是简单收集分布在电力网络中的传感器数据，并将传感器所反馈的信息显示在终端上，只是对数据进行了最基本的收集-显示的过程。这种传统的监测技术简单易懂，一目了然，但缺点是过于简单，只能实现电力数据的单纯罗列，对于数据没有一个分析的过程，无法分析出数据中隐含的信息，这对于有着丰富内容可供挖掘的海量电网业务数据来说无疑是一个巨大的浪费。由此，在实现本申请的过程中，专利技术人发现现有技术存在以下缺陷：只能单纯的罗列数据导致电力数据利用率较低，同时也无法挖掘电力数据内在的关联和含义，进而在电网运行时不能对故障点进行准确的预测和分析。
技术实现思路
有鉴于此，本专利技术的目的在于提出一种基于大数据平台的电力数据处理方法，不仅能够提高电力数据收集和利用的效率，而且能够准确实现对故障点的预测。基于上述目的本专利技术提供的一种基于大数据平台的电力数据处理方法，包括：获取电力网络中的应用数据；其中，所述应用数据包括电力运行状态信息以及电力节点故障数据；将所述应用数据按照预设的方式进行汇总处理，形成数据表格后将处理后的汇总数据发送并存储到与电力网络配套的大数据平台中；在大数据平台中，将所述汇总数据进行可视化处理并实时显示出来；采用聚类算法对所述汇总数据进行关联情况分析，找出电力网络中的关键电力节点；采用关联规则方法分析电力节点中的历史故障数据，并对电力节点进行评估和持续跟踪，当某一节点运行出现故障时，预测得到其他节点的故障情况。可选的，所述关联规则方法采用Apriori关联规则算法的spark分布式结构实现，并且结合spark框架及RDD算子进行综合设计，所述关联规则方法能够找出过往节点故障的相关性，进而在出现节点故障时能够对相关节点进行故障预测。可选的，所述关联规则方法包括：产生频繁第1项集L1；其中，所述第1项集L1为故障节点之间的初始关联概率对应的初始项集，具体为：将事务集以预设的形式分布到多个机器上；其中，所述事务集为初始故障数据的集合；对项目数进行累计计算，其中，所述项目数为相关节点的数目；过滤低于预设支持度的项集，得到初始项集并且构建频繁第1项集L1；获取新的故障数据，从频繁第k项集LK产生频繁第k+1项集LK+1，具体为：使得频繁第k项集LK自连接，进而生成Ck+1；对数据库进行扫描，利用第1项集生成的方法对CK+1F进行比对，进而生成LK+1。可选的，所述聚类算法采用最大最小值K-means聚类算法。可选的，所述聚类算法包括：从初始数据集D中选取一个对象作为第一个聚类种子；计算初始数据集D中其余对象与第一个聚类种子之间的距离；选取距离最远的那个对象作为第二个聚类种子；继续迭代计算得到初始数据集D中其余对象与两个聚类种子中心的距离；计算出所有对象距离两个聚类种子中心较小的距离，找到该距离最大值对应的那个对象，判断是否满足Max(min(d1，d2))>t|C2-C1|，其中d1，d2分别表示一个对象与已选出的两个聚类中心C1，C2的距离，t为检验参数；若是满足，则将该对象选定为第三个聚类种子；依照上述规则，依次迭代计算，直到没有点能够满足下列条件：继而算法结束，得到聚类分析结果。本申请还提供了一种基于大数据平台的电力数据处理系统，包括：数据获取模块，用于获取电力网络中的应用数据；其中，所述应用数据包括电力运行状态信息以及电力节点故障数据；数据处理模块，用于将所述应用数据按照预设的方式进行汇总处理，形成数据表格后将处理后的汇总数据发送并存储到与电力网络配套的大数据平台中；数据显示模块，用于在大数据平台中，将所述汇总数据进行可视化处理并实时显示出来；聚类分析模块，用于采用聚类算法对所述汇总数据进行关联情况分析，找出电力网络中的关键电力节点；故障预测模块，用于采用关联规则方法分析电力节点中的历史故障数据，并对电力节点进行评估和持续跟踪，当某一节点运行出现故障时，预测得到其他节点的故障情况。从上面所述可以看出，本申请所述的基于大数据平台的电力数据处理方法通过提出一种基于大数据平台的新式电力网络监测技术，将各个传感器的数据汇总成表，灌入与此电力网络相配套的大数据处理平台，并运用聚类、关联规则分析等分析方法对所得数据进行分析。本申请不仅规范了电力网络中数据的收集、存储、使用、分析的过程，提高了电力网络中所收集的数据的利用率，能对电力网络运行状况进行系统评估，使得对电力网络的维护更加方便，根据对所得数据进行关联规则分析的结果，可以预报一些难以检测出的隐患。此外，本申请由于采用流式大数据技术，数据全部来源于当前运行的电网，保证了数据的真实可信；由于流式大数据可做到数据来源的实时更新，并且SPARK技术允许在比硬盘快得多的内存中读写数据，使得大数据在电网优化和调度中的应用成为可能，其即时性也得到了保证。采用的新算法可以分析出某些过往故障节点之间的关联性，起到一定的预测作用，可分析出一些高风险节点提醒相关人员注意。因此，本申请所述的基于大数据平台的电力数据处理方法不仅能够提高电力数据收集和利用的效率，而且能够准确实现对故障点的预测。附图说明图1为本专利技术提供的基于大数据平台的电力数据处理方法的一个实施例的流程示意图；图2为本专利技术提供的关联规则方法的一个实施例的流程示意图；图3为本专利技术提供的基于大数据平台的电力数据处理系统的一个实施例的结构示意图；图4为本专利技术提供的大数据平台的一个实施例的基本架构示意图；图5为本专利技术提供的分布式Apriori关联规则算法的基本思路示意图；图6为本专利技术提供的采用关联分析算法分析一组报警变压器、线路的分析结果示意图；图7为本专利技术提供的大数据平台的另一个实施例的基本架构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“本文档来自技高网...

【技术保护点】
一种基于大数据平台的电力数据处理方法，其特征在于，包括：获取电力网络中的应用数据；其中，所述应用数据包括电力运行状态信息以及电力节点故障数据；将所述应用数据按照预设的方式进行汇总处理，形成数据表格后将处理后的汇总数据发送并存储到与电力网络配套的大数据平台中；在大数据平台中，将所述汇总数据进行可视化处理并实时显示出来；采用聚类算法对所述汇总数据进行关联情况分析，找出电力网络中的关键电力节点；采用关联规则方法分析电力节点中的历史故障数据，并对电力节点进行评估和持续跟踪，当某一节点运行出现故障时，预测得到其他节点的故障情况。

【技术特征摘要】
1.一种基于大数据平台的电力数据处理方法，其特征在于，包括：获取电力网络中的应用数据；其中，所述应用数据包括电力运行状态信息以及电力节点故障数据；将所述应用数据按照预设的方式进行汇总处理，形成数据表格后将处理后的汇总数据发送并存储到与电力网络配套的大数据平台中；在大数据平台中，将所述汇总数据进行可视化处理并实时显示出来；采用聚类算法对所述汇总数据进行关联情况分析，找出电力网络中的关键电力节点；采用关联规则方法分析电力节点中的历史故障数据，并对电力节点进行评估和持续跟踪，当某一节点运行出现故障时，预测得到其他节点的故障情况。2.根据权利要求1所述的基于大数据平台的电力数据处理方法，其特征在于，所述关联规则方法采用Apriori关联规则算法的spark分布式结构实现，并且结合spark框架及RDD算子进行综合设计，所述关联规则方法能够找出过往节点故障的相关性，进而在出现节点故障时能够对相关节点进行故障预测。3.根据权利要求2所述的基于大数据平台的电力数据处理方法，其特征在于，所述关联规则方法包括：产生频繁第1项集L1；其中，所述第1项集L1为故障节点之间的初始关联概率对应的初始项集，具体为：将事务集以预设的形式分布到多个机器上；其中，所述事务集为初始故障数据的集合；对项目数进行累计计算，其中，所述项目数为相关节点的数目；过滤低于预设支持度的项集，得...

【专利技术属性】
技术研发人员：孙乔，李巍，张春光，张海全，金鑫，杨亮，李祉岐，孙磊，赵峰，付兰梅，冷曼，
申请(专利权)人：北京国电通网络技术有限公司，国家电网公司，国网辽宁省电力有限公司信息通信分公司，北京中电飞华通信股份有限公司，国网信息通信产业集团有限公司，国网内蒙古东部电力有限公司，中央财经大学，
类型：发明
国别省市：北京,11