一种低压配电网多源数据处理与融合方法及系统技术方案

本发明专利技术公开了一种低压配电网多源数据处理与融合方法及系统，首先对传统的神经网络进行改造，根据多项式插值和逼近理论提出一种Hermite正交基前向神经网络，并在此基础上搭建基于Hermite正交基前向神经网络的算法模型，再在MapReduce框架下将算法并行化，使之能更好地满足低压配电网中对海量数据的实时处理要求，最后仿真验证了此模型，结果证明该模型对低压配电网多源数据的处理效率更高，结果更加精确。

【技术实现步骤摘要】
一种低压配电网多源数据处理与融合方法及系统
本专利技术涉及的
，尤其涉及一种低压配电网多源数据处理与融合方法及系统。
技术介绍
近年来，低压配电台区的数量很大，在应用中需要实时测量有总/分相的有无功、电流、电压、视载功率和功率因素等20余个多源数据，而现有的低压配电网对于多源数据的处理方法主要采用的包括神经网络法、卡尔曼滤波法、贝叶斯推理法和聚类分析法等传统算法模型。使用现有的配网自动化系统直接处理和分析如此多的配电台区数据，将会占用系统的大量资源，且所获得到的多源数据并不能依靠这些传统的算法进行实时有效的处理，例如低压配电网中使用的神经网络算法存在收敛速度慢、局部极点小、网络结构不确定等缺点。低压配电网中的数据受到多种因素的影响，存在诸多的缺陷，若使用的算法无法及时处理电网产生的多源数据，则极有可能使得电网出现瘫痪现象，导致电网故障。
技术实现思路
本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。鉴于上述现有存在的问题，提出了本专利技术。因此，本专利技术解决的一个技术问题是：提出一种低压配电网多源数据处理与融合方法，能够提高计算效率和时效性，实现对低压配电网数据的实时监测和处理。为解决上述技术问题，本专利技术提供如下技术方案：包括，获取多源数据并利用Map映射机制对其进行划分，得到等分容量大小的子数据集；利用MapReduce编程模型对Hermite正交基神经网络算法进行改进，并将其建立在Hadoop分布式集群上；对改进的Hermite正交基神经网络的低压配电网数据处理与融合模型进行训练；基于训练后的模型对子数据集进行处理，判定数据的类别；利用Reduce机制，对最终融合的子集合进行合并处理并得到最终的预测值。作为本专利技术所述的低压配电网多源数据处理与融合方法的一种优选方案，其中：所述对数据进行划分还包括，对获取到的多源数据进行离散化处理，得到离散化数据；将离散化数据进行矩阵化处理，得到与时间相关的数据矩阵。作为本专利技术所述的低压配电网多源数据处理与融合方法的一种优选方案，其中：所述Hermite正交基神经网络包括输入层、Hermite正交基隐含层和输出层，且隐含层的函数满足以下公式，其中，n为隐含层中的神经元个数，x为输入值。作为本专利技术所述的低压配电网多源数据处理与融合方法的一种优选方案，其中：所述改进的Hermite正交基神经网络的最优权值计算公式为，ω＝(XTX)-1XTy其中，ω为权值，X为受激励矩阵，y为目标输出相量，T为转置符号。作为本专利技术所述的低压配电网多源数据处理与融合方法的一种优选方案，其中：所述模型对子数据的处理还包括以下步骤，对子数据集进行归一化处理；利用网络训练结果学习逼近；计算权值并判断其是否满足偏差，若不满足则进一步修正权值直至满足；当权值满足偏差时输出所述子数据集所属的类别。作为本专利技术所述的低压配电网多源数据处理与融合方法的一种优选方案，其中：所述对子数据的处理还包括，将经过模型处理的各子数据集的结果进行识别并输出类型，得到不同类型的对象结果。作为本专利技术所述的低压配电网多源数据处理与融合方法的一种优选方案，其中：所述数据处理与融合模型的流程为，将低压配电网分为传感测量层、数据管理层和应用层，并将三层分别与所述数据处理与融合模型的数据级融合、特征级融合和决策级融合一一对应；输入的数据X为一个包含多样属性样本的多维数组；每个类别数据样本分别对应一个Hermite正交基神经网络，并根据对象类别设置隐含层节点数目；训练不同对象的样本并将各对象期望输出的样本设置为1，不满足期望输出设置为0，通过Hermite正交基神经网络算法来学习逼近；在初始分类融合阶段，以设定阀值作为数据归类标准，若输出超过设定的阈值，则判定该样本属于规定类数据，根据输出结果，将数据进行类别划分并判定样本的所属类别；将待分类识别的数据全部行进分类并将最后结果做统计分析。作为本专利技术所述的低压配电网多源数据处理与融合方法的一种优选方案，其中：所述对模型进行训练还包括以下步骤，对网络初始化并赋予初值，输入数据；求解隐含层和输出层的输出，以及输出层的偏差值；判断偏差是否满足，若不满足则调节隐含层和输出层之间的连接权值并重新计算输出层的输出和偏差；当偏差满足时结束训练。作为本专利技术所述的低压配电网多源数据处理与融合系统的一种优选方案，其中：包括，数据处理模块，用于多源数据的获取和等分容量大小的子数据集的建立；优化模块，用于Hermite正交基神经网络算法的改进，并将其建立在Hadoop分布式集群上；训练模块，与所述数据处理模块和优化模块连接，用于对所述改进的Hermite正交基神经网络的低压配电网数据处理与融合模型进行训练；判别模块，与所述训练模块连接，用于对所述训练后的数据类别进行判定并分析。本专利技术的有益效果：本专利技术借助Hadoop平台，通过MapReduce并行编程模型，将Hermite正交基前向神经网络算法进行并行化改进，并用于将其建立在Hadoop分布式集群上，基于分布式存储和并行计算对多源数据进行处理，实现了对低压配电网数据的实时监测和处理，为低压配电网的安全运行提供了可靠的保证。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：图1为本专利技术第一个实施例所述的低压配电网多源数据处理与融合方法的流程示意图；图2为本专利技术第一个实施例所述的低压配电网多源数据处理与融合方法的MapReduce原理示意图；图3为本专利技术第一个实施例所述的低压配电网多源数据处理与融合方法的Hermite正交基前向神经网络示意图；图4为本专利技术第一个实施例所述的低压配电网多源数据处理与融合方法的Hermite正交基前向神经网络模型训练流程示意图；图5为本专利技术第一个实施例所述的低压配电网多源数据处理与融合方法的基于Hermite的低压配电网多源数据处理与融合模型示意图；图6为本专利技术第一个实施例所述的低压配电网多源数据处理与融合方法的处理效率对比结果示意图；图7为本专利技术第一个实施例所述的低压配电网多源数据处理与融合方法的准确率对比结果示意图；图8为本专利技术第二个实施例所述的低压配电网多源数据处理与融合系统的模块结构分布示意图；图9为本专利技术第二个实施例所述的低压配电网多源数据处理与融合系统的网络拓扑结构示意图。具体实施方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本专利技术的具体实施方式做详细的说明，显然所描述的实施例是本专利技术的一部分实施例，而不是全部实施例本文档来自技高网...

【技术保护点】
1.一种低压配电网多源数据处理与融合方法，其特征在于：包括，/n获取多源数据并利用Map映射机制对其进行划分，得到等分容量大小的子数据集；/n利用MapReduce编程模型对Hermite正交基神经网络算法进行改进，并将其建立在Hadoop分布式集群上；/n对改进的Hermite正交基神经网络的低压配电网数据处理与融合模型进行训练；/n基于训练后的模型对子数据集进行处理，判定数据的类别；/n利用Reduce机制，对最终融合的子集合进行合并处理并得到最终的预测值。/n

【技术特征摘要】
1.一种低压配电网多源数据处理与融合方法，其特征在于：包括，
获取多源数据并利用Map映射机制对其进行划分，得到等分容量大小的子数据集；
利用MapReduce编程模型对Hermite正交基神经网络算法进行改进，并将其建立在Hadoop分布式集群上；
对改进的Hermite正交基神经网络的低压配电网数据处理与融合模型进行训练；
基于训练后的模型对子数据集进行处理，判定数据的类别；
利用Reduce机制，对最终融合的子集合进行合并处理并得到最终的预测值。


2.如权利要求1所述的低压配电网多源数据处理与融合方法，其特征在于：包括，所述对数据进行划分还包括，
对获取到的多源数据进行离散化处理，得到离散化数据；
将离散化数据进行矩阵化处理，得到与时间相关的数据矩阵。


3.如权利要求1或2所述的低压配电网多源数据处理与融合方法，其特征在于：所述Hermite正交基神经网络包括输入层、Hermite正交基隐含层和输出层，且隐含层的函数满足以下公式，















......



其中，n为隐含层中的神经元个数，x为输入值。


4.如权利要求3所述的低压配电网多源数据处理与融合方法，其特征在于：所述改进的Hermite正交基神经网络的最优权值计算公式为，
ω＝(XTX)-1XTy
其中，ω为权值，X为受激励矩阵，y为目标输出相量，T为转置符号。


5.如权利要求1、2、4任一所述的低压配电网多源数据处理与融合方法，其特征在于：所述模型对子数据的处理还包括以下步骤，
对子数据集进行归一化处理；
利用网络训练结果学习逼近；
计算权值并判断其是否满足偏差，若不满足则进一步修正权值直至满足；
当权值满足偏差时输出所述子数据集所属的类别。


6.如权利要求5所述的低压配电网多源数...

【专利技术属性】
技术研发人员：冯义，徐长宝，凌宗洋，张腾飞，刘明祥，孟悦恒，刘海姣，戴雯菊，田昕泽，王雷，
申请(专利权)人：贵州电网有限责任公司，
类型：发明
国别省市：贵州;52