一种基于云端协同分层自治的能源互联网数据处理方法技术

本发明专利技术公开了一种基于云端协同分层自治的能源互联网数据处理方法，包括采集终端负载数据信息并进行预处理；利用小样本机器学习训练模型对所述原始数据进行边缘处理；通过SDN的分层分布式网络架构建立数据高效传输网络，对所述边缘处理后的数据进行高效传输；对所述传输数据进行综合处理。本发明专利技术提出的配用电数据端云协同处理可以有效减少网络数据处理延时和减少原始数据和数据中心中间所需的带宽，并将配用电数据处理与处理的模型进行端云协同后，大大提高了数据处理效率，保证数据分析、处理与响应的实施性。处理与响应的实施性。处理与响应的实施性。

【技术实现步骤摘要】
一种基于云端协同分层自治的能源互联网数据处理方法


[0001]本专利技术涉及能源互联网数据处理的
，尤其涉及一种基于云端协同分层自治的能源互联网数据处理方法。

技术介绍

[0002]近年来能源互联网是以电力系统为核心和纽带，基于“智能电网+特高压电网+清洁能源”实现能源与信息高度融合的新型能源体系，是智能电网的进一步发展和深化，也更加注重发、输、变、配、用和调度等六大环节的信息化和智能化建设。但相对于其他五个环节，由于受制于通信技术、投资与管理体制，配电自动化的建设明显滞后，已不能完全满足智能电网与能源互联网的发展需求。可再生能源发电大大减少碳排放并改善全球环境，并且越来越多的分布式可再生能源连接到配电网，以配电网为中心的能源互联网可以主动调节多种能源的分配，提高分布式能源，特别是可再生能源的消纳能力，减少外部系统能量馈入。
[0003]国家能源局印发的《配电网建设改造行动计划》，指出加快配电网建设改造，探索以配电网为支撑平台，构建多种能源优化互补的综合能源供应体系，实现能源与信息的双向流动，促进能源与信息化的深度融合。为了促进配自动化一次系统与信息系统的深度融合，提出了能源互联网信息物理系统的新概念。信息物理系统(Cyber Physical System，CPS)是一个由计算单元、网络是物理实体组成的复杂系统，是信息系统和物理系统和物理系统的深度融合，是实现计算、通信和控制技术集成的下一代工程系统。随着“智能电网”概念提出，CPS在电网中的应用越来越广泛。能源互联网可以通过信息网络技术加强过程和环境信息的获取和应用，构建分层协调控制系统，加强信息控制系统与物理过程的深度融合。
[0004]云计算为CPS提供了强大的计算资源、可拓展的存储容量和CPS所需的机器学习、数据挖掘、数据分析、优化等高级软件服务。虽然云计算以其强大而丰富的计算资源为CPS提供了实现数据处理和多业务的灵活平台，但其延迟性和网络带宽依赖性不容忽视。而边缘计算是一张新型的分布式计算方法，在网络边缘侧能够实现实时、安全、快速的处理数据和执行控制。在能源互联网中引入边缘计算基数以提高计算的实时性，满足CPS在网络边缘侧对低延时服务、位置感知服务、提供更好的服务质量以及支持移动性和本地化访问控制的需求。基于边缘计算技术的CPS可将计算、分析、处理与控制本地化，为用户提供更快的响应，同时还可以访问和使用云提供的服务。边缘计算和云计算相互补充，可以提高协助解决CPS存在的计算和管理问题，可以很好的支撑能源互联网CPS体系的建设。
[0005]目前有关的现有技术主要是基于云计算的配电网CPS架构体系及相关模型融合。通过根据配电网的结构特征，将计算过程与物理过程之间的交互反馈连接起来，集计算、通信与存储能力于一体，提供泛在感知、信息处理反馈和动态控制等功能。这种方法具有延迟性和网络带宽依赖性，具有一定的局限性。

技术实现思路

[0006]本部分的目的在于概述本专利技术的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和专利技术名称中可能会做些简化或省略以避免使本部分、说明书摘要和专利技术名称的目的模糊，而这种简化或省略不能用于限制本专利技术的范围。
[0007]鉴于上述现有存在传统方法具有延迟性、网络宽带依赖性和局限性的问题，提出了本专利技术。
[0008]因此，本专利技术解决的技术问题是：将历史样本数据进行特征标记和模型训练，大大提高数据处理的速度以及准确性；利用一种基于软件定义网络网络与能源互联网融合的可扩展的分层网络模型，从全局的角度对网络资源进行均衡和负载优化；建立基于端云协同的配用电数据分析和处理模型，将端侧数据采集分析处理和存储等本地化，减轻网络流量负载，降低数据中心处理压力。
[0009]为解决上述技术问题，本专利技术提供如下技术方案：采集终端负载数据信息并进行预处理；利用小样本机器学习训练模型对所述原始数据进行边缘处理；通过软件定义网络的分层分布式网络架构建立数据高效传输网络，对所述边缘处理后的数据进行高效传输；对所述传输数据进行综合处理。
[0010]作为本专利技术所述的一种基于云端协同分层自治的能源互联网数据处理方法的一种优选方案，其中：所述采集终端负载数据信息并进行预处理包括，对一次系统和二次系统原始数据进行采集；利用相关性聚类算法建立边界样本为数据分析提供对照分析支持，分析数据规律并结合已有先验知识构建数据关联规则形成数据样本，实现数据预处理；在技术人员辅助标记的帮助下快速形成通用及专业领域的数据清洗规则，实现数据清洗约束；按照指定的数据清洗规则对数据的缺陷(如不完整、不一致、重复等)进行对应的处理。
[0011]作为本专利技术所述的一种基于云端协同分层自治的能源互联网数据处理方法的一种优选方案，其中：所述数据清洗规则包括，对所述数据进行去噪、缺失值估计以及数据归一化，在所述数据归一化后利用主成分析算法进行降维，对于原始数据，通过公式进行数据归一化处理，公式定义如下：
[0012][0013]其中，m为样本数，n为样本维度，a
ij
表示原始样本数据，b
ij
表示归一化后的数据；将数据归一化后，得到对应矩阵B，利用该矩阵计算协方差矩阵C，计算出协方差矩阵C的特征值和特征向量，将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P，Y＝PB，得到降维数据Y,其中
[0014][0015][0016]作为本专利技术所述的一种基于云端协同分层自治的能源互联网数据处理方法的一
种优选方案，其中：所述k值包括，选择k个单位正交基，使得原始数据B变换到此组基上后，各个向量的两两间协方差为0，k为最大的单位正交基个数并且k也为降维后的数据维数。
[0017]作为本专利技术所述的一种基于云端协同分层自治的能源互联网数据处理方法的一种优选方案，其中：其特征在于：所述数据边缘处理包括，对于已有的数据，选择高价值的可行数据，对其进行人工辅助特征标记；通过构建神经网络模型，在网络输入层选择用电设备的历史负荷数据、用电时间等作为输入数据，通过网络模型的迭代训练，以平均绝对百分比误差作为函数收敛的依据，获取神经网络模型的参数，并保存至终端本地。
[0018]作为本专利技术所述的一种基于云端协同分层自治的能源互联网数据处理方法的一种优选方案，其中：所述神经网络模型包括，若训练样本数据为{(x
(1)
,y
(1)
),...,(x
(n)
,y
(n)
)}，则单个神经元的代价函数定义如下：
[0019][0020]则M个训练样本的代价函数如下：
[0021][0022]其中，x
(i)
和y
(i)
分别为输入量和输出量，X为神经网络层连接的权重，b为偏置值，h为激活函数；假设有n层神经网络，w
(k,1)
，w
(k,2)
，b
(k,1)
，b
(k,2)
为第k个神经元对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于云端协同分层自治的能源互联网数据处理方法，其特征在于：包括，采集终端负载数据信息并进行预处理；利用小样本机器学习训练模型对所述预处理后的数据进行边缘处理；通过软件定义网络的分层分布式网络架构建立数据高效传输网络，对所述边缘处理后的数据进行高效传输；对所述传输数据进行综合处理。2.如权利要求1所述的基于云端协同分层自治的能源互联网数据处理方法，其特征在于：所述采集终端负载数据信息并进行预处理包括，对一次系统和二次系统原始数据进行采集；利用相关性聚类算法建立边界样本为数据分析提供对照分析支持，分析数据规律并结合已有先验知识构建数据关联规则形成数据样本，实现数据预处理；在技术人员辅助标记的帮助下快速形成通用及专业领域的数据清洗规则，实现数据清洗约束；按照指定的数据清洗规则对数据的缺陷(如不完整、不一致、重复等)进行对应的处理。3.如权利要求2所述的基于云端协同分层自治的能源互联网数据处理方法，其特征在于：所述数据清洗规则包括，对所述数据进行去噪、缺失值估计以及数据归一化，在所述数据归一化后利用主成分析算法进行降维，对于原始数据，通过公式进行数据归一化处理，公式定义如下：其中，m为样本数，n为样本维度，a
ij
表示原始样本数据，b
ij
表示归一化后的数据；将数据归一化后，得到对应矩阵B，利用该矩阵计算协方差矩阵C，计算出协方差矩阵C的特征值和特征向量，将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P，Y＝PB，得到降维数据Y,其中＝PB，得到降维数据Y,其中4.如权利要求3所述的基于云端协同分层自治的能源互联网数据处理方法，其特征在于：所述k值包括，选择k个单位正交基，使得原始数据B变换到此组基上后，各个向量的两两间协方差为0，k为最大的单位正交基个数并且k也为降维后的数据维数。5.如权利要求1～4任一所述的基于云端协同分层自治的能源互联网数据处理方法，其特征在于：所述数据边缘处理包括，对于已有的数据，选择高价值的可行数据，对其进行人工辅助特征标记；通过构建神经网络模型，在网络输入层选择用电设备的历史负荷数据、用电时间等作为输入数据，通过网络模型的迭代训练，以平均绝对百分比误差作为函数收敛的依据，获取神经网络模型的参
数，并保存至终端本地。6.如权利要求5所述的基于云端协同分层自治的能源互联网数据处理方法，其特征在于：所述神经网络模型包括，若训练样本数据为{(x
(1)
,y
(1)
),...,(x
(n)
,y
(n)
)}，则单个神经元的代价函数定义如下：则M个训练样本的代价函数如下：其中，x
(i)
和y
(i)
分别为输入量和输出量，为神经网络层连接的权重，b为偏置值，h为激活函数；假设有n层神经网络，w
(k+1)
，w
(k,2)
，b
(...

【专利技术属性】
技术研发人员：宋尧，杨爱冰，廖清阳，何先奎，王军，廖畅，袁龙，饶贇，黄传炳，车宏波，
申请(专利权)人：贵州电网有限责任公司，
类型：发明
国别省市：