一种新能源并网异构数据的高效存储方法技术

一种新能源并网异构数据的高效存储方法，所述方法首先利用训练好的卷积神经网络对新能源并网异构数据进行预处理，将其中的非结构化数据转换成结构化数据；然后将所有数据导入大数据平台的数据库中；再以新能源设备名称为标签，对大数据平台的数据库中的新能源设备数据进行数据融合，最后将融合后的新能源设备数据接入到业务中台电力网架上，实现新能源并网异构数据的高效存储

【技术实现步骤摘要】
一种新能源并网异构数据的高效存储方法


[0001]本专利技术涉及一种新能源设备并网异构数据的高效存储方法，属于数据处理

。

技术介绍

[0002]当前，全球正面临着能源供给紧张
、
污染排放治理
、
生态保护压力等方面的严峻挑战
。
在此背景下，全球能源格局正在重塑，世界各国都在加快能源产业转型步伐，积极发展新能源并努力挖掘新能源对传统化石能源的替代作用，促进能源系统向可持续的清洁
、
低碳化发展
。
发展可再生能源
、
推动能源转型的战略目标，已达成了全球共识
。
近年来，世界各国都在持续增加有关可再生能源项目的投资，使得可再生能源的发电装机呈现不断增长的趋势
。
[0003]由于各专业信息系统所处的领域不同，关注的业务有较大差异性，原始数据来源不统一，数据存储结构多样化
。
这导致在新能源设备并网过程中，同一个新能源设备信息在不同系统中的类型
、
名称和关联关系存在较大差异，需要对多源异构数据进行融合处理，从而获取新能源设备的所有并网信息
。
新能源设备的并网信息的来源包括：业务中台资源中心，营销客户数据，施工统计单据，单一的数据来源往往缺少部分信息，不能展示完整的新能源并网信息
。
各来源提供的数据往往按照不同模板填写，例如业务中台资源中心提供的数据为结构化数据，施工统计单据为非结构化数据，因此无法直接对数据进行合并
。
这会对区域电网情况的分析
、
规划等造成较大的困扰
。
[0004]近年来许多专利技术致力于异构数据的存储和处理
。
公开号为
CN111680041A
的专利技术专利公开了一种面向异构数据的安全高效存取方法，该方法以混合数据存储结构为核心，创建包含用户层
、
隔间层
、
容器层
、
对象层和存储层五层逻辑结构，并存储在图数据库中，实现数据的高效存取
。
公开号为
CN116170392A
的专利技术专利公开了一种配电网中低压多源异构网络数据传输方法
、
装置及设备，它根据网络镜像流量数据生成各分片发送报文，分片发送报文包括网络镜像流量数据片段和分片编号；按照分片编号对分片发送报文进行传输
。
降低了网络传输稳定性较差带来的数据传输失败风险，减小传输过程损耗，使数据传输过程更加稳定可靠
。
[0005]然而，针对新能源并网的异构数据，现如今还没有一种高效的存储方法，严重影响了含新能源配电网的规划和分析效率
。

技术实现思路

[0006]本专利技术的目的在于针对现有技术之弊端，提供一种新能源并网异构数据的高效存储方法，以实现新能源并网异构数据的高效存储，提高含新能源配电网的设计规划和分析效率
。
[0007]本专利技术所述问题是以下述技术方案解决的：
[0008]一种新能源并网异构数据的高效存储方法，所述方法首先利用训练好的卷积神经
网络对新能源并网异构数据进行预处理，将其中的非结构化数据转换成结构化数据；然后将所有数据导入大数据平台的数据库中；再以新能源设备名称为标签，对大数据平台的数据库中的新能源设备数据进行数据融合，最后将融合后的新能源设备数据接入到业务中台电力网架上，实现新能源并网异构数据的高效存储
。
[0009]上述新能源并网异构数据的高效存储方法，所述方法包括以下步骤：
[0010]a.
数据预处理
[0011]将非结构化数据转换成结构化数据，具体流程如下：
[0012]①
利用历史数据对卷积神经网络进行训练，卷积神经网络的输入为设定格式的施工统计单据图片，卷积神经网络的输出为结构化的施工统计单据关键信息；
[0013]②
将待处理的施工统计单据转化为设定格式的图片；
[0014]③
将设定格式的待处理的施工统计单据图片输入到训练好的卷积神经网络，得到该施工统计单据的结构化关键信息，实现非结构化数据的结构化；
[0015]b.
数据导入
[0016]将所有数据通过开源的
ETL
工具
Kettle
导入大数据平台的数据库中；
[0017]c.
数据融合
[0018]首先进行数据筛选：以新能源设备名称为标签，筛选出同一设备的设备信息；
[0019]然后进行智能拼接：对筛选出的同一设备的设备信息进行汇总，通过列展示不同类型的信息；
[0020]d.
设备数据并网
[0021]将融合后的新能源设备数据接入到业务中台电力网架上，实现新能源并网异构数据的高效存储
。
[0022]上述新能源并网异构数据的高效存储方法，进行智能拼接后，新能源设备数据的格式为
XEL。
[0023]上述新能源并网异构数据的高效存储方法，数据预处理过程中，所述施工统计单据图片的设定格式为
PNG。
[0024]本专利技术利用卷积神经网络将非结构化数据转换成结构化数据，然后通过数据导入
、
数据融合和设备数据并网将新能源设备数据接入到业务中台电力网架上
。
该方法可实现新能源并网异构数据高效存取，提高含新能源配电网的设计规划和分析效率
。
附图说明
[0025]下面结合附图对本专利技术作进一步详述
。
[0026]图1是本专利技术的流程图；
[0027]图2是生成的接线组简图
。
[0028]图中各标号分别表示为：
WT、
风电场，
PV、
光伏发电站，1‑
32、
节点1‑
节点
32。
具体实施方式
[0029]本专利技术针对现有技术之弊端，提供了一种新能源并网异构数据的高效存储方法，可实现新能源并网异构数据高效存取，本专利技术包括以下步骤：
[0030]S1、
数据预处理
。
[0031]S2、
数据导入
。
[0032]S3、
数据融合
。
[0033]S4、
设备数据并网
。
[0034]步骤
S1
中的数据预处理指需要将非结构化数据结构化，由于数据来源中包括业务中台资源中心和施工统计单据，为了后期数据导入的方便，需要先将非结构化数据结构化
。
[0035]所述业务中台资源中心是在多个部门之间共享的开发资源所提供的业务能力
、
数据能力和计算能力的集合，用于实现所有主数据的复制
、
存储，部分公共性关键业务的写操作，对外提供所有主数据的访本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种新能源并网异构数据的高效存储方法，其特征是，所述方法首先利用训练好的卷积神经网络对新能源并网异构数据进行预处理，将其中的非结构化数据转换成结构化数据；然后将所有数据导入大数据平台的数据库中；再以新能源设备名称为标签，对大数据平台的数据库中的新能源设备数据进行数据融合，最后将融合后的新能源设备数据接入到业务中台电力网架上，实现新能源并网异构数据的高效存储
。2.
根据权利要求1所述的一种新能源并网异构数据的高效存储方法，其特征是，所述方法包括以下步骤：
a.
数据预处理将非结构化数据转换成结构化数据，具体流程如下：
①
利用历史数据对卷积神经网络进行训练，卷积神经网络的输入为设定格式的施工统计单据图片，卷积神经网络的输出为结构化的施工统计单据关键信息；
②
将待处理的施工统计单据转化为设定格式的图片；
③
将设定格式的待处理的施工统计单据图片输入到...

【专利技术属性】
技术研发人员：韩俊，朱卫平，刘利国，罗晨，胡恒萧，樊安洁，丁理，
申请(专利权)人：国网江苏省电力有限公司国网江苏省电力有限公司淮安供电分公司，
类型：发明
国别省市：