架空线停电预测神经网络压缩方法及系统技术方案

本发明专利技术公开了一种架空线停电预测神经网络压缩方法及系统，属于配电网大数据技术领域，包括获取架空线停电数据集；利用架空线停电数据集对基模型进行训练，得到停电预测基模型；利用神经网络预设尺寸约束剪枝Mask对停电预测基模型的网络参数进行剪枝处理，得到剪枝后的网络模型；基于预设尺寸约束正则化损失函数，对停电预测基模型的输出、剪枝后的网络模型的输出以及剪枝Mask进行迭代训练，在迭代训练结束后，得到停电预测神经网络压缩模型。本发明专利技术可高效地得到最终可实际部署的架空线停电预测神经网络模型，并可以较好的平衡算法性能与模型规模。能与模型规模。能与模型规模。

【技术实现步骤摘要】
架空线停电预测神经网络压缩方法及系统


[0001]本专利技术涉及配电网大数据
，具体涉及一种架空线停电预测神经网络压缩方法及系统。

技术介绍

[0002]随着经济社会发展，电网系统变电站、配电网络覆盖面不断扩大，大风、雷电、雾霾等灾害性天气对电网安全运行产生的侵扰随之增大，在极端天气的影响下，10kV配电架空线更容易发生跳闸，造成区域电网线路故障停运，影响居民正常的生产生活。
[0003]当前针对架空线停电预测任务的研究，主要基于大规模数据训练的深度学习模型，获取停电预测模型，进而部署到中央处理集群，实现架空线停电预测。
[0004]在训练过程中，需要使用复杂的模型和大量的计算资源，以便从非常大、高度冗余的数据集中提取出信息。在实验中，效果最好的模型往往规模很大，甚至由多个模型集成得到，而大模型不方便部署到服务中去，常见的瓶颈如下：推断速度慢、对部署资源要求高(内存，显存等)。若直接训练过小的深度学习模型，容易欠拟合，难以挖掘大数据信息。当前算法研究时，未限定神经网络规模，导致实际部署时算法耗时过于严重，难以在实际环境中应用。故而如何平衡算法性能与模型规模对架空线停电预测模型在生产环境中部署至关重要。
[0005]相关技术中，公开号为CN112819252A的中国专利技术专利申请公开了一种卷积神经网络模型构建方法，通过训练后的模型进行轻量化的低精度轻量化和/或模型剪枝压缩处理，由于采用了轻量化技术，使得卷积神经网络模型的大小进一步缩小，响应时间进一步提升，模型的资源消耗得以降低。但其需要利用预处理后的配电网线路相关的的数据，对最大池化处理后的卷积神经网络模型进行二次训练，模型整体训练效率较低。

技术实现思路

[0006]本专利技术所要解决的技术问题在于如何平衡算法性能与模型规模，并提高模型剪枝训练效率。
[0007]本专利技术通过以下技术手段实现解决上述技术问题的：
[0008]第一方面，本专利技术提出了一种架空线停电预测神经网络压缩方法，所述方法包括：
[0009]获取架空线停电数据集；
[0010]利用所述架空线停电数据集对基模型进行训练，得到停电预测基模型；
[0011]利用神经网络预设尺寸约束剪枝Mask对所述停电预测基模型的网络参数进行剪枝处理，得到剪枝后的网络模型；
[0012]基于预设尺寸约束正则化损失函数，对所述停电预测基模型的输出、所述剪枝后的网络模型的输出以及所述剪枝Mask进行迭代训练，并在迭代训练结束后，得到停电预测神经网络压缩模型。
[0013]本专利技术利用海量的架空线停电数据信息对基模型进行训练，训练出适中的架空线
停电预测神经网络模型，然后根据部署模型的尺寸和推断速度要求，设计神经网络预设尺寸约束剪枝Mask，基于预设尺寸约束正则化损失进行稀疏性学习，使得网络能够根据最终的尺寸以及推理速度要求，自适应地决策丢弃掉冗余的神经元，并且无需在剪枝后进行再训练，因此可高效地得到最终可实际部署的架空线停电预测神经网络模型。根据上述算法可以较好的平衡算法性能与模型规模，使得架空线停电预测神经网络模型部署到中央计算集群进行停电预测。
[0014]进一步地，所述架空线停电数据集包括气象特征数据、地理特征数据和电网特征数据；
[0015]所述气象特征数据包括强对流雷达强度最大值、雷电电流值和雷电回击次数；
[0016]所述地理特征数据包括高程、坡度和坡向；
[0017]所述电网特征数据包括过载次数、重载次数和缺陷次数。
[0018]进一步地，所述利用所述架空线停电数据集对基模型进行训练，得到停电预测基模型，包括：
[0019]对所述架空线停电数据集进行量纲统一化处理，得到量纲统一数据；
[0020]利用所述量纲统一数据对所述基模型进行训练，并在训练阶段采用残差连接与批处理归一化操作，获得所述停电预测基模型。
[0021]进一步地，所述基模型包括输入层、基干网络和预测网络，所述输入层的输出特征作为所述基干网络的输入，所述基干网络的输出特征作为所述预测网络的输入；
[0022]所述基干网络包括多层神经网络，相邻层所述神经网络之间通过残差网络连接，所述预测网络包括全连接层和softmax分类器，所述全连接层输出与所述softmax分类器连接；
[0023]所述基干网络的深度为5层，每一层神经元数量为256。
[0024]进一步地，所述方法还包括：
[0025]根据可学习的参数Φ生成所述剪枝Soft
‑
Mask，公式表示为：
[0026]m＝g(Φ,ε)
[0027]其中，ε为随机变量，ε～U(0,1)。
[0028]进一步地，所述基于预设尺寸约束正则化损失函数，对所述停电预测基模型的输出、所述剪枝后的网络模型的输出以及所述剪枝Mask进行迭代训练，并在迭代训练结束后，得到停电预测神经网络压缩模型，包括：
[0029]将所述停电预测基模型的输出、所述剪枝后的网络模型的输出以及所述剪枝Mask进行训练，并在训练过程中使用总损失函数进行约束；
[0030]对所述停电预测基模型进行多次迭代，在所述总损失函数达到设定阈值或迭代次数达到设定次数时，得到剪枝Soft
‑
Mask；
[0031]利用所述剪枝Soft
‑
Mask对所述停电预测基模型进行剪枝，得到所述停电预测神经网络压缩模型；
[0032]其中，所述基于预设尺寸约束正则化损失函数为：
[0033]L
total
＝(1
‑
a)L
bce
(P
s
,Y
gt
)+aT2L
bce
(P
s
,P
t
)+λL
BAR
(Φ,V,a,b)
[0034]其中，L
bce
为二值交叉熵损失函数，公式表示如下：
[0035][0036]L
bce
为蒸馏损失函数，公式表示如下：
[0037]L
BAR
(Φ,V,a,b)＝L
S
(Φ)f(V,a,b)
[0038]其中，a,T,λ为超参数，[a,b]为人工设定的剪枝阈值，P
t
为所述基模型的输出，P
s
为所述剪枝后的网络模型的输出，Φ为可学习的参数，V为网络容量，Y
gt
为数据标签，N为样本总数，y
i
表示样本i的真实故障标签，正类为1，负类为0，p
i
表示样本i预测为正类的概率，L
S
(Φ)为对可学习的参数Φ进行映射，是对V的近似可微估计，f(V,a,b)为a，b决定的分段函数。
[0039]进一步地，所述方法还包括：
[0040]对于所述剪枝Soft
‑
Mask中的所述可学习本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种架空线停电预测神经网络压缩方法，其特征在于，所述方法包括：获取架空线停电数据集；利用所述架空线停电数据集对基模型进行训练，得到停电预测基模型；利用神经网络预设尺寸约束剪枝Mask对所述停电预测基模型的网络参数进行剪枝处理，得到剪枝后的网络模型；基于预设尺寸约束正则化损失函数，对所述停电预测基模型的输出、所述剪枝后的网络模型的输出以及所述剪枝Mask进行迭代训练，并在迭代训练结束后，得到停电预测神经网络压缩模型。2.如权利要求1所述的架空线停电预测神经网络压缩方法，其特征在于，所述架空线停电数据集包括气象特征数据、地理特征数据和电网特征数据；所述气象特征数据包括强对流雷达强度最大值、雷电电流值和雷电回击次数；所述地理特征数据包括高程、坡度和坡向；所述电网特征数据包括过载次数、重载次数和缺陷次数。3.如权利要求1所述的架空线停电预测神经网络压缩方法，其特征在于，所述利用所述架空线停电数据集对基模型进行训练，得到停电预测基模型，包括：对所述架空线停电数据集进行量纲统一化处理，得到量纲统一数据；利用所述量纲统一数据对所述基模型进行训练，并在训练阶段采用残差连接与批处理归一化操作，获得所述停电预测基模型。4.如权利要求1所述的架空线停电预测神经网络压缩方法，其特征在于，所述基模型包括输入层、基干网络和预测网络，所述输入层的输出特征作为所述基干网络的输入，所述基干网络的输出特征作为所述预测网络的输入；所述基干网络包括多层神经网络，相邻层所述神经网络之间通过残差网络连接，所述预测网络包括全连接层和softmax分类器，所述全连接层输出与所述softmax分类器连接；所述基干网络的深度为5层，每一层神经元数量为256。5.如权利要求1所述的架空线停电预测神经网络压缩方法，其特征在于，所述方法还包括：根据可学习的参数Φ生成所述剪枝Mask，公式表示为：m＝g(Φ,ε)其中，ε为随机变量，ε～U(0,1)。6.如权利要求1所述的架空线停电预测神经网络压缩方法，其特征在于，所述基于预设尺寸约束正则化损失函数，对所述停电预测基模型的输出、所述剪枝后的网络模型的输出以及所述剪枝Mask进行迭代训练，并在迭代训练结束后，得到停电预测神经网络压缩模型，包括：将所述停电预测基模型的输出、所述剪枝后的网络模型的输出以及所述剪枝Mask进行训练，并在训练过程中使用所述基于预设尺寸约束正则化损失函数进行约束；对所述停电预测基模型进行多次迭代，在所述基于预设尺寸约束正则化损失函数达到设定阈值或迭代次数达到设定次数时，得到剪枝Soft
‑
Mask；利用所述剪枝Soft
‑
Mask对所述停电预测基模型进行剪枝，得到所述停电预测神经网络压缩模型；
其中，所述基于预设尺寸约束正则化损失函数为：L
total
＝(1
‑
a)L
bce
(P
s
,Y
gt
)+aT2L
bce
(P
s
,P
t
)+λL
BAR
(Φ,V,a,b)其中，L
bce
为二值交叉熵损失函数，公式表示如下：L
bce
为蒸馏损失函数，公式表示如下：L
BAR
(Φ,V,a,b)＝L
S
(Φ)f(V,a,b)其中，a,T,λ为超参数，[a,b]为人工设定的剪枝阈值，P
t
为所述基模型的输出，P
s
为所述剪枝后的网络模型...

【专利技术属性】
技术研发人员：骆晨，吴凯，冯玉，吴少雷，戚振彪，徐飞，张征凯，周建军，陈振宁，刘蔚，娄伟，王明，赵成，史亮，
申请(专利权)人：国网安徽省电力有限公司，
类型：发明
国别省市：