一种智能电力边缘设备的深度神经网络模型压缩方法技术

本发明专利技术涉及一种智能电力边缘设备的深度神经网络模型压缩方法，包括以下步骤：S1、获取训练好的智能电力深度神经网络模型；S2、获取每一层的卷积核，并进行分组；S3、对每一子卷积核组的分布进行统计；S4、选择部分子卷积核组进行活化；S5、对神经网络模型的冗余参数进行结构化修剪操作；S6、进行卷积核结构化深度神经网络模型再训练；S7、获取神经网络模型的权值参数；S8、对网络模型每一层的初始化权值参数绝对值进行排序；S9、获取差值最小的以2为底的幂或0，将要量化的权值组量化为该值；S10、对原始权值进行更新；S11、获得最终量化后深度神经网络模型。本发明专利技术能够充分解决在资源有限设备上的内存占用和计算工作负载优化。备上的内存占用和计算工作负载优化。备上的内存占用和计算工作负载优化。

【技术实现步骤摘要】
一种智能电力边缘设备的深度神经网络模型压缩方法


[0001]本专利技术属于智能电力业务
，涉及一种深度神经网络模型压缩方法，尤其是一种智能电力边缘设备的深度神经网络模型压缩方法。

技术介绍

[0002]深度神经网络在如今智能电力业务中应用广泛，智能电力业务部署了大量的边缘侧设备用于收集电力大数据信息。而随着深度神经网络模型性能不断提升、模型识别准确率提高的同时，其网络结构也变得更加复杂，包含大量的模型参数和浮点计算，导致其占用了更多的存储空间，也需要更多的计算资源，为了有效降低电力边缘侧设备的成本需求并提升其执行效率，针对深度神经网络的模型压缩技术的研发迫在眉睫。
[0003]深度神经网络是指网络结构中包含大量神经元，每个神经元与其他神经元相连接，神经元间的连接强度(权重)在学习过程中不断修改以实现网络功能的深层次神经网络，深度神经网络是由多个单层非线性网络叠加而成，可分为前馈深度网络、反馈深度网络、双向深度网络三类，传统的神经网络模型框架主流是针对X86架构服务器设计,并且为了追求更高的预测准确率，通常使用体积巨大的神经网络，即通常包含有几十甚至几百层，所涉及到的参数动辄上百万，即使对于计算量相对较小的推理任务，仍然对资源有限的移动设备带来了很大的压力，因此亟需提出一种智能电力边缘设备的深度神经网络模型压缩方法来解决上述问题。
[0004]经检索，未发现与本专利技术相同或相似的现有技术的专利文献。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的不足，提出一种智能电力边缘设备的深度神经网络模型压缩方法，能够解决提高模型识别准确率的同时，其网络结构也变得更加复杂，会包含大量的模型参数和浮点计算，导致其占用了更多的存储空间，需要更多的计算资源的技术问题。
[0006]本专利技术解决其现实问题是采取以下技术方案实现的：
[0007]一种智能电力边缘设备的深度神经网络模型压缩方法，包括以下步骤：
[0008]S1、获取训练好的智能电力深度神经网络模型；
[0009]S2、获取待压缩网络模型中每一层对应的所有卷积核，卷积核与卷积核之间进行组合，获取每一子卷积核组对应的数值矩阵；
[0010]S3、对每一个子卷积核组的分布进行统计，依据所获得分布结果，分析子卷积核组的信息复杂度，并进一步获取对应卷积层的数值向量；
[0011]S4、依据所获得的分布结果，评估卷积核贡献度，选择部分子卷积核组进行活化；
[0012]S5、获取活化后组，使用非线性映射将其映射至卷积核，获取参数模型，依据参数模型，对神经网络模型的冗余参数进行结构化修剪操作；
[0013]S6、使用电力场景数据集，进行卷积核结构化深度神经网络模型再训练，得到最终
剪枝后电力场景神经网络模型；
[0014]S7、基于剪枝后电力场景神经网络模型，获取高精度下电力场景神经网络模型的权值参数；
[0015]S8、对网络模型每一层的初始化权值参数绝对值进行排序，依据排序结果的大小设定阈值，对绝对值大于阈值的一组权值进行量化；
[0016]S9、比较原权值与预设定位宽范围内每一个以2为底的幂与0的差值，获取差值最小的以2为底的幂或0，将要量化的权值组量化为该值；
[0017]S10、模型保留未改变权值，使用电力场景数据集，进行深度神经网络模型再训练，对原始权值进行更新；
[0018]S11、重复S7至S10，直到所有权值完成量化，获得最终量化后深度神经网络模型。
[0019]而且，所述步骤S1的训练好的智能电力深度神经网络模型为待压缩的模型，剪枝量化后的网络模型要与训练好的智能电力深度神经网络模型进行准确率对比，判定压缩效果。
[0020]而且，所述步骤S2的带压缩模型为：对于其第l个卷积层，对应的权值矩阵为W
l
，包含c个卷积核，则有：多个卷积核组成的子卷积核组为：j
‑
i≥2，每一组所包含卷积核数目相同。
[0021]而且，所述步骤S4中，对上述A
i..j
的参数数值分布进行统计表示为P(k；i..j)，使用信息熵计算其信息的复杂度，有：用信息熵计算其信息的复杂度，有：
[0022]而且，所述步骤S4中，选择部分子卷积核组进行活化的方法为：依据活化函数进行：其中θ为设定阈值。
[0023]而且，所述步骤S5中参数模型的获取方法为：对活化结果使用直方图统计计算，求取卷积核出现频率的平均值，选定高于平均值的卷积核，将其对应的S4中的结果映射至卷积核。
[0024]而且，所述步骤S8的具体方法为：依据S7获取的权值参数，取对应的权值张量的绝对值，并按照大小排序，设定阈值将权值张量分为两组，一组全部大于或等于设定阈值，另一组全部小于设定阈值，对绝对值大于阈值的一组权值进行量化，其余保持不变。
[0025]而且，所述步骤S9的具体方法为：
[0026]依据S7获得的权值参数的绝对值，找到最大值w
max
，计算幂指数上限：l
max
＝＝floor(log2(w
max
×
4.0/3.0))，计算幂指数下限：l
min
＝l
max
+1
‑2b
‑2，其中b为要量化的位宽，则幂指数取值范围为[l
min
,l
max
]，遍历该取值范围，将待量化的权值减去2的幂/0，选取最小差值所对应的2的幂/0，将原权值参数替换为该值。
[0027]而且，所述步骤S10的具体方法为：依据S8的分组结果，将保持不变的权值参数返回至模型，使用电力数据集进行模型的重新训练。
[0028]本专利技术的优点和有益效果：
[0029]本专利技术提出一种智能电力边缘设备的深度神经网络模型压缩方法，能够有效地将基于遗传算法的剪枝策略与2的幂指数量化相结合，在保持网络模型精度的小幅度降低的
同时，大大降低了神经网络推理过程对于计算资源的需求，充分解决在资源有限设备上进行运动意图识别算法的内存占用和计算工作负载优化。
[0030]2、本专利技术首先引入基于遗传算法的多目标神经网络剪枝流程，将网络模型大小(内存开销)、计算工作量和精度均作为优化目标，本专利技术通过研究复杂的深度神经网络模型压缩方法，并将其用于优化深度神经网络模型，不仅可以减少网络模型的参数量和浮点计算量，也能够有效降低网络模型对存储空间、内存带宽和浮点计算单元算力的需求，同时还保证模型的精度与原模型相比无较大损失。
附图说明
[0031]图1为本专利技术的压缩流程图；
[0032]图2为本专利技术的压缩系统图；
[0033]图3为本专利技术的神经网络剪枝流程示意图。
具体实施方式
[0034]以下结合附图对本专利技术实施例作进一步详述：
[0035]一种智能电力边缘设备的深度神经网络模型压缩方法，如图1至图3所示，包括以下步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能电力边缘设备的深度神经网络模型压缩方法，其特征在于：包括以下步骤：S1、获取训练好的智能电力深度神经网络模型；S2、获取待压缩网络模型中每一层对应的所有卷积核，卷积核与卷积核之间进行组合，获取每一子卷积核组对应的数值矩阵；S3、对每一个子卷积核组的分布进行统计，依据所获得分布结果，分析子卷积核组的信息复杂度，并进一步获取对应卷积层的数值向量；S4、依据所获得的分布结果，评估卷积核贡献度，选择部分子卷积核组进行活化；S5、获取活化后组，使用非线性映射将其映射至卷积核，获取参数模型，依据参数模型，对神经网络模型的冗余参数进行结构化修剪操作；S6、使用电力场景数据集，进行卷积核结构化深度神经网络模型再训练，得到最终剪枝后电力场景神经网络模型；S7、基于剪枝后电力场景神经网络模型，获取高精度下电力场景神经网络模型的权值参数；S8、对网络模型每一层的初始化权值参数绝对值进行排序，依据排序结果的大小设定阈值，对绝对值大于阈值的一组权值进行量化；S9、比较原权值与预设定位宽范围内每一个以2为底的幂与0的差值，获取差值最小的以2为底的幂或0，将要量化的权值组量化为该值；S10、模型保留未改变权值，使用电力场景数据集，进行深度神经网络模型再训练，对原始权值进行更新；S11、重复S7至S10，直到所有权值完成量化，获得最终量化后深度神经网络模型。2.根据权利要求1所述的一种智能电力边缘设备的深度神经网络模型压缩方法，其特征在于：所述步骤S1的训练好的智能电力深度神经网络模型为待压缩的模型，剪枝量化后的网络模型要与训练好的智能电力深度神经网络模型进行准确率对比，判定压缩效果。3.根据权利要求1所述的一种智能电力边缘设备的深度神经网络模型压缩方法，其特征在于：所述步骤S2的带压缩模型为：对于模型第l个卷积层，对应的权值矩阵为W
l
，其中包含c个卷积核，则有：多个卷积核组成的子卷积核组为：j
‑
i≥2，每一组所包含卷积核数目相同。4.根据权利要求1所述...

【专利技术属性】
技术研发人员：王旭强，江黛茹，郑剑，张倩宜，金尧，曹旌，尚博祥，杨一帆，张子暄，郑阳，
申请(专利权)人：国家电网有限公司国网天津市电力公司信息通信公司，
类型：发明
国别省市：