用于电力边缘计算分类神经网络的无数据量化训练方法技术

本发明专利技术公开了一种用于电力边缘计算分类神经网络的无数据量化训练方法，对无训练数据集的情况增加一个生成网络，该生成网络的功能是重建训练数据，用于量化网络的训练；该生成网络根据全精度网络的反馈进行学习，生成的图片具有高的置信度且满足多样性。量化网络根据生成网络生成的图片，参考全精度网络的输出，使用知识蒸馏的方法进行学习；解决了现有技术存在的量化误差导致分类精度严重下降等技术问题。问题。问题。

【技术实现步骤摘要】
用于电力边缘计算分类神经网络的无数据量化训练方法


[0001]本专利技术属于机器学习神经网络压缩加速
；尤其涉及一种用于电力边缘计算分类神经网络的无数据量化训练方法。

技术介绍

[0002]随着神经网络的应用越来越广泛，其所搭载的平台也相应扩展到监控摄像头等嵌入式设备。电力嵌入式设备同样需要使用到支持边缘智能计算的神经网络算法处理器单元。嵌入式设备往往对神经网络的功耗和存储空间比较敏感，量化可以对神经网络进行加速和压缩，是实现部署的重要步骤。由于量化会带来量化误差导致精度下降，一般是需要对量化后的网络进行重训练来恢复精度。但是训练数据集一般非常庞大，在很多情况下是不可得的。尤其是在电力应用的神经网络中，由于公司隐私策略等原因，其电网数据属于保密信息，训练数据集不会公开。
[0003]现有量化方法需要原始的训练数据集，来对量化后的网络进行重训练，而在缺少训练数据集的情况下是无法进行训练的。其余不需要训练数据集的方法均基于对预训练后的全精度（32位浮点）权值数据进行分析后，对其进行均匀量化。详细来说首先分析神经网络权值的分布，其次计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于电力边缘计算分类神经网络的无数据量化训练方法，其特征在于：对无训练数据集的情况增加一个生成网络，该生成网络的功能是重建训练数据，用于量化网络的训练。2.根据权利要求1所述的一种用于电力边缘计算分类神经网络的无数据量化训练方法，其特征在于：生成网络的训练是通过将生成的图片输入预训练好的全精度网络，通过全精度网络的输出来衡量生成的图片质量计算损失函数，进而计算梯度更新参数。3.根据权利要求2所述的一种用于电力边缘计算分类神经网络的无数据量化训练方法，其特征在于：衡量标准包括置信度和多样性；置信度即为全精度网络认为该生成图片属于某一类的概率，多样性指的是一张以上生成图片属于不同的类别，类别包含预训练好的全精度网络的所有类别，并且生成每一类图片的概率相同。4.根据权利要求3所述的一种用于电力边缘计算分类神经网络的无数据量化训练方法，其特征在于：衡量标准还包括：让生成的图片和用于训练全精度网络图片之间的分布尽可能类似。5.根据权利要求1所述的一种用于电力边缘计算分类神经网络的无数据量化训练方法，其特征在于：量化网络将全精度网...

【专利技术属性】
技术研发人员：徐长宝，辛明勇，高吉普，刘卓毅，王宇，张历，申彧，习伟，姚浩，陈军健，陶伟，
申请(专利权)人：南方电网数字电网研究院有限公司，
类型：发明
国别省市：