基于异质生成数据的神经网络无数据量化方法技术

基于异质生成数据的神经网络无数据量化方法，涉及人工神经网络的压缩与加速。包括以下步骤：1)使用标准高斯分布随机初始化假图片。2)优化初始化假图片直到迭代次数到达限制，使用局部物体加强，边界距离限制，软感知损失，BN损失对假图片进行更新；3)先量化神经网络，再利用优化好的假图片，使用蒸馏损失、交叉熵损失训练量化网络，直至到达预定的训练轮数；4)训练结束保留量化网络权重，即得量化后的量化网络。不需要真实数据，可直接从头训练得到量化网络，可在无需特定硬件支持的情况下，在通用硬件平台上实现网络压缩与加速。在通用硬件平台上实现网络压缩与加速。在通用硬件平台上实现网络压缩与加速。

【技术实现步骤摘要】
基于异质生成数据的神经网络无数据量化方法


[0001]本专利技术涉及人工神经网络的压缩与加速，尤其是涉及一种基于异质生成数据的神经网络无数据量化方法。

技术介绍

[0002]近年来，深度神经网络(DNN)在计算机视觉、自然语言处理等许多领域得到广泛的应用。尽管DNN取得巨大的成功，但不断增加的网络大小阻碍DNN在许多资源有限的平台上的部署，如移动电话、嵌入式设备等。为了克服这一困境，学术界和工业界探索多种方法降低DNN的复杂性，以低精度格式表示全精度DNN的网络量化是一个很有前途的方向。
[0003]大多数现有方法属于量化感知训练，在能够获得原始完整训练数据集的前提下执行量化。然而，缺点也源于它对训练数据的依赖。在许多实际情况下，由于隐私和安全问题不断恶化，原始训练数据有时会被禁止访问。例如，人们可能不希望自己的医疗记录被披露给他人，商业材料也不希望通过互联网传播。因此，量化感知训练不再适用。
[0004]如何在无数据情况下获得量化后的DNN，受到学术界和工业界的高度重视。现有的无数据量化研究可以大致分成两类：
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于异质生成数据的神经网络无数据量化方法，其特征在于包括以下步骤：1)使用标准高斯分布随机初始化假图片；2)优化假图片直到迭代次数到达限制，使用局部物体加强，边界距离限制，软感知损失，BN损失对假图片进行更新；3)先量化神经网络，再利用优化好的假图片，使用蒸馏损失、交叉熵损失训练量化网络，直至到达预定的训练轮数；4)训练结束保留量化网络权重，即得量化后的量化网络。2.如权利要求1所述基于异质生成数据的神经网络无数据量化方法，其特征在于在步骤1)中，所述使用标准高斯分布随机初始化假图片是从标准高斯分布采样生成和真实图片大小一致的初始化假图片。3.如权利要求1所述基于异质生成数据的神经网络无数据量化方法，其特征在于在步骤2)中，所述局部物体加强的具体方法为：在假图片输入预训练的网络之前以p＝50％的概率随机裁减(crop)、缩放(reszie)：其中，crop
η
表示裁减的比例由均匀分布U(η,1)中采样，表示局部物体加强后的假图片。4.如权利要求1所述基于异质生成数据的神经网络无数据量化方法，其特征在于在步骤2)中，所述边界距离限制的具体方法为：限制假图片在预训练的网络的特征空间中要保持一定的分布：其中，v
F
表示使用预训练网络抽取的特征，如下：其中，M
c
表示和第i张假图同一个类别的所有假图的特征的集合。5.如权利要求1所述基于异质生成数据的神经网络无数据量化方法，其特征在于在步骤2)中，所述软感知损失是为假图片提供一个软目标：其中，U(∈,1)表示在由∈到1的均匀分布，me...

【专利技术属性】
技术研发人员：纪荣嵘，钟云山，林明宝，南宫瑞，
申请(专利权)人：厦门大学，
类型：发明
国别省市：