基于CIFAR数据集的深度神经网络模型压缩方法及压缩装置制造方法及图纸

本发明专利技术涉及一种基于CIFAR数据集的深度神经网络模型压缩方法及压缩装置，包括：步骤1、下载CIFAR数据集，并对数据集进行预处理；步骤2、在CIFAR数据集上初始化训练深度神经网络，给神经网络训练出来最好的卷积核权值；步骤3、用正则化稀疏神经网络的参数；步骤4、将部分卷积核参数移除，以便能够压缩神经网络吗，减少模型的参数；步骤5、训练微调被稀疏修剪得神经网络，继续不断得修剪不重要得卷积核正则化参数，获得了一个被压缩得深度神经网络。本发明专利技术首先分别对卷积层权值和BN层比例因子进行正则化处理。然后结合卷积层的权值和BN层的比例因子来评估信道的重要性，可以在不降低模型性能的情况下删除不重要的通道。能的情况下删除不重要的通道。能的情况下删除不重要的通道。

【技术实现步骤摘要】
基于CIFAR数据集的深度神经网络模型压缩方法及压缩装置


[0001]本专利技术涉及人工智能领域，尤其是一种基于CIFAR数据集的深度神经网络模型压缩方法及压缩装置。

技术介绍

[0002]近几年，深度学习受到极大关注，在图像处理、自然语言处理、语音处理等方面都取得了成功应用，已经成为机器学习中的热点领域，在计算机视觉、语音识别、自然语言处理、自动驾驶等领域获得广泛应用，并且在移动端与嵌入式系统的边缘设备上有巨大的应用前景。深度学习之所以会取得成功，一方面是因为模型具有更深层数和更多参数，这使得模型具有更强大的非线性拟合能力；另一方面是因为硬件设备不断更新为深度学习模型快速训练提供了可能。但深度卷积神经网络由于计算量大，难以在资源受限的设备上部署。信道剪枝是一种减少计算量、加速网络推理的有效方法。大多数通道剪枝方法都是从稀疏网络的单个结构(卷积层或批处理归一化层)中统计数据来评估通道的重要性。这些方法的局限性在于，它经常会错误地删除重要的通道。
[0003]CIFAR数据集CIFAR数据集是物体的分类数据集，包含两个不同的数据子集，分别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于CIFAR数据集的深度神经网络模型压缩方法，其特征在于包括如下步骤：步骤1、下载CIFAR数据集，并对数据集进行预处理；步骤2、在CIFAR数据集上初始化训练深度神经网络，给神经网络训练出来最好的卷积核权值；步骤3、用正则化稀疏神经网络的参数；步骤4、将部分卷积核参数移除，以便能够压缩神经网络，减少模型的参数；步骤5、训练微调被稀疏修剪得神经网络，并且继续不断得修剪不重要得卷积核正则化参数，最终获得了一个被压缩得深度神经网络。2.根据权利要求1所述基于CIFAR数据集的深度神经网络模型压缩方法，其特征在于，对数据集预处理时：首先将三维图像转换为灰度值的二维灰度图像，然后将二维灰度图像进行归一化处理。3.根据权利要求1所述基于CIFAR数据集的深度神经网络模型压缩方法，其特征在于，对神经网络模型的卷积层的卷积核进行前向运算和反向传播的训练和更新，就得到卷积核的权值，将得到的权值做为初始权值。4.根据权利要求3所述基于CIFAR数据集的深度神经网络模型压缩方法，其特征在于，将得到的初始权值通过非线性激励函数实现函数值归一化，然后利用梯度下降算法求最小值得到权重的误差系数，利用误差系数和权值不断求和更新权值，获得最终卷积核权值。5.根据权利要求1或4所述基于CIFAR数据集的深度神经网络模型压缩方法，其特征在于，进行正规化稀疏时，需要添加惩罚因子，L
′
＝L+λR(X)其中L
′
是添加惩罚因子的损失函数，L是原损失函数，λR(X)为添加的惩罚因子，λ是正则化稀疏，R(
·
)是正则化范数，X表示卷积核的权值或BN层的缩放因子α，对于卷积核W＝{w1，w2，......，wm},m为卷积核W中权重参数w的数目；缩放因子α，R(α)＝|α|。6.根据权利要...

【专利技术属性】
技术研发人员：吴华，曹乃虹，王贵忠，杨继明，徐文海，王自强，徐明寿，
申请(专利权)人：北京华能新锐控制技术有限公司，
类型：发明
国别省市：