【技术实现步骤摘要】
基于稀疏卷积神经网络的模型压缩方法、系统及相关设备
本专利技术涉及深度学习
，具体涉及一种基于稀疏卷积神经网络的模型压缩方法、系统及相关设备。
技术介绍
深度学习如今迅速发展，在计算机视觉、语音识别、自然语言处理、自动驾驶等领域获得广泛应用，并且在移动端与嵌入式系统的边缘设备上有巨大的应用前景。随着深度神经网络模型规模不断变大，训练和运行深度学习模型需要强大的计算能力和大量的数据存储空间，而边缘设备的存储空间与计算能力有限，这使得深度学习模型在资源受限的边缘设备上难以运行。因此，如何去除模型中多余的参数，且保证模型精度是目前需要解决的问题。有鉴于此，特提出本专利技术。
技术实现思路
为了解决现有技术中的上述问题，本专利技术提出了一种基于稀疏卷积神经网络的模型压缩方法、系统及相关设备，在保证模型效果的前提下，压缩了神经网络模型，解决了模型参数量与计算量过大，难以在资源受限的边缘设备上运行的问题。本专利技术的第一方面，提出一种基于稀疏卷积神经网络的模型压缩方法，所述方法包括：通过...
【技术保护点】
1.一种基于稀疏卷积神经网络的模型压缩方法，其特征在于，所述方法包括：/n通过对模型进行稀疏正则化训练，得到待压缩模型；/n根据所述待压缩模型各卷积层与BN层的参数，计算各滤波器的重要性评分；/n根据所述重要性评分以及预设的剪枝率设定重要性阈值；/n将所述重要性评分低于所述重要性阈值的滤波器，以及该滤波器对应的BN层参数一并剪除，获得剪枝后的模型。/n
【技术特征摘要】
1.一种基于稀疏卷积神经网络的模型压缩方法，其特征在于，所述方法包括：
通过对模型进行稀疏正则化训练，得到待压缩模型；
根据所述待压缩模型各卷积层与BN层的参数，计算各滤波器的重要性评分；
根据所述重要性评分以及预设的剪枝率设定重要性阈值；
将所述重要性评分低于所述重要性阈值的滤波器，以及该滤波器对应的BN层参数一并剪除，获得剪枝后的模型。
2.根据权利要求1所述的基于稀疏卷积神经网络的模型压缩方法，其特征在于，“通过对模型进行稀疏正则化训练，得到待压缩模型”的步骤包括：
通过下式在损失函数中添加惩罚因子：
L′＝L+λR(X)
其中，L′是添加惩罚因子的损失函数，L是原损失函数，λR(X)为添加的惩罚因子，λ是正则化系数，R(·)表示正则化范数，X表示卷积核的权重或BN层的缩放系数α，对于卷积核W＝{w1，w2，...，wm}，m为卷积核W中权重参数w的数目；对于缩放系数α，R(α)＝|α|。
3.根据权利要求2所述的基于稀疏卷积神经网络的模型压缩方法，其特征在于，对所述模型进行稀疏正则化训练时，在向后传播过程中通过下式对上一层权重X对应的输出梯度gX作为输入梯度进行稀疏正则化处理：
g′X＝gX+λsign(X)
其中，g′X是稀疏化处理后梯度，λ是正则化系数，sign(·)是符号函数，对梯度gX对应的权重X的符号进行判断，在X＜0，X＝0，X>0时分别取-1，0，1；
所述上一层为卷积层或BN层，所述梯度为卷积层中各滤波器中卷积核权重的梯度或BN层中各缩放系数的梯度。
4.根据权利要求1所述的基于稀疏卷积神经网络的模型压缩方法，其特征在于，“根据所述待压缩模型各卷积层与BN层的参数，计算各滤波器的重要性评分”的步骤包括：
按照下式的方法对第n个滤波器的权重进行绝对值求和：
其中，En为第n个滤波器权重绝对值的和，L表示第n个滤波器中的卷积核的数目，表示第n个滤波器中的第l个卷积核的权重，表示求的L1范数，n＝1，2，...，N，N为所述待压缩模型中滤波器的总个数；
根据第n个滤波器权重绝对值之和，以及对应的BN层的缩放系数，按照下式的方法计算第n个滤波器的重要性评分：
sn＝αn×En
其中，sn为第n个滤波器的重要性评分，αn为第n个滤波器...
【专利技术属性】
技术研发人员：朱凤华，韦越，陈世超，陈圆圆，吕宜生，熊刚，叶佩军，王飞跃，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。