神经网络模型的压缩方法及相关装置制造方法及图纸

本申请提供一种神经网络模型的压缩方法及相关装置，属于人工智能技术领域。该方法包括：利用神经网络模型的损失函数和零范数构建第一压缩模型，所述零范数指示所述神经网络模型中模型参数的稀疏度；将所述零范数等价处理为连续优化项，得到与所述第一压缩模型等价的第二压缩模型，所述连续优化项以所述稀疏度的控制参数为自变量，所述连续优化项连续优化的目标值等价于所述零范数；同步训练所述神经网络模型及所述第二压缩模型，以使得所述控制参数根据所述神经网络模型的训练误差稀疏化更新所述模型参数。本申请有效提升压缩后的神经网络模型的精度，提升神经网络模型的压缩可靠性。

【技术实现步骤摘要】
神经网络模型的压缩方法及相关装置
本申请涉及人工智能
，具体而言，涉及一种神经网络模型的压缩方法及相关装置。
技术介绍
深度学习在计算机视觉等领域被大量应用，往往大型的神经网络模型具有更高的准确率和更强的泛化能力，但是模型过大导致了大型的神经网络无法部署在小型服务器和边缘设备上，如智能手机，树莓派，摄像头，智能手表等设备上。模型压缩技术可以显著的减小神经网络的参数量以及提高神经网络模型在服务器和边缘设备上的推断速度。目前，存在将模型压缩问题建模成为带有零范数正则的压缩模型，然后利用不同的近似技巧来逼近零范数，使得压缩模型训练的时候可以进行反向传播，但是采用逼近零范数的方法会带来近似误差，导致压缩后的神经网络模型的精度难以保证，神经网络模型的压缩可靠性较低。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本申请实施例的目的在于提供一种神经网络模型的压缩方法及装置，其能够有效提升压缩后的神经网络模型的精度，本文档来自技高网...

【技术保护点】
1.一种神经网络模型的压缩方法，其特征在于，包括：/n利用神经网络模型的损失函数和零范数构建第一压缩模型，所述零范数指示所述神经网络模型中模型参数的稀疏度；/n将所述零范数等价处理为连续优化项，得到与所述第一压缩模型等价的第二压缩模型，所述连续优化项以所述稀疏度的控制参数为自变量，所述连续优化项连续优化的目标值等价于所述零范数；/n同步训练所述神经网络模型及所述第二压缩模型，以使得所述控制参数根据所述神经网络模型的训练误差稀疏化更新所述模型参数。/n

【技术特征摘要】
1.一种神经网络模型的压缩方法，其特征在于，包括：
利用神经网络模型的损失函数和零范数构建第一压缩模型，所述零范数指示所述神经网络模型中模型参数的稀疏度；
将所述零范数等价处理为连续优化项，得到与所述第一压缩模型等价的第二压缩模型，所述连续优化项以所述稀疏度的控制参数为自变量，所述连续优化项连续优化的目标值等价于所述零范数；
同步训练所述神经网络模型及所述第二压缩模型，以使得所述控制参数根据所述神经网络模型的训练误差稀疏化更新所述模型参数。


2.根据权利要求1所述的方法，其特征在于，所述将所述零范数等价处理为连续优化项，包括：
将所述零范数等价处理为连续优化的二次函数项及所述二次函数项的互补约束，所述二次函数项以所述稀疏度的控制参数为自变量，所述互补约束指示所述控制参数控制所述模型参数变为零的条件，所述二次函数项的二次项系数大于零。


3.根据权利要求1所述的方法，其特征在于，所述同步训练所述神经网络模型及所述第二压缩模型，以使得所述控制参数根据所述神经网络模型的误差稀疏化更新所述模型参数，包括：
将训练数据样本输入所述神经网络模型进行分批次训练，并利用所述第二压缩模型反向传播所述神经网络模型的梯度；
根据所述梯度更新所述控制参数及所述模型参数，以使得所述控制参数稀疏化所述模型参数，直到所述神经网络模型达到预定精度。


4.根据权利要求3所述的方法，其特征在于，所述互补约束为所述模型参数与控制向量的向量内积等于零，所述控制向量为所述模型参数中元素都为一的向量与所述控制参数的差向量；
所述利用所述第二压缩模型反向传播所述神经网络模型的梯度，包括：
利用拉格朗日乘子与所述互补约束构建第一约束项，并利用罚参数与所述互补约束构建第二约束项；
利用所述损失函数、所述二次函数项、所述第一约束项及所述第二约束项构建所述第二压缩模型对应的增广拉格朗日函数；
根据所述增广拉格朗日函数反向传播所述神经网络模型的梯度。


5.根据权利要求4所述的方法，其特征在于，所述根据所述增广拉格朗日函数反向传播所述神经网络模型的梯度，包括：
对所述增广拉格朗日函数中所述模型参数进行求导，得到所述神经网...

【专利技术属性】
技术研发人员：沈力，黄浩智，王璇，刘威，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44