神经网络压缩方法、图像处理方法及装置制造方法及图纸

本公开提供了一种神经网络压缩方法、图像处理方法及装置。其中神经网络压缩方法包括：特征提取步骤，输入训练样本，基于神经网络的每个特征提取层的输出以及特征提取层对应的偏好参数得到调整输出，并正向传播得到网络输出结果，其中，偏好参数与神经网络的多个特征提取层一一对应；损失获取步骤，根据训练样本对应的标识以及网络输出结果，通过损失函数得到损失值；参数调整步骤，基于损失值，调整神经网络的权重以及偏好参数；压缩步骤，删除小于或等于第一阈值的偏好参数及其对应的特征提取层，得到压缩后的神经网络。通过设置偏好参数，偏好参数较小，说明对应的特征提取层对神经网络精度的提升较小，将该特征提取层删除以精简神经网络。

【技术实现步骤摘要】
神经网络压缩方法、图像处理方法及装置
本公开一般地涉及图像识别领域，具体涉及一种神经网络压缩方法、图像处理方法及装置。
技术介绍
随着人工智能识别的发展，普遍采用各种神经网络进行识别，不断提高识别精度和识别范围的同时，神经网络也越来越庞大，计算耗时、参数多并且所需存储容量巨大。因此很难将其应用于移动端，特别是硬件设备较差的移动端。一些技术中，为了实现神经网络模型压缩主要采用神经元稀疏连接、权重张量分解、模型剪枝等方法。神经元稀疏连接虽然理论上能带来比较大的加速效果，但是这些方法只能通过专用的稀疏矩阵运算库来实现加速，因此实际应用较为困难。权重张量分解并不能减少层输出通道数目，加速效果有限。而且不能应用于目前常用卷积神经网络的1x1卷积核。模型剪枝虽然能够直接去掉层输出通道数目，但是其只能在层数目确定的情况下剪枝层输出通道数目，不能对层数目进行搜索。而且确定最终的模型结构耗时，且耗费计算资源。
技术实现思路
为了解决现有技术中存在的上述问题，本公开的第一方面提供一种神经网络压缩方法，其中，方法包括：特征提取步骤，输入训本文档来自技高网...

【技术保护点】
1.一种神经网络压缩方法，其中，所述方法包括：/n特征提取步骤，输入训练样本，基于所述神经网络的每个特征提取层的输出以及所述特征提取层对应的偏好参数，得到调整输出，并正向传播得到网络输出结果，其中，所述偏好参数与所述神经网络的多个所述特征提取层一一对应；/n损失获取步骤，根据所述训练样本对应的标识以及所述网络输出结果，通过损失函数得到损失值；/n参数调整步骤，基于所述损失值，调整所述神经网络的权重以及所述偏好参数；/n压缩步骤，删除小于或等于第一阈值的所述偏好参数及其对应的所述特征提取层，得到压缩后的神经网络。/n

【技术特征摘要】
1.一种神经网络压缩方法，其中，所述方法包括：
特征提取步骤，输入训练样本，基于所述神经网络的每个特征提取层的输出以及所述特征提取层对应的偏好参数，得到调整输出，并正向传播得到网络输出结果，其中，所述偏好参数与所述神经网络的多个所述特征提取层一一对应；
损失获取步骤，根据所述训练样本对应的标识以及所述网络输出结果，通过损失函数得到损失值；
参数调整步骤，基于所述损失值，调整所述神经网络的权重以及所述偏好参数；
压缩步骤，删除小于或等于第一阈值的所述偏好参数及其对应的所述特征提取层，得到压缩后的神经网络。


2.根据权利要求1所述的方法，其中，全部所述偏好参数形成一个偏好向量，所述损失函数包括：所述偏好向量的L1范数。


3.根据权利要求2所述的方法，其中，所述损失函数还包括：正则化系数，所述正则化系数对所述L1范数正则化。


4.根据权利要求1所述的方法，其中，在所述压缩步骤之前，所述方法还包括：第一判断步骤，若所述损失值大于第二阈值，则返回所述特征提取步骤，若所述损失值小于或等于所述第二阈值，则执行所述压缩步骤。


5.根据权利要求1-4任一项所述的方法，其中，在所述压缩步骤之后，所述方法还包括：第二判断步骤，若所述神经网络未达到压缩目标，则返回所述特征提取步骤。


6.根据权利要求5所述的方法，其中，所述神经网络未达到压缩目标，包括：所述神经网络运算速度小于速度阈值。


7.根据权利要求5所述的方法，其中，所述神经网络未达到压缩目标，包括：所述神经网络剩余的所述特征提取层的数量大于层数阈值。


8.根据权利要求5所述的方法，其中，所述第二判断步骤还包括：若所述神经网络达到所述压缩目标，则执行微调步骤；其中所述微调步骤包括：基于所述训练样本以...

【专利技术属性】
技术研发人员：董弋锋，李亮亮，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11