【技术实现步骤摘要】
本专利技术涉及深度学习中的神经网络剪枝，特别是一种基于神经网络剪枝的轻量级图像分类方法及系统。
技术介绍
1、近年来，卷积神经网络模型以其卓越的性能成为计算机视觉领域众多任务的支柱，特别在图像分类等领域广泛应用。随着自动驾驶、人工智能和移动终端设备的不断发展，图像分类任务的应用范围不断扩大。
2、为了应对不同的图像分类任务，人工设计的通用卷积神经网络通常会拥有大量参数，以确保网络具备广泛适用性，这导致卷积神经网络在执行确定的图像分类任务时存在参数冗余，从而产生过拟合现象，限制卷积神经网络分类图像的精度；并且冗余参数的存在会消耗额外的存储和计算资源，限制其在低算力设备上的部署。
3、现有的剪枝技术通过剪枝网络的部分参数或者结构来减少参数量，剪枝技术分为非结构化剪枝和结构化剪枝。
4、非结构化剪枝技术通过将网络中的部分参数的值置0来达到类似减少参数量的效果，但该技术需要特定硬件和软件库的支持，限制了其应用。
5、结构化剪枝通过剪枝卷积神经网络中的部分卷积核来减少参数量，不需要额外的硬件和软件库支持，得到了广泛应用。然而目前的结构化剪枝方法无法准确剪枝，用于图像分类任务的卷积神经网络中存在冗余参数的卷积核。具体来说，存在剪枝参数冗余卷积核不完全和剪枝非参数冗余卷积核的问题。
6、如何准确剪枝用于图像分类任务的卷积神经网络中存在冗余参数的卷积核是亟待解决的问题。
技术实现思路
1、本专利技术所要解决的技术问题是，针对现有技术不足，
2、为解决上述技术问题，本专利技术所采用的技术方案是：一种基于神经网络剪枝的轻量级图像分类方法，包括以下步骤：
3、s1、获取图像数据集，将所述图像数据集划分为训练集和测试集；
4、s2、将所述训练集作为卷积神经网络的输入，通过正向传播，得到输出预测值，计算目标函数值l：其中，x为输入的训练集数据，为真实标签，f()函数输出预测的标签，w表示卷积神经网络中的可训练参数，l()是交叉熵函数，γ为bn层缩放因子，||||1为l1正则化，λ为超参数；
5、s3、根据所述目标函数值l，利用反向传播方法更新和优化卷积神经网络的所有权重参数，保存更新后的缩放因子，将测试集输入到权重参数更新后的卷积神经网络，获得分类精度；
6、s4、重复步骤s2～s3，直至目标函数值不再下降且所述分类精度不再上升，停止训练，得到训练好的卷积神经网络。
7、本专利技术利用bn层缩放因子的绝对值作为衡量卷积核重要程度的指标，并在损失函数中对缩放因子引入l1正则化稀疏，使得网络能够正确识别不同卷积核的重要程度，从而提高了图像分类精度。
8、对于vgg卷积神经网络，λ＝0.001；对于resnet,densenet卷积神经网络，λ＝0.0001。
9、所述卷积神经网络包括多个级联的复合层。每个复合层由一个卷积层连接一个bn层，再连接一个激活函数层构成，最后一个复合层连接全连接层。
10、bn层缩放因子γ初始化为0.5，其余权重参数的初始值为标准差为0.1，所有偏置参数的初始值设为0。
11、进一步地，为了准确消除冗余参数，轻量化卷积神经网络，消除过拟合现象，本专利技术的方法还包括：
12、s4、对所述训练好的卷积神经网络进行剪枝操作，得到剪枝后的卷积神经网络模型。
13、对所述训练好的卷积神经网络进行剪枝操作的具体实现过程包括：
14、1)获取最后两轮训练后缩放因子的值，根据缩放因子的绝对值从小到大的顺序，得到缩放因子的索引序列olast-1和olast；
15、2)根据所述索引序列olast-1和olast，利用二分法计算不同比例下的卷积核变化率，利用所述卷积核变化率确定包含全部参数冗余卷积核的剪枝比例pbest％；
16、3)剪枝训练好的卷积神经网络中olast前pbest％的索引对应的卷积核，获得剪枝掉所有冗余卷积核后的卷积神经网络模型。
17、本专利技术可以解决现有结构化剪枝方法无法准确剪枝用于图像分类任务的卷积神经网络中存在冗余参数的卷积核这一问题，从而准确消除了冗余参数，轻量化卷积神经网络，消除了过拟合现象，进一步提升了图像分类精度。
18、在p％比例下的卷积核变化率计算公式为：表示序列中元素的个数，oi-1和oi分别为第i-1轮训练过程的索引序列和第i轮训练过程的索引序列；优选地，将使卷积核变化率大于阈值0.005的最大的剪枝比例p值，确定为包含所有冗余卷积核的剪枝比例pbest％。
19、步骤3)中，剪枝训练好的卷积神经网络中olast前pbest％的索引对应的卷积核的具体实现过程包括：
20、取olast前pbest％的最后一个值，将该值对应的缩放因子绝对值作为阈值threhold；
21、遍历所述训练好的卷积神经网络模型的所有卷积层，统计第i层中比threhold大的缩放因子个数numi；
22、搭建新的卷积神经网络模型，其中第i层卷积层卷积核的个数为numi；
23、将训练好的卷积神经网络模型第i层中绝对值大于threhold的缩放因子对应的卷积核权重复制到新搭建的卷积神经网络模型第i层的卷积核中，完成剪枝，获得剪枝掉所有冗余卷积核后的轻量卷积神经网络模型。
24、为了恢复损失的精度，本专利技术的方法还包括：
25、s6、利用所述训练集训练剪枝后的卷积神经网络模型，得到最终的分类模型。
26、作为一个专利技术构思，本专利技术还提供了一种图像分类系统，其包括存储器和至少一个处理器；存储器上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现本专利技术上述方法的步骤。
27、与现有技术相比，本专利技术所具有的有益效果为：本专利技术利用bn层缩放因子的绝对值作为衡量卷积核重要程度的指标，并在损失函数中对缩放因子引入l1正则化稀疏，使得网络能够正确识别不同卷积核的重要程度。通过分析和计算卷积核变化率，确定包含全部存在冗余参数的卷积核的剪枝比例pbest％，从而进行后续剪枝操作。本专利技术解决了现有结构化剪枝方法无法准确剪枝用于图像分类任务的卷积神经网络中存在冗余参数的卷积核这一问题，从而准确消除冗余参数，轻量化卷积神经网络，消除过拟合现象，提升图像分类精度。
本文档来自技高网...【技术保护点】
1.一种基于神经网络剪枝的轻量级图像分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于神经网络剪枝的轻量级图像分类方法，其特征在于，对于Vgg卷积神经网络，λ＝0.001；对于Resnet,Densenet卷积神经网络，λ＝0.0001。
3.根据权利要求1所述的图像分类方法，其特征在于，所述卷积神经网络包括多个级联的复合层，每个复合层包括一个卷积层，所述卷积层连接一个BN层，所述BN层连接一个激活函数层，最后一个复合层连接全连接层。
4.根据权利要求3所述的基于神经网络剪枝的轻量级图像分类方法，其特征在于，BN层缩放因子γ初始化为0.5，其余权重参数的初始值为标准差为0.1，所有偏置参数的初始值设为0。
5.根据权利要求1所述的基于神经网络剪枝的轻量级图像分类方法，其特征在于，还包括：
6.根据权利要求5所述的图像分类方法，其特征在于，对所述训练好的卷积神经网络进行剪枝操作的具体实现过程包括：
7.根据权利要求6所述的图像分类方法，其特征在于，在p％比例下的卷积核变化率计算公式为：表示序列中
8.根据权利要求6所述的基于神经网络剪枝的轻量级图像分类方法，其特征在于，步骤3)中，剪枝训练好的卷积神经网络中Olast前pbest％的索引对应的卷积核的具体实现过程包括：
9.根据权利要求5所述的基于神经网络剪枝的轻量级图像分类方法，其特征在于，还包括：
10.一种基于神经网络剪枝的轻量级图像分类系统，其特征在于，包括存储器和至少一个处理器；存储器上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1～9任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于神经网络剪枝的轻量级图像分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于神经网络剪枝的轻量级图像分类方法，其特征在于，对于vgg卷积神经网络，λ＝0.001；对于resnet,densenet卷积神经网络，λ＝0.0001。
3.根据权利要求1所述的图像分类方法，其特征在于，所述卷积神经网络包括多个级联的复合层，每个复合层包括一个卷积层，所述卷积层连接一个bn层，所述bn层连接一个激活函数层，最后一个复合层连接全连接层。
4.根据权利要求3所述的基于神经网络剪枝的轻量级图像分类方法，其特征在于，bn层缩放因子γ初始化为0.5，其余权重参数的初始值为标准差为0.1，所有偏置参数的初始值设为0。
5.根据权利要求1所述的基于神经网络剪枝的轻量级图像分类方法，其特征在于，还包括：
6.根据权利要求5所述的图像分类方法，其特征在于，对所述训练好的卷积神经网络进行剪枝操作...
【专利技术属性】
技术研发人员：谢鲲，刘雨涵，李晓灿，文吉刚，唐卓，李肯立，
申请(专利权)人：湖南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。