层剪枝方法、厨余垃圾检测方法及遥感图像车辆检测方法技术

本发明专利技术新型公开了一种层剪枝方法，包括确定目标网络模型和训练数据集；采用训练数据集训练目标网络模型得到基础网络模型；对基础网络模型等价替换得到解耦网络模型；采用训练数据集训练解耦网络模型；等价解耦训练后的解耦网路模型并确定卷积层及参数；采用卷积层及参数进行合并处理，完成目标网络模型的层剪枝。本发明专利技术还公开了一种包括所述层剪枝方法的厨余垃圾检测检测方法以及包括所述层剪枝方法的遥感图像车辆检测方法。本发明专利技术具有模型压缩率高、不下降性能、可靠性好的优点。可靠性好的优点。可靠性好的优点。

【技术实现步骤摘要】
层剪枝方法、厨余垃圾检测方法及遥感图像车辆检测方法


[0001]本专利技术属于深度学习检测
，具体涉及一种层剪枝方法、厨余垃圾检测方法及遥感图像车辆检测方法。

技术介绍

[0002]随着深度学习技术的发展，基于人工智能的成果已经广泛应用到了人们的生活当中，包括农业植保、遥感检测、智能交通、灾难救援等场景，深度学习技术已然成为当下的研究热点。目标检测作为计算机视觉中的一项基本任务，已经得到了极大的发展，但对于厨余垃圾检测与无人机平台目标检测而言，仍面临许多挑战。厨余垃圾检测与无人机平台目标检测不同于传统的离线处理，其均需要高速地检测图像中的目标。对于厨余垃圾检测而言，亟需提高垃圾检测的速度，以便于后续垃圾分拣的任务。而对于无人机平台的遥感图像车辆检测，其也需要快速的完成检测过程。因此，常规的基于深度学习的目标检测方法并无法直接应用于厨余垃圾检测或无人机中的遥感图像车辆检测。因此研究如何实现高精度、高速度的厨余垃圾检测与无人机平台的遥感车辆目标检测，就具有重要的意义。
[0003]现阶段，基于深度学习的检测模型存在参数量大、计算量高等问题，针对计算和存储资源受限的无人机平台，需对已有模型研究一系列参数剪枝、量化加速等方法。参数剪枝是一种重要的模型压缩方法，具体包括通道剪枝和层剪枝等。通道剪枝虽然能大幅度减少参数量和计算量，但在边缘设备部署时，由于模型的内存访问成本依然很高，最终模型部署时的速度提升非常有限。层剪枝的加速效果更加理想，通过删除模型的冗余卷积层，同时大幅降低模型的参数量、计算量和内存访问成本，能够有效提高模型推理速度。因此，层剪枝方式相比通道剪枝对硬件实际部署更加友好。
[0004]但是，深度学习神经网络的性能通常与网络的层数大小呈正比关系，裁剪卷积层通常会导致深度学习模型性能严重下降，因此需要在剪枝率和性能之间做出良好的权衡。传统的层剪枝方法通过卷积重要性评价算法选择出冗余卷积层，再删除冗余层重新进行训练得到最终的推理模型。一方面，模型直接删除冗余层，将导致模型性能急剧下降，模型再次训练时难以恢复到初始精度；另一方面，若为了保持模型性能而降低剪枝率，则模型的推理速度无法得到大幅度的提高。
[0005]综上所述，当前的检测方法在访问模型的内存时所需的成本相对较高，且对于速度的提升存在一定的限制，模型的性能与剪枝率之间的比例关系在一定程度上的相互影响，存在精度与速度方面的双重问题。

技术实现思路

[0006]本专利技术的目的之一在于提供一种模型压缩率高、不下降性能、可靠性好的层剪枝方法。
[0007]本专利技术的目的之二在于提供一种包括了所述层剪枝方法的厨余垃圾检测方法。
[0008]本专利技术的目的之三在于提供一种包括了所述层剪枝方法的遥感图像车辆检测方
法。
[0009]本专利技术提供的这种层剪枝方法，包括如下步骤：
[0010]S1.确定目标网络模型，以及获取训练数据集；
[0011]S2.采用步骤S1获取的训练数据集，针对步骤S1获取的目标网络模型进行训练，获取基础网络模型；
[0012]S3.采用步骤S2获取的基础网络模型进行等价替换处理，获取解耦网络模型；
[0013]S4.采用步骤S1获取的训练数据集，针对步骤S3获取的解耦网络模型再次进行训练，获取训练后的解耦网络模型；
[0014]S5.采用步骤S4获取的训练后的解耦网路模型进行等价解耦处理，确定卷积层及其参数；
[0015]S6.采用步骤S5获取的卷积层及其参数进行合并处理，获得层剪枝后的网络模型，完成目标网络模型的层剪枝。
[0016]步骤S1所述的获取训练数据集，具体包括：采集训练图片，对获取的图片进行随机处理，所述随机处理包括多尺度数据增强、左右翻转、光照增强和使用补灰度值的方式统一图片大小；将图片目标的标签整理为统一的格式(n,x,y,w,h)，其中，n为目标类别，(x,y)是目标的中心坐标，w是目标宽度，h是目标高度。
[0017]步骤S3所述的采用步骤S2获取的基础网络模型进行等价替换处理，具体包括：
[0018](1)将基础网络模型中的卷积层等价替换为解耦卷积层：
[0019]将原卷积与单位卷积进行并联处理，单位卷积为1*1核的核卷积，初始权重为单位矩阵；
[0020]替换前的输入为x
i
，卷积层输出为y
i
，计算过程表示为：y
i
＝w
c
*x
i
，其中w
c
为替换前卷积层的参数；等价解耦后，解耦卷积层的计算过程表征如下：
[0021]y
i
'＝α
·
w
c
*x
i
+(1
‑
α)
·
w
e
*x
i
[0022]其中，y
i
'为解耦后的卷积层输出，w
e
为解耦后的单位卷积层的参数，学习参数α用于控制两个卷积的比重，且初始设置为α＝1.0；
[0023](2)将基础网络模型的激活层等价替换为解耦激活层：
[0024]替换前的输入为x
i
，激活层输出为y
r
，计算过程表述为：
[0025][0026]式中act()为激活层的函数表达式；
[0027]等价解耦后，解耦激活层的计算过程表征如下：
[0028][0029]其中，y
r
′
为解耦后的激活层输出，学习参数β用于控制负轴斜率，且初始设置为β＝1.0；
[0030]当解耦激活层后连接解耦卷积层时，收集相邻解耦层的参数用于构建组成(α,β)对，将所有(α,β)对用于组成集合M。
[0031]步骤S4所述的采用步骤S1获取的训练数据集，针对步骤S3获取的解耦网络模型再次进行训练，获取训练后的解耦网络模型，具体包括：
[0032](1)针对步骤S3获取的解耦网络模型进行再次训练处理，训练时采用的所有流程与步骤S2训练流程一致；
[0033](2)k为需要被压缩的层的个数，每N个训练批次完成后，变量k的值增加1，直至达到预设的层压缩比K％，其中，N为设定的训练次数；
[0034](3)计算集合M中所有(α,β)对的和的值，根据值的大小进行排序；选择前k个最小计算值所对应的(α,β)对组合成集合M'，对集合M'施加惩罚梯度，使其在数值上逐渐衰减到0；
[0035](4)G为损失函数L对卷积的回传梯度，l为学习率，W'为更新后的参数，则模型参数W的更新方式为：
[0036]W'＝W
‑
lG
[0037]对于需要被衰减的M'中的α和β，梯度设置为固定值G＝0.005，M'中的α和β将在固定梯度影响下逐渐变小，直至趋近于0；
[0038]对于M'以外的α和β，保留回传梯度G，施加额外的惩罚梯度衰减，以提高压缩本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种层剪枝方法，包括如下步骤：S1.确定目标网络模型，以及获取训练数据集；S2.采用步骤S1获取的训练数据集，针对步骤S1获取的目标网络模型进行训练，获取基础网络模型；S3.采用步骤S2获取的基础网络模型进行等价替换处理，获取解耦网络模型；S4.采用步骤S1获取的训练数据集，针对步骤S3获取的解耦网络模型再次进行训练，获取训练后的解耦网络模型；S5.采用步骤S4获取的训练后的解耦网路模型进行等价解耦处理，确定卷积层及其参数；S6.采用步骤S5获取的卷积层及其参数进行合并处理，获得层剪枝后的网络模型，完成目标网络模型的层剪枝。2.根据权利要求1所述的层剪枝方法，其特征在于步骤S1所述的获取训练数据集，具体包括：采集训练图片，对获取的图片进行随机处理，所述随机处理包括多尺度数据增强、左右翻转、光照增强和使用补灰度值的方式统一图片大小；将图片目标的标签整理为统一的格式(n,x,y,w,h)，其中，n为目标类别，(x,y)是目标的中心坐标，w是目标宽度，h是目标高度。3.根据权利要求2所述的层剪枝方法，其特征在于步骤S3所述的采用步骤S2获取的基础网络模型进行等价替换处理，具体包括：(1)将基础网络模型中的卷积层等价替换为解耦卷积层：将原卷积与单位卷积进行并联处理，单位卷积为1*1核的核卷积，初始权重为单位矩阵；替换前的输入为x
i
，卷积层输出为y
i
，计算过程表示为：y
i
＝w
c
*x
i
，其中w
c
为替换前卷积层的参数；等价解耦后，解耦卷积层的计算过程表征如下：y
i
'＝α
·
w
c
*x
i
+(1
‑
α)
·
w
e
*x
i
其中，y
i
'为解耦后的卷积层输出，w
e
为解耦后的单位卷积层的参数，学习参数α用于控制两个卷积的比重，且初始设置为α＝1.0；(2)将基础网络模型的激活层等价替换为解耦激活层：替换前的输入为x
i
，激活层输出为y
r
，计算过程表述为：式中act()为激活层的函数表达式；等价解耦后，解耦激活层的计算过程表征如下：其中，y
r
′
为解耦后的激活层输出，学习参数β用于控制负轴斜率，且初始设置为β＝1.0；当解耦激活层后连接解耦卷积层时，收集相邻解耦层的参数用于构建组成(α,β)对，将所有(α,β)对用于组成集合M。
4.根据权利要求3所述的层剪枝方法，其特征在于步骤S4所述的采用步骤S1获取的训练数据集，针对步骤S3获取的解耦网络模型再次进行训练，获取训练后的解耦网络模型，具体包括：(1)针对步骤S3获取的解耦网络模型进行再次训练处理，训练时采用的所有流程与步骤S2训练流程一致；(2)k为需要被压缩的层的个数，每N个训练批次完成后，变量k的值增加1，直至达到预设的层压缩比K％，其中，N为设定的训练次数；(3)计算集合M中所有(α,β)对的和的值，根据值的大小进行排序；选择前k个最小计算值所对应的(α,β)对组合成集合M'，对集合M'施加惩罚梯度，使其在数值上逐渐衰减到0；(4)G为损失函数L对卷积的回传梯度，l为学习率，W'为更新后的参数，则模型参数W的更新方式为：W'＝W
‑
lG对于需要被衰减的M'中的α和β，梯度设置为固定值G＝0.005，M'中的α和β将在固定梯度影响下逐渐变小，直至趋近于0；对于M'以外的α和β，保留回传梯度G，施加额外的惩罚梯度衰减，以提高压缩效率，采用如下的计算方式进行：W'＝W
‑
lG+λP其中，λP为施加的惩罚梯度，λ为惩罚因子，P为符号函数，且满足：5.根据权利要求4所述的层剪枝方法，其特征在于步...

【专利技术属性】
技术研发人员：方乐缘，吴洁，朱定舜，
申请(专利权)人：湖南大学，
类型：发明
国别省市：