一种基于轻量化网络的图像分类方法和系统技术方案

本发明专利技术公开了一种基于轻量化网络的图像分类方法和系统

【技术实现步骤摘要】
一种基于轻量化网络的图像分类方法和系统


[0001]本专利技术涉及图像分类领域，并且更具体地，涉及一种基于轻量化网络的图像分类方法和系统
。

技术介绍

[0002]图像分类是计算机视觉领域中的一项重要任务，其目标是将输入的图像分为不同的类别
。
图像分类技术在许多领域都有广泛的应用，包括医学影像诊断
、
自动驾驶
、
智能监控
、
图像处理等
。
随着深度学习技术的发展，基于深度神经网络的图像分类方法取得了显著的进展，并在许多图像分类任务中取得了优秀的性能
。
然而，随着图像分类任务中数据规模和复杂性的增加，深度神经网络的参数量和计算复杂度也大幅增加，导致模型较大且运行速度较慢，不适合在资源受限的边缘设备上部署
。
为了解决这一问题，研究者开始关注轻量化网络设计，旨在提供更小
、
更高效的模型，同时保持较好的图像分类性能
。
[0003]图像分类是指对来自传感器获取的图像进行分类和识别，常用于土地利用
、
城市规划
、
农业监测等领域
。
传统的图像分类方法主要基于手工设计的特征提取算法和传统机器学习技术，但这些方法在面对复杂多样的图像时，性能受限
。
近年来，随着深度学习技术的崛起，基于深度神经网络的图像分类方法得到广泛应用，取得了更好的分类结果
。
[0004]公开号为
CN109214406B
的中国专利公开了“基于
D
‑
MobileNet
神经网络的图像分类方法”，使用
D
‑
MobileNet
网络，其可以对边缘信息明显的图片进行分类，且有较好的效果，但是对于图片这种复杂场景下的图片而言，由于其包含更多细节
、
特征和背景信息，仅使用
D
‑
MobileNet
网络进行分类，网络可能无法充分捕捉这些复杂性，导致分类精度不够
。

技术实现思路

[0005]针对现有技术的以上缺陷或者改进需求，本专利技术旨在结合轻量化网络设计和深度学习技术，提出一种基于轻量化网络的图像分类方法，以在边缘设备上高效地进行图像分类，解决传统方法中模型复杂度高
、
计算开销大的问题，并提高图像分类的准确性和实时性
。
通过优化轻量化网络结构，利用通道重排技术
、
深度可分离卷积及新的损失函数创新手段，本专利技术的方法能够在边缘设备上实现快速
、
高效的图像分类，为图像处理和分析提供更为灵活
、
实时的解决方案
。
[0006]本专利技术提供了一种基于轻量化网络的图像分类方法，其目的在于通过轻量化网络与深度学习算法有效解析图像信息，实现高效
、
准确
、
实时的图像分类，为图像处理和分析提供更灵活
、
快速的解决方案，并为其在边缘设备的应用中提供了新的途径
。
[0007]为实验上述目的，按照本专利技术的一个方面，提供了一种基于轻量化网络的图像分类方法，包括以下步骤：步骤1，设计适用于图像分类的基于轻量化网络的图像分类模型；所述图像分类模型的具体处理过程如下：（
1.1
）输入待分类的图像，在此通过两个分支进行处理：第一条分支进行自适应平
均池化操作，第二条分支先通过组卷积操作，并经过批量标准化与
ReLU
激活函数处理，接着进行通道重排处理，后续通过两次深度可分离卷积，两次卷积后均经过批量标准化处理，之后再通过组卷积操作，并经过批量标准化与
ReLU
激活函数处理；（
1.2
）两个分支的结果拼接后经过
K
‑
Swish
激活函数处理，从而引入非线性；（
1.3
）接着进行逐点卷积操作，对特征进行线性组合和降维处理，在逐点卷积后，得到的特征图经过全局平均池化操作，全局平均池化将特征图的每个通道的像素值进行平均，得到一个固定大小的特征向量，得到的特征向量送入全连接层进行图像分类预测；（
1.4
）最后使用
Softmax
函数将预测概率转化为最终的图像分类结果；步骤2，对步骤1中设计好的基于轻量化网络的图像分类模型进行压缩；步骤3，设计损失函数训练并优化步骤2中压缩后的图像模型；步骤4，利用步骤3中优化后的模型实现图像分类
。
[0008]进一步的，步骤（
1.1
）中，组卷积中卷积核的大小为1×1，两次深度可分离卷积中卷积核的大小分别为3×1和1×
3。
[0009]进一步的，步骤（
1.2
）中
K
‑
Swish
激活函数表达式为：
(1)
[0010]其中，均是超参数，通过反向传播过程进行优化，是输入值
。
[0011]进一步的，步骤2的具体实现方式如下：（
2.1
）通过计算参数的梯度对模型中的权重参数进行重要性评估，根据权重的重要性，将权重参数进行排序；（
2.2
）根据已排序的权重重要性，设定一个阈值，将权重值小于阈值的参数标记为不重要的参数，然后，将这些不重要的参数剪枝，即将它们置零或者直接删除；（
2.3
）在剪枝后，对稀疏模型进行微调，在微调过程中，保持已剪枝的权重不变，只更新剩余的非零权重
。
进一步的，步骤3中设计的损失函数如下：（
3.1
）训练过程中使用的损失函数由两部分组成，第一部分是用于多类别分类任务的损失函数，通过最小化分类损失，提高分类准确性；设置一个包含
K
个样本的训练集，每个样本属于
C
个类别中的一个，对于第
u
个样本，设真实标签为
one
‑
hot
向量，其中时表示该样本属于第
v
个类别，而其它情况可表示为，其中
v0
，模型的预测输出为，其中表示模型对样本属于第
v
个类别的预测概率；
[0012]则第
u
个样本的交叉熵损失函数可以表示为：
(2)
[0013]其中，表示对所有的类别进行求和，是第
u
个样本的交叉熵损失，它衡量了模型对样本的预测概率与真实标签之间的差异；
[0014]同时，加入正则化项来控制模型的复杂度，并防止过拟合，在此，整体的分类损失函数
CSLoss
的公式如下 ：
(3)
[0015]其中，
K
表示训练集中样本的总数，是一个常数因子，用于避免空样本从而导致分母为零的情况，是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于轻量化网络的图像分类方法，其特征在于，包括以下步骤：步骤1，设计适用于图像分类的基于轻量化网络的图像分类模型；所述图像分类模型的具体处理过程如下：（
1.1
）输入待分类的图像，在此通过两个分支进行处理：第一条分支进行自适应平均池化操作，第二条分支先通过组卷积操作，并经过批量标准化与
ReLU
激活函数处理，接着进行通道重排处理，后续通过两次深度可分离卷积，两次卷积后均经过批量标准化处理，之后再通过组卷积操作，并经过批量标准化与
ReLU
激活函数处理；（
1.2
）两个分支的结果拼接后经过
K
‑
Swish
激活函数处理，从而引入非线性；步骤（
1.2
）中
K
‑
Swish
激活函数表达式为：
(1)
其中，均是超参数，通过反向传播过程进行优化，是输入值；（
1.3
）接着进行逐点卷积操作，对特征进行线性组合和降维处理，在逐点卷积后，得到的特征图经过全局平均池化操作，全局平均池化将特征图的每个通道的像素值进行平均，得到一个固定大小的特征向量，得到的特征向量送入全连接层进行图像分类预测；（
1.4
）最后使用
Softmax
函数将预测概率转化为最终的图像分类结果；步骤2，对步骤1中设计好的基于轻量化网络的图像分类模型进行压缩；步骤3，设计损失函数训练并优化步骤2中压缩后的图像模型；步骤4，利用步骤3中优化后的模型实现图像分类
。2.
如权利要求1所述的基于轻量化网络的图像分类方法，其特征在于：步骤（
1.1
）中，组卷积中卷积核的大小为1×1，两次深度可分离卷积中卷积核的大小分别为3×1和1×
3。3.
如权利要求1所述的基于轻量化网络的图像分类方法，其特征在于：步骤2的具体实现方式如下：（
2.1
）通过计算参数的梯度对模型中的权重参数进行重要性评估，根据权重的重要性，将权重参数进行排序；（
2.2
）根据已排序的权重重要性，设定一个阈值，将权重值小于阈值的参数标记为不重要的参数，然后，将这些不重要的参数剪枝，即将它们置零或者直接删除；（
2.3
）在剪枝后，对稀疏模型进行微调，在微调过程中，保持已剪枝的权重不变，只更新剩余的非零权重
。4.
如权利要求1所述的基于轻量化网络的图像分类方法，其特征在于：步骤3中设计的损失函数如下：（
3.1
）训练过程中使用的损失函数由两部分组成，第一部分是用于多类别分类任务的损失函数，通过最小化分类损失，提高分类准确性；设置一个包含
K
个样本的训练集，每个样本属于
C
个类别中的一个，对于第
u
个样本，设真实标签为
one
‑
hot
向量，其中时表示该样本属于第
v
个类别，而其它情况可表示为，其中
v0
，模型的预测输出为，其中表示模型对样本属于第
v
个类别的预测概率；则第
u
个样本的交叉熵损失函数可以表示为：
(2)
其中，表示对所有的类别进行求和，是第
u
个样本的交叉熵损失，它衡量了模型对样本的预测概率与真实标签之间的差异；同时，加入正则化项来控制模型的复杂度，并防止过拟合，在此，整体的分类损失函数
CSLoss
的公式如下 ：
(3)
其中，
K
表示训练集中样本的总数，是一个常数因子，用于避免空样本从而导致分母为零的情况，是正则化项的权重，用于控制正则化对损失函数的影响，是模型的参数，是正则化项，用于控制模型的复杂度，其表达式如下：
(4)
其中，是正则化强度，表示模型的第 i 个参数，
||
表示其绝对值；（
3.2
）第二部分的损失函数是剪枝损失，假设模型包含
L
个层，每个层有
S
个权重参数，则剪枝损失函数写成如下形式：
(5)
其中，为超参数，用于平衡剪枝损失在整体损失函数中的影响，表示模型第
l
层的第
s
个权重参数；（
3.3
）综合分类损失与剪枝损失得到整体的损失函数为：<...

【专利技术属性】
技术研发人员：刘逢刚，安庆，杨梦姗，贺照云，
申请(专利权)人：武昌理工学院，
类型：发明
国别省市：