一种基于深度监督与特征金字塔的图像分类系统技术方案

本发明专利技术涉及图像分类技术领域，具体为一种基于深度监督与特征金字塔的图像分类系统由划分数据集模块、特征融合模块、分类模块、训练模块以及预测模型构成；有益效果为：本发明专利技术提出的基于深度监督与特征金字塔的图像分类系统采用RepVGG作为主干网络，此网络在采用极简架构的同时在速度和性能上达到SOTA水平。我们再次网络基础上通过添加特征金字塔来融合深层特征与浅层特征，并通过深度监督技术添加辅助分类网络，之后通过新的标签分配方法，引导主要网络以及辅助网络进行训练。可以更好的提高图片分类的准确度。高图片分类的准确度。高图片分类的准确度。

【技术实现步骤摘要】
一种基于深度监督与特征金字塔的图像分类系统


[0001]本专利技术涉及图像分类
，具体为一种基于深度监督与特征金字塔的图像分类系统。

技术介绍

[0002]图像分类的目标是基于给定图像，计算机能够正确识别并给出该图像所属的类别。对于超级强大的人类视觉系统来说，判别出一个图像的类别是件很容易的事，但是对于计算机来说，并不能像人眼那样一下获得图像的语义信息，它们只能看到图像中每个像素的数值。这里以尺寸为512x512的图像为例，计算机可以把图像的像素信息读取并记录为一个512x512的矩阵，通过寻找每张图像中的矩阵关系来对图像进行分类。
[0003]现有技术中，图像分类分为传统方法与深度学习方法。传统的图像分类方法首先通过对图片中的底层特征进行提取，包括局部特征，边缘特征等多种特征。之后采用特征变换算法对提取出来的底层特征进行编码。编码之后的特征经过空间特征约束，可以获得特征的表达，通常是以向量的形式进行表达。最后特征向量经过分类器得到图像的分类结果。深度学习的分类方法自从2012年的AlexNet获得了ILSVRC2012的冠军之后便不断涌现。比较出名的算法有VGG,GoogleNet,ResNet等。

技术实现思路

[0004]本专利技术的目的在于提供一种基于深度监督与特征金字塔的图像分类系统，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于深度监督与特征金字塔的图像分类系统，所述图像分类系统由划分数据集模块、特征融合模块、分类模块、训练模块以及预测模型构成；
[0006]分数据集模块，划分数据集，并将训练集图片输入主干网络并提取初始特征图；
[0007]特征融合模块，初始特征图输入主要网络进行特征融合并对其分类；
[0008]分类模块，特征图输入深度监督辅助网络进行分类；
[0009]训练模块，通过新的标签分配方法，引导主要网络以及辅助网络进行训练；
[0010]预测模型，对整体网络进行训练调优，选取准确率最高的模型当作预测模型。
[0011]优选的，将COCO数据集中的图片划分为训练集和测试集，选取训练集中的图片Img
a
的尺寸进行大小调整，调整为224x224的图片，之后输入RepVGG主干网络进行特征提取,并得到初始特征图F
a
，其尺寸为H7×
W7×
C
1280
，
[0012]F
a
＝RepVGG(Img
a
)
ꢀꢀꢀ
(1)。
[0013]优选的，将初始特征图F
a
进行池化操作，将其H与W的尺寸划分为1，2，3，6；
[0014]这四种大小的特征图，
[0015][0016]对这4种尺度的特征图经过1x1卷积操作进行维度降低，得到F1,F2,F3,F4；使它们通道数量变为特征图F
a
的四分之一；
[0017]F1,F2,F3,F4＝Conv
1x1x320
(P
1x1
,P
2x2
,P
3x3
,P
6x6
)
ꢀꢀꢀ
(3)。
[0018]优选的，对降维后的特征图F1,F2,F3,F4分别通过公式4的反卷积公式计算卷积的设置，并通过反卷积进行上采样，使它们H和W的维度与
[0019]初始特征图F
a
的H,W维度相同，但是通道数是初始特征图F
a
的四分之一；output_dim＝(input_dim
‑
1)*stride+output_padding
‑2[0020]*padding+kernel_size
[0021](4)，
[0022]TF1,TF2,TF3,TF4＝TransposedConv(F1,F2,F3,F4)
ꢀꢀꢀ
(5)。
[0023]优选的，通过采样得到了4组特征图TF1,TF2,TF3,TF4，其维度都为H7×
W7×
C
320
，之后将这4组特征图与初始特征图F
a
进行合并拼接，这样会得到具有不同尺度特征的全局特征图RF，使得不同尺度的信息得到有效融合，RF
7x7x2560
＝torch.cat(F
a
,TF1,TF2,TF3,TF4) (6)；
[0024]最终的多尺度特征图RF通过全局平均池化层与softmax函数，得到输入图片在每一种种类上的概率分布，这里称为软标签A。
[0025]优选的，对真实标签进行标签平滑策略，假如原本的真实标签P为[0,1,0,0,0,0],其中1为真实样本的概率，0为其他样本的概率，但是经过标签平滑策略之后，其标签会变为[0.05,0.75,0.05,0.05,0.05,0.05]，其中0.75为真实样本概率，0.05为其他样本概率，有效的防止模型过度自信，并提高其泛化能力；对标签平滑后的真实标签Gt与软标签A，经过交叉熵公式计算出其损失Loss(Gt,A)。
[0026]优选的，初始特征图F
a
直接经过全局平均池化层与softmax函数，得到输入图片在每一种种类上的概率分布，这里称为软标签B；传统的模型融合方法是将辅助网络与真实标签进行损失计算，采用将主要网络所产生的预测结果软标签A，与深度监督的辅助网络的预测结果软标签B进行交叉熵公式计算出其损失Loss(B,A)。
[0027]优选的，损失相加，通过总损失进行优化，将产生的损失Loss(Gt,A)与S3中辅助网络产生的损失进行相加Loss(B,A)，来对主要网络进行联合优化；Total Loss＝Loss(Gt,A)+Loss(B,A)
ꢀꢀ
(7)，
[0028]对于结合了特征金字塔的主要网络产生的软标签A更能代表源数据和目标数据之间的分布和相关性；这在新的标签分配策略中属于一条细致的路线；之后通过辅助网络来学习主要网络已经学习过的关键信息，这在新的标签分配策略中属于一条粗略的路线；这种由细致到粗略的标签分配策略，能引导主要网络专注于学习那些还未能被学习到的剩余信息，提高模型的学习能力。
[0029]优选的，调整网络的损失权重，将主要网络的权重设置为70％，辅助网络的损失权重设置为30％，将辅助网络的损失权重降低可以使得主要网络的优化上限始终高于辅助网络，能更好的增加预测的准确率。
[0030]与现有技术相比，本专利技术的有益效果是：
[0031]本专利技术提出的基于深度监督与特征金字塔的图像分类系统采用RepVGG作为主干网络，此网络在采用极简架构的同时在速度和性能上达到SOTA水平。我们再次网络基础上通过添加特征金字塔来融合深层特征与浅层特征，并通过深度监督技术添加辅助分类网络，之后通过新的标签分配方法，引导本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度监督与特征金字塔的图像分类系统，其特征在于：所述图像分类系统由划分数据集模块、特征融合模块、分类模块、训练模块以及预测模型构成；分数据集模块，划分数据集，并将训练集图片输入主干网络并提取初始特征图；特征融合模块，初始特征图输入主要网络进行特征融合并对其分类；分类模块，特征图输入深度监督辅助网络进行分类；训练模块，通过新的标签分配方法，引导主要网络以及辅助网络进行训练；预测模型，对整体网络进行训练调优，选取准确率最高的模型当作预测模型。2.根据权利要求1所述的一种基于深度监督与特征金字塔的图像分类系统，其特征在于：将COCO数据集中的图片划分为训练集和测试集，选取训练集中的图片Img
a
的尺寸进行大小调整，调整为224x224的图片，之后输入RepVGG主干网络进行特征提取,并得到初始特征图F
a
，其尺寸为H7×
W7×
C
1280
，F
a
＝RepVGG(Img
a
)
ꢀꢀꢀ
(1)。3.根据权利要求2所述的一种基于深度监督与特征金字塔的图像分类系统，其特征在于：将初始特征图F
a
进行池化操作，将其H与W的尺寸划分为1，2，3，6；这四种大小的特征图，对这4种尺度的特征图经过1x1卷积操作进行维度降低，得到F1,F2,F3,F4；使它们通道数量变为特征图F
a
的四分之一；F1,F2,F3,F4＝Conv
1x1x320
(P
1x1
,P
2x2
,P
3x3
,P
6x6
)
ꢀꢀꢀ
(3)。4.根据权利要求3所述的一种基于深度监督与特征金字塔的图像分类系统，其特征在于：对降维后的特征图F1,F2,F3,F4分别通过公式4的反卷积公式计算卷积的设置，并通过反卷积进行上采样，使它们H和W的维度与初始特征图F
a
的H,W维度相同，但是通道数是初始特征图F
a
的四分之一；output_dim＝(input_dim
‑
1)*stride+output_padding
‑
2*padding+kernel_size(4)，TF1,TF2,TF3,TF4＝TransposedConv(F1,F2,F3,F4)
ꢀꢀꢀ
(5)。5.根据权利要求4所述的一种基于深度监督与特征金字塔的图像分类系统，其特征在于：通过采样得到了4组特征图TF1,TF...

【专利技术属性】
技术研发人员：李旭东，潘心冰，伊文超，何彬彬，朱利霞，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：