一种细粒度图像分类方法及系统、终端设备及存储介质技术方案

本发明专利技术公开一种细粒度图像分类方法及系统、终端设备及存储介质。其细粒度图像分类方法包括以下步骤：获取待分类图片；将待分类的图片输入预先构建的多样性特征互补融合网络中，并采用所述多样性特征互补融合网络对所述图片进行分类；获取所述图片的分类结果。该方法采用多样性特征互补融合网络对图片进行分类，通过捕捉图片中的显著性部分，自动有效捕获特定区域的细微差异，并基于细微差异对图片进行分类，有效提高图片分类时的分类效率以及分类准确性。该方法不需要边界框，可以进行端对端训练。对端训练。对端训练。

【技术实现步骤摘要】
一种细粒度图像分类方法及系统、终端设备及存储介质


[0001]本专利技术属于图像分类方法
，涉及一种细粒度图像分类方法及系统、终端设备及存储介质。

技术介绍

[0002]细粒度目的是对属于同一基础类别的图像进行更加细致的子类划分。例如区分野生鸟类、汽车等。由于类别之间具有细微的类间差异以及较大的类内差异，难以捕获特定区域的细微差异进行分类。虽然深度学习促进了计算机视觉任务的研究，但其在细粒度分类中的应用依旧让人不那么满意，这是由于难以找到信息丰富的区域并提取其中的判别特征而造成的。对于像鸟类这样姿势多样的类别，分类情况更加糟糕。
[0003]因此，如何让CNN定位可区分的部分并学习可区分的特征是需要解决的重要问题。细粒度分类的关键在于开发自动方法来准确识别图像中的信息区域。之前的一些方法利用了细粒度的人类注释，例如鸟类分类中鸟类部位的注释。虽然这样可以取得不错的成绩，但是耗费了大量的人工，并且需要相对专业的知识，这使得这些方法不太实用。
[0004]因此很多人采用无监督学习方案来定位信息区域。它们消除了对人工注释的需求，但本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种细粒度图像分类方法，其特征在于，包括以下步骤：S1：获取待分类图片；S2：将待分类的图片输入预先构建的多样性特征互补融合网络中，并采用所述多样性特征互补融合网络对所述图片进行分类；S3：获取所述图片的分类结果。2.根据权利要求1所述的一种细粒度图像分类方法，其特征在于，所述多样性特征互补融合网络包括显著性和潜在性特征模块以及特征交换融合模块。3.根据权利要求2所述的一种细粒度图像分类方法，其特征在于，采用所述多样性特征互补融合网络对所述图片进行分类包括以下步骤：S201，将待分类的图片传入到所述多样性特征互补融合网络中，进入网络中的图片提取特征后，经过所述显著性和潜在性特征模块，输出显著性特征，并根据所述显著性特征获取潜在性特征，所述潜在性特征继续传入到网络的下一层；S202，将步骤S201中提取的显著性特征传入卷积模块，进行维度的变换；S203，对步骤S202中变换维度的特征传入特征交换融合模块，进行特征融合，并增强特征的多样性，获取最终的多样性特征；S204，将步骤S203获取的所述最终的多样性特征进行全局平均池化操作，通过线性层对所述变换维度的特征进行降维，并使用交叉熵损失函数对所述多样性特征互补融合网络进行优化，进行距离度量，完成所述图片的分类。4.根据权利要求3所述的一种细粒度图像分类方法，其特征在于，所述步骤S201具体为：所述步骤S201中将待分类的图片依次传入三个显著性和潜在性特征模块中，输出X
s1
，X
s2
和X
s3
三个显著性特征，并对所述显著性特征进行抑制，得到潜在性特征X
p
，并将X
p
传入到网络的下一层中，具体为：若所述多样性特征互补融合网络的输入模块的特征尺寸为X∈R
C
×
W
×
H
，其中C，W，H分别表示特征的通道，宽度和高度；在模块中，将X沿着宽度的方向，均等的分为m个相等的子特征，所述子特征的宽度为T，其中T＝W/m，所述子特征表示为X
i
∈R
C
×
T
×
H
,i∈[1,m]；使用1
×
1的卷积Conv()和ReLU()运算对所述子特征进行处理，得到特征S
i
，所述特征S
i
表示为：S
i
＝ReLU(Conv(X
i
))∈R1×
T
×
H
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)对得到的特征S
i
进行广义平均池化操作，具体为：式中，H
D
为特征的高度，W
D
为特征的宽度，为当前维度所有数值的累加和，p为广义平均池化的参数；通过所述广义平均池化得到显著性参数b
′
i
；b
′
i
＝GEM(S
i
)∈R1×1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)对得到的显著性参数B'＝(b
′1,
…
b
′
m
)∈R1×
m
×1进行归一化操作，得到显著性因子，具体为：
式中，B＝(b1,
…
b
m
)∈R1×
m
为显著性因子；将归一化得到的显著性因子B＝(b1,
…
b
m
)∈R1×
m
与原始的输入特征X进行加权求和，得到特征的显著性部分；在获取所述特征的显著性部分之前对显著性因子B＝(b1,
…
b
m
)∈R1×
m
×1进行尺寸变换处理，具体为B＝repeat(B)∈R1×
W
×1，得到X
i
中的显著性特征X
s
：X
s
＝(X
⊙
(α*B))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中，α是一个超参数，为调节显著性参数；
⊙
表示矩阵点乘；将所述特征S
i
再次进行广义平均池化，得到特征t
′
i
：t
′
i
＝GEM(S
i
)∈R1×1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)使用softmax函数对特征t
′
i
进行归一化处理，得到特征T＝(t1…
t
m
)∈R1×
m
×1；对所述特征T＝(t1…
t
m
)∈R1×
m
×1的显著性进行抑制，获取剩余的潜在性特征：β∈[0,1]是一个超参数；通过剔除潜在性特征中的显著性参数，再进行尺寸变换处理，具体为T＝repeat(T)∈R1×
W
×1；得到潜在性特征X
p
：X
p
＝X
⊙
T
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
⊙
表示矩阵点乘。5.根据权利要求4所述的一种细粒度图像分类方法，其特征在于，所述步骤S202具体为：将步骤S201得到的特征X
s1
,X
s2
,X
s2
输入到1
×
1的卷积层Conv1

【专利技术属性】
技术研发人员：廖开阳，黄港，郑元林，章明珠，王可儿，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：