一种金字塔分离双注意力的少样本细粒度图像分类方法技术

本发明专利技术涉及一种金字塔分离双注意力的少样本细粒度图像分类方法，包括如下步骤：选用数据集D，从D中随机选取N个图像类别并进行编号组成支持集和查询集；将支持集和查询集通过特征嵌入模块进行学习得到两种集合的特征图；将两种特征图通过金字塔分离模块得到多尺度特征图f

【技术实现步骤摘要】
一种金字塔分离双注意力的少样本细粒度图像分类方法


[0001]本专利技术涉及少样本细粒度图像分类方法，特别涉及一种金字塔分离双注意力的少样本细粒度图像分类方法。

技术介绍

[0002]少样本学习(Few
‑
shot Learning,FSL)，也称为单样本学习或小样本学习。FSL是当前研究热点之一，其在许多现实生活的场景中具有重要的应用价值和意义。近几年，少样本学习广泛应用于图像分类、目标检测以及图像分割等领域。细粒度图像分类旨在区分同一类别的子类别，由于受物体姿态、背景干扰、遮挡以及拍摄角度等因素的影响，并且细粒度图像存在类别内差异大而类别间差异小的特点，使其给分类带来巨大的挑战。细粒度图像分类已经获得巨大的发展，但对细粒度图像进行类别标记工作需要一定的专业认知能力。例如，只有鸟类专家才能对不同的鸟类进行准确的分类。这与通用型分类任务相比成本非常昂贵。同时在许多现实应用场景中，一些细粒度图像数据集中，某些类别中标记良好的训练样本有限。例如医学、军事和金融领域，由于隐私、安全等因素，往往无法获得大量带标注的训练样本，从而面临着如何利用少量样本完成细粒度图像分类的问题；另一方面，需要依赖大量数据的经典模型，只能对训练样本的类别进行分类。然而如果在训练中有一直从未出现的新类别，针对这些出现的新类别，其分类效果较差。在有限的训练数据下，对细粒度图像进行准确的分类仍然是一个重要的问题。因此，少样本细粒度(Few
‑
Shot Fine
‑
Grained,FSFG)图像分类成为热门的研究内容。
[0003]从更高层次来看，一，FSL方法不依赖于大规模的训练样本，从而避免在某些特定应用中数据采集的高昂成本；二，FSL可以缩小人类智能与AI之间的差距，是发展通用人工智能的必经之路；三，FSL可以为临时可用的少量样本的新兴任务实现低成本和快速的模型部署，有利于在任务的早期发现样本潜在的规律。
[0004]现在，少样本细粒度图像分类还存在许多难点需要解决。首先，样本量较少时会使得提取特征图的能力减弱，以及分类器的分类效果降低；其次，通用型图像分类模型不能适应少样本图像分类的训练，也不能获得满意的少样本图像分类网络；最后，因为通用型图像分类模型的专业性较差，不能满足少样本图像分类的真实应用场景。

技术实现思路

[0005]针对现有技术存在的上述问题，本专利技术要解决的技术问题是：少量样本完成细粒度图像分类的准确率低。
[0006]为解决上述技术问题，本专利技术采用如下技术方案：一种基于金字塔分离和双注意力的少样本细粒度图像分类方法，包括如下步骤：
[0007]一种金字塔分离双注意力的少样本细粒度图像分类方法，其特征在于，包括如下步骤：
[0008]S100：选取公开细粒度图像数据集D，从D中所包含的类别中随机选取N个图像类
别，并对N个图像类别进行编号，对于每个图像类别都从D中选取K个同类别的图像样本，共计N*K个图像样本；将数量为N*K个图像样本作为支持集D
S
，表达式如下：
[0009][0010]其中，x
i
表示D
S
中第i个图像样本，y表示第i个图像样本对应的标签，m表示支持集的图像样本总量，i＝1，
…
，m；
[0011]从细粒度图像数据集D中选取数量为N*K
′
个图像样本作为查询集DQ
，
查询集D
Q
中的每个图像样本所属的图像类别不超过N的数量，查询集D
Q
的计算表达式如下：
[0012][0013]其中，x
j
表示D
Q
中第j个样本图像，y
j
表示第j个样本图像对应的标签，n表示查询集的图像样本总量，j＝1，
…
，n；
[0014]支持集D
S
中的图像样本和查询集D
Q
中的图像样本完全不重合；
[0015]S200：构建特征嵌入模块，分别将支持集D
S
和查询集D
Q
通过特征嵌入模块进行学习，得到支持集特征图和查询集特征图；
[0016]S300：分别将支持集特征图和查询集特征图利用金字塔分离模块得到支持集多尺度特征图f
S
和查询集多尺度特征图f
Q
，具体计算步骤如下：
[0017]S310：将支持集特征图在金字塔分离模块所包含的通道维度上被分成S个部分，表示为[X1，X2，
…
，X
p
，
…
，X
s
]，其中，表示第p个特征图；C
′
＝C/S表示公共通道数量；
[0018]S320：根据金字塔分离模块所包含的通道数量进行分组，并计算每个组的支持集多尺度特征表示，计算表达式如下：
[0019]F
p
＝(X
p
)Conv(k
p
×
k
p
，G
p
)，p＝1，2，
…
，S
ꢀꢀ
(3)
[0020]其中，F
p
表示第p组的支持集多尺度特征表示，G
p
表示第p个组的大小，k
p
表示第p个卷积核的大小，G
p
的表达式如下：
[0021][0022]S330：将计算得到的所有组的支持集多尺度特征表示进行串联，得到支持集多尺度特征表示f
S
，表达式如下：
[0023]f
S
＝Concat([F1，F2，
…
，F
p
，
…
，F
S
])；
ꢀꢀ
(5)
[0024]利用金字塔分离模块计算得到查询集多尺度特征表示f
Q
，表达式如下：
[0025]f
Q
＝Concat([F1，F2，
…
，F
q
，
…
，F
Q
])；
ꢀꢀ
(6)
[0026]其中，F
q
表示第q组的查询集多尺度特征表示，q＝1，2，
…
，Q；
[0027]S400：构建双注意力模块，双注意力模块由并行的通道注意力模块和空间注意力模块组成；
[0028]S410：通过通道注意力模块计算f
S
的通道注意力特征图W
lc
；通过空间注意力模块计算f
S
的空间注意力特征图W
ls
；
[0029]S411：调整f
S
大小使其适合作为通道注意力模块的输入f
S
′
；
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种金字塔分离双注意力的少样本细粒度图像分类方法，其特征在于，包括如下步骤：S100：选取公开细粒度图像数据集D，从D中所包含的类别中随机选取N个图像类别，并对N个图像类别进行编号，对于每个图像类别都从D中选取K个同类别的图像样本，共计N*K个图像样本；将数量为N*K个图像样本作为支持集D
S
，表达式如下：其中，x
i
表示D
S
中第i个图像样本，y表示第i个图像样本对应的标签，m表示支持集的图像样本总量，i＝1,
…
,m；从细粒度图像数据集D中选取数量为N*K
′
个图像样本作为查询集D
Q
，查询集D
Q
中的每个图像样本所属的图像类别不超过N的数量，查询集D
Q
的计算表达式如下：其中，x
j
表示D
Q
中第j个样本图像，y
j
表示第j个样本图像对应的标签，n表示查询集的图像样本总量，j＝1,
…
,n；支持集D
S
中的图像样本和查询集D
Q
中的图像样本完全不重合；S200：构建特征嵌入模块，分别将支持集D
S
和查询集D
Q
通过特征嵌入模块进行学习，得到支持集特征图和查询集特征图；S300：分别将支持集特征图和查询集特征图利用金字塔分离模块得到支持集多尺度特征图f
S
和查询集多尺度特征图f
Q
，具体计算步骤如下：S310：将支持集特征图在金字塔分离模块所包含的通道维度上被分成S个部分，表示为[X1,X2,
…
,X
p
,
…
,X
S
]，其中，表示第p个特征图；C
′
＝C/S表示公共通道数量；S320：根据金字塔分离模块所包含的通道数量进行分组，并计算每个组的支持集多尺度特征表示，计算表达式如下：F
p
＝(X
p
)Conv(k
p
×
k
p
,G
p
),p＝1,2,
…
,S
ꢀꢀꢀꢀ
(3)其中，F
p
表示第p组的支持集多尺度特征表示，G
p
表示第p个组的大小，k
p
表示第p个卷积核的大小，G
p
的表达式如下：S330：将计算得到的所有组的支持集多尺度特征表示进行串联，得到支持集多尺度特征表示f
S
，表达式如下：f
S
＝Concat([F1,F2,
…
,F
p
,
…
,F
S
])；
ꢀꢀꢀꢀꢀ
(5)利用金字塔分离模块计算得到查询集多尺度特征表示f
Q
，表达式如下：f
Q
＝Concat([F1,F2,
…
,F
q
,
…
,F
Q
])；
ꢀꢀꢀꢀꢀꢀ
(6)其中，F
q
表示第q组的查询集多尺度特征表示，q＝1,2,
…
,Q；S400：构建双注意力模块，双注意力模块由并行的通道注意力模块和空间注意力模块组成；S410：通过通道注意力模块计算f
S
的通道注意力特征图W
lc
；通过空间注意力模块计算f
S
的空间注意力特征图W
ls
；
S411：调整f
S
大小使其适合作为通道注意力模块的输入f
S
′
；S412：将f
S
′
进行矩阵转置得到f
S
″
，将f
S
′
和f
S
″
之间进行矩阵乘法运算，将矩阵乘法运算结果作为softmax函数的输入计算通道注意力图A
c
，表达式如下：其中，C表示通道数，t表示当前通道维度上原始特征表示的下标，l表示当前通道维度上原始特征表示转置后的下标；S413：计算通道注意力特征图W
lc
，计算表达式如下：其中，α表示尺度参数；S414：将f
S
输入标准的一层卷积函数，计算得到新的多尺度特征图B和新的多尺度特征图C；S415：将...

【专利技术属性】
技术研发人员：苟光磊，杨雨，何静，张耀洪，吕艳娜，朱东旭，
申请(专利权)人：重庆理工大学，
类型：发明
国别省市：