一种基于注意力机制的小样本目标检测系统及方法技术方案

本发明专利技术公开一种基于注意力机制的小样本目标检测系统及方法，系统包括：分组空间与通道注意力模块、注意力残差模块。分组空间与通道注意力模块用于完成基于空间信息嵌入的通道间的注意力机制，并将最终的空间与通道注意力的权重加载在原特征图上；注意力残差模块基于分组空间与通道注意力模块，通过卷积层、归一化层、激活函数等，以及残差连接，构成注意力残差模块，以避免注意力梯度消失与梯度爆炸。以避免注意力梯度消失与梯度爆炸。以避免注意力梯度消失与梯度爆炸。

【技术实现步骤摘要】
一种基于注意力机制的小样本目标检测系统及方法


[0001]本专利技术涉及一种基于注意力机制的小样本目标检测系统及方法，适用于计算机视觉中的小样本目标检测


技术介绍

[0002]随着人类社会的发展，人类获取信息的重要来源逐渐变为图像和视频，其中基于大量图像视频样本进行深度学习的系统越来越成熟，但在工业界，还存在着大量的专业的非热门类别的目标有采用目标检测的需求，将目标识别技术应用于这些小众方向是一个难题，其中面临最重要的难题一方面是数据集的缺乏，具体来说就是难以借助公开的数据集从而获得海量的训练数据；另一方面就是即使有大量的数据，对于这些数据的标注工作不仅费时更需要一定的专业技术背景。基于以上两个困难，基于深度学习的目标检测技术在工业界仍有巨大人的应用潜力，如果从较少的数据中就能训练学习出一个性能相对不错的算法模型，则将大大利于目标检测在小众领域的应用，因此如何设计算法在少量样本条件下对数据进行充分利用进行目标检测，是工业界对计算机视觉技术发展的迫切需求。小样本条件下的目标检测具有非常高的研究价值，在医疗、农业、海洋、军事等领域有着广泛的应用。
[0003]但由于对于目标类别数据集较小，普通的小样本目标检测模型的检测精度与一般的海量样本数据的目标检测模型精度差的很远，其中一个原因就是模型定位目标的问题，由于缺乏先验知识，很多模型目标检测结果框偏离实际的实例位置过远或者检测模型对于一些关键特征提取与关注度不够，这是造成小样本目标检测精度低的一个重要，
[0004]2017年，谷歌推出了Transformer结构，使用注意力机制进行翻译任务，并取得很好的效果，再次将注意力机制推向了一个热点。注意力模型被广泛地用于自然语言处理、图像识别、语音识别等各种不同类别的深度学习任务中。其源于对人类视觉的研究，当处理信息的能力有限，人类会选择性地关注部分信息而忽略其它的信息。注意力机制能让网络具备更加关注于某一部分特征的能力，可以用一个通用的表达式来表示：
[0005]Attention(Q,,V)＝softmax(QKT)V
[0006]其中Q为查询向量Queries、K为键值向量Keys和V内容向量Values，通过查询向量和键值向量计算出一个权重并加在内容向量中，从而实现对于内容的选择性注意或者忽略。

技术实现思路

[0007]针对现有的小样本目标检测问题，提出了一种基于注意力机制的小样本目标检测系统。所述系统包括分组空间与通道注意力模块、注意力残差模块。
[0008]具体而言，分组空间与通道注意力模块主要分为两大模块，第一个模块通过将特征图在通道维度上进行分组，并对每一组的特征图在空间的两个方向上生成相关性图实现在空间上的注意力，而第二个模块通过将不同组别、不同空间维度上的相关性特征图进行
拼接，而后统一进行一系列的卷积正则等操作，再分开进行通道还原，完成了基于空间信息嵌入的通道间的注意力机制，并将最终的空间与通道注意力的权重加载在原特征图上。
[0009]具体而言，注意力残差块由卷积层、批量标准化层，激活函数层以及残差连接组成。注意力残差模块作为整个网络的基础模块堆叠了卷积层，激活函数层，批量标准化层、分组空间与通道注意力残差层和残差连接。分组空间与通道注意力残差层的嵌入能够对卷积运算后的特征图进行空间以及通道维度的加权，自适应地调整不同通道特征的重要性，强化重要特征信息，增强网络的特征提取能力。
[0010]经过具体实验得出基于注意力机制的小样本目标检测系统提高了小样本目标检测模型的检测平均精度mAP，说明本专利技术能够有效提高模型小样本目标检测精度。
[0011]为了实现上述目的，本专利技术提供如下技术方案：
[0012]一种基于注意力机制的小样本目标检测系统，其特征在于，包括如下步骤：
[0013]步骤S101：将输入的H
×
W
×
C的特征图，其中H代表图像高度，W代表图像宽度，C代表图像通道，在通道维度上分成多组，每组代表特定的子特征，通过分组可以对不同的特征针对性地进行学习和抑制噪声；
[0014]步骤S102：将每一组特征X
k
分为两路，分别使用尺寸(W,1)和(1,H)的池化核沿着竖直方向和水平方向对每个通道做全局平均池化(Global Average Pooling,GAP)，得到高为H的行特征图以及宽为W的列特征图以及宽为W的列特征图和上分别嵌入了特征组X
k
两个空间维度上的信息，与的表达式如式(1)(2)所示：
[0015][0016][0017]其中x
c
(i,h)表示原特征图X
k
第h行的第i个特征向量，x
c
(w,j)表示原特征图X
k
第w列的第j个特征向量；
[0018]步骤S103：分为两条支路，分别对应空间注意力模块和通道注意力模块；
[0019]步骤S104：在空间注意力模块，计算两个空间方向上的相关性掩码图与表达式如式(3)(4)所示：
[0020][0021][0022]其中
·
表示点积；
[0023]步骤S105：对和在空间上进行归一化得到标准化后的H方向和W方向上的相关性掩码图与如公式(5)(6)(7)所示：
[0024][0025][0026][0027]其中表示行相关性掩码图和列相关性掩码图μ
{h,w}
表示在每个通道上的空间全局平均值，表示在每个通道上的空间全局方差；
[0028]步骤S106：在通道注意力模块，将行特征图与列特征图按照通道进行对齐拼接得到拼接后的特征图对使用一个1
×
1的卷积并激活，如式(8)所示：
[0029][0030]其中δ是非线性激活函数，F1是卷积编码函数，得到通道经过编码后的特征图是卷积编码函数，得到通道经过编码后的特征图其中的r代表下采样的比例，这一部分作为整个分组空间与通道注意力模块的瓶颈结构，用以控制模块的大小；
[0031]步骤S107：紧接着，将f切分恢复为之前两个空间维度上的张量和再利用两个1
×
1的卷积分别将两个互相关特征图解码到原始的通道数，并再分别通过激活函数得到如下的两个值在(0,1)的特征图权重和如式(9)(10)所示：
[0032][0033][0034]其中F
h
为在h方向上的卷积解码函数，F
w
为在w方向上的卷积解码函数，σ(
·
)为Sigmoid激活函数；
[0035]步骤S108：将和以按行和按列的方式加载到经过空间注意力机制加权后的特征图上，最终得到第k组经过空间与通道加权后的特征图如式(11)所示：
[0036][0037]其中
⊙
表示按元素点积；
[0038]步骤S109：在得到每个组上经过空间与通道注意力后的特征图后，将不同的通道特征图进行拼接组合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的小样本目标检测系统，其特征在于，该系统包括：空间相关性与通道注意力模块和注意力残差模块；所述分组空间与通道注意力模块用于完成基于空间信息嵌入的通道间的注意力机制，并将最终的空间与通道注意力的权重加载在原特征图上；所述注意力残差模块是基于分组空间与通道注意力模块所构建的残差结构。2.根据权利要求1所述的一种基于注意力机制的小样本目标检测系统，其特征在于，所述分组空间与通道注意力模块分为三大模块，第一个模块为分组池化模块，将原始特征图分组，并对分组后的特征图沿宽度W和高度H两个方向得到平均池化图；第二个模块为空间注意力模块，对每一组的特征图借助两个方向上的池化图分别生成空间按相关性图，并将两个方向上的相关性图加载到源特征图上实现在空间上的注意力。第三个模块为通道注意力模块，通过将组内W和H两个方向得到平均池化图上进行拼接，而后统一进行一系列的卷积正则等操作将拼接后的特征图编码，而后再分别解码实现通道还原，并将最终的空间与通道注意力权重加载到原组特征图上，实现通道间上的注意力。3.根据权利要求1所述的一种基于注意力机制的小样本目标检测系统，其特征在于，所述注意力残差模块包含卷积层、激活函数层、批量标准化层、分组空间与通道注意力残差层和残差连接；分组空间与通道注意力残差层的嵌入能够对卷积运算后的特征图进行空间以及通道维度的加权。4.基于权利要求1
‑
3所述系统的小样本目标检测方法，其特征在于，包括如下步骤：步骤S1：通过将特征图在通道维度上进行分组，并对每一组的特征图在空间的两个方向上生成平均池化图；将两个方向上的池化图分别生成空间按相关性图，将每一组的两个方向上的相关性图加载到源特征图上实现在空间上的注意力；将每一组的两个方向上的相关性图进行拼接，接着统一进行一系列的卷积正则等操作将拼接后的特征图编码，而后再分别解码实现通道还原，将最终的空间与通道注意力权重加载到原组特征图上，实现通道间上的注意力；将每一组经过空间与通道注意力加权后的特征图沿通道进行拼接融合得到原始特征图经过注意力机制的输出；步骤S2：基于每个分组空间与通道注意力模块、卷积模块、批归一化模块、激活函数模块，构建注意力残差模块。5.根据权利要求4所述的小样本目标检测方法，其特征在于所述步骤S1具体包括：步骤S101：将输入的H
×
W
×
C的特征图，其中H代表图像高度，W代表图像宽度，C代表图像通道，在通道维度上分成多组，每组代表特定的子特征，通过分组可以对不同的特征针对性地进行学习和抑制噪声；步骤S102：将每一组特征X
k
分为两路，分别使用尺寸(W,1)和(1,H)的池化核沿着竖直方向和水平方向对每个通道做全局平均池化，得到高为H的行特征图以及宽为W的列特征图列特征图和上分别嵌入了特征组X
k
两个空间维度上的信息，与的表达式如式(1)(2...

【专利技术属性】
技术研发人员：杨绿溪，许诺，刘周勇，王潇祎，谢国烜，俞科栋，徐琴珍，俞非，
申请(专利权)人：东南大学，
类型：发明
国别省市：