【技术实现步骤摘要】
本专利技术属于计算机视觉和目标检测领域，具体涉及一种基于全局注意力跨层特征融合航空图像目标检测方法。
技术介绍
1、随着深度学习技术的快速发展，基于深度卷积神经网络的目标检测技术取得了显著进展。但是当这些目标检测方法应用于航空图像时，由于航空图像具有小而密集的目标、显著的尺度变化、复杂的背景和多样的视角等特点，这些算法通常在目标检测方面面临一定的困难。
2、过去，针对航空图像中存在的小而密集的问题，一些研究者提出了fpn及其变体进行多尺度目标检测，使用不用尺寸的预测头检测不同大小的目标，以更好的检测到小目标。针对复杂背景和多样视角的问题，一些研究者使用transformer及其变体改进传统卷积神经网络架构，以提取更多的上下文信息，增加特征图的长距离依赖关系。但是，这些方法都无法在保证实时性的前提下有效解决上述问题。
3、因此，亟需设计一种全局注意力跨层特征融合的航空目标检测方法，在保证实时性的同时提高检测精度，解决上述问题。
4、本专利技术的目的可以通过以下技术方案实现：
5、一种基于全局注意力跨层特征融合的航空图像目标检测方法，所述方法包括：
6、步骤1：获取并划分用于训练和测试该方法的航空数据集；
7、步骤2：建立用于获取低分辨率特征图更大感受野的大核可分离注意关联空间金字塔池(lksppf)；
8、步骤3：建立用于一般目标检测的主干网络结构，并使用大核可分离注意关联空间金字塔池替换主干网络中的空间金字塔池；
9、步骤4：建立用于
10、步骤5：建立具有混合回归损失的目标检测头，对经过主干网络和neck结构的特征图进行最终的检测，得到检测结果。
11、进一步的，所述步骤2包括以下子步骤：
12、2.1)利用cspdarknet53作为主干网络，对于cspdarknet53输出的最后一个特征层使用1×1卷积对特征层进行通道调整，然后利用三个分支的最大池化分别获得不同感受野的特征(y1，y2，y3)，这些特征被添加到连接层。
13、yout＝concat(x,x+y1，x+y1+y2，x+y1+y2+y3) (2)
14、fout＝conv(dw-dconv(dwconv(yout))) (3)
15、2.2)将得到的连接特征层送入large separable kernel attention(lska)注意力机制中得到大核可分离注意关联空间金字塔池(lksppf)模块，以扩大低分辨率特征图的感受野。
16、进一步的，在所述步骤3中，由于选择cspdarknet53作为主干网络，因此使用步骤2得到的大核可分离注意关联空间金字塔池(lksppf)模块替换cspdarknet53中的sppf模块。
17、进一步的，所述步骤4包括以下子步骤：
18、全局跨层特征融合分为全局特征融合和特征注入模块，其中全局特征融合又分为低阶段全局特征融合和高阶段全局特征融合两部分。
19、4.1)低阶段全局特征融合模块，对主干网络输出的c2,c3,c4,c5级特征图使用双线性插值和avgpool进行对齐尺度大小操作，将对齐后的特征进行融合，得到falign特征图，接着使用yolov6中的特征提取模块repblock得到细粒度的特征图ffuse,最后使用split进行划分，得到连接neck其他层的全局特征图fl_global。如等式(4)、(5)、(6)所示。为更好地保留高分辨率特征图中的小目标信息，本文在特征融合模块中保留的融合尺寸是m级特征图。
20、falign＝defy_fam(c2,c3,c4,c5) (4)
21、ffuse＝repblock(falign) (5)
22、fl_global＝split(ffuse) (6)
23、4.2)高阶段全局特征融合模块使用avgpool和upsample对neck自上而下路径中获取的p2、p3、p4层特征图进行对齐操作。经过特征融合模块进一步处理，得到更适合小物体检测的大特征图falign。接着使用多头自注意力对融合的特征图进行更深层次的特征提取得到特征图ffuse，可以更好地保留全局特征信息。最后把ffuse特征图进行划分得到高阶段连接neck其它层的全局特征图fh_global，如公式(7)、(8)、(9)所示。与fpn-like结构不同的是，我们使用浅层特征进行高阶段的特征融合。融合过程中s级和l级特征图对齐m级特征图，使其保留更多小目标的语义和空间信息。
24、falign＝pyramidpool(p2,p3,p4) (7)
25、ffuse＝swintransformer(falign) (8)
26、fh_global＝swintransformer(falign) (9)
27、4.3)在低阶段和高阶段信息对齐和融合模块结束后分别获得全局特征信息fl_global和fh_global。为了提高非相邻特征层之间的互补关系，我们使用特征注入模块(inject_defy)模块把得到的全局特征，与neck中不同层级特征图进行跨层特征融合。输入当前级别的特征(x_local)和全局特征信息fl_global或fh_global，分别表示为flocal和fglobal。由于航空图像中背景复杂，为了更好的区分全局中的前景和背景信息，我们使用ema注意力机制增强全局特征fglobal中的前景信息，得到feglobal。接着使用不同的1x1卷积对feglobal进行计算，得到feglobal_embed和feglobal_act。使用1x1卷积对flocal进行计算得到flocal_embed。最后使用平均池化或双线性插值根据fglobal缩放feglobal_embed和feglobal_act，以确保二者尺寸一致。接着通过计算得到融合特征ffuse。最后添加repblock进一步提取和融合特征信息。公式如下：
28、feglobal_act＝resize(sigmoid(convact(ema(fglobal)))) (11)
29、feglobal_embed＝resize(convglobal_embed(ema(fglobal))) (12)
30、fatt_fuse＝convlobal_embed(flobal)＊feglobal_act+feglobal_embed (13)
31、xout＝repblock(fatt_fuse) (14)
32、进一步的，在所述步骤5中，因为giou的计算包含了更多的背景信息，它可以更好地处理小目标的位置偏差问题。g本文档来自技高网...
【技术保护点】
1.一种基于全局注意力跨层特征融合的航空图像目标检测方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于全局注意力跨层特征融合的航空图像目标检测方法，其特征在于：所述步骤1)具体做法是：
3.根据权利要求1所述的基于全局注意力跨层特征融合的航空图像目标检测方法，其特征在于：所述步骤2)具体做法是：
4.根据权利要求1所述的一种提基于全局注意力跨层特征融合的航空图像目标检测方法，其特征在于：所述步骤3)具体做法是：
5.根据权利要求1所述的基于全局注意力跨层特征融合的航空图像目标检测方法，其特征在于：所述步骤4)具体做法是：
6.根据权利要求1所述的基于全局注意力跨层特征融合的航空图像目标检测方法，其特征在于：所述步骤5)具体做法是：
【技术特征摘要】
1.一种基于全局注意力跨层特征融合的航空图像目标检测方法，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于全局注意力跨层特征融合的航空图像目标检测方法，其特征在于：所述步骤1)具体做法是：
3.根据权利要求1所述的基于全局注意力跨层特征融合的航空图像目标检测方法，其特征在于：所述步骤2)具体做法是：
4.根...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。