基于Transformer边界感知的光学遥感图像显著目标检测方法技术

本发明专利技术公开一种基于Transformer边界感知光学遥感图像显著性目标检测方法，本发明专利技术通过注意力机制引导浅层特征挖掘更多细节信息；通过基于Transformer全局上下文信息模块来建模全局上下文信息，从全局角度推断不同显著目标以及显著目标内部的关系，有利于生成更加完整的显著性图；此外通过边界感知解码器，将各层特征和边界特征进行交互融合，在强调显著区域的同时关注边界信息，从而得到比其他先进方法更高置信度的显著图。更高置信度的显著图。更高置信度的显著图。

【技术实现步骤摘要】
基于Transformer边界感知的光学遥感图像显著目标检测方法


[0001]本专利技术涉及计算机视觉处理技术，具体涉及一种基于Transformer边界感知的光学遥感图像显著目标检测方法。

技术介绍

[0002]显著目标检测是计算机视觉领域中的一个重要课题，该任务旨在从给定图像中检测出视觉上最独特的目标。近年来，自然场景图像下的显著目标检测已经比较成熟，但光学遥感图像下的显著目标检测仍有待探索。光学遥感图像显著目标检测有很强的实用价值，该任务可以应用于计算机视觉各个领域起到预处理的作用，如目标分割、视觉跟踪、图像检索、裁剪、图像质量评估等。
[0003]光学遥感图像是由卫星和航空传感器拍摄的，而自然场景图像通常是通过手持相机进行拍摄，因此获取图像上巨大的差异使得光学遥感图像显著目标检测在尺度变化、成像条件、噪声干扰、成像方向等方面具有更大的挑战。光学遥感图像是在户外以很高的角度进行俯拍，因此它包含的目标尺度变化非常大，既有例如建筑物、岛屿等大目标，也存在飞机、船只等小目标，并且由于俯视的视角会使显著目标存在各种方向，而自然场景图像都是竖直方向。同时光学遥感图像背景复杂，噪声干扰多样，很容易受到光照强度、拍摄时间、拍摄高度等成像条件影响。因此直接使用最先进的自然场景图像显著目标检测方法处理光学遥感图像时，难以获得满意的结果。
[0004]在现有的研究中，大多使用卷积神经网络在光学遥感图像显著目标检测方面取得了很大进展。但是卷积神经网络存在从邻域像素中提取特征的固有局限性，因此以往的方法很难利用关键的全局线索。最近，Swin Transformer被提出,它通过多头自注意实现局部窗口内的实体对交互，并且通过滑动窗口方案建立跨窗口的长距离依赖关系。从Transformer中提取的特征比从卷积神经网络中提取的特征具有更多的全局信息，而全局上下文信息被证明是显著性检测的关键。
[0005]目前，光学遥感图像显著目标检测仍存在一些待解决且影响其性能的挑战：
[0006]一方面，会存在大目标检测不完全以及小目标的漏检的情况。光学遥感图像中存在一些狭长或占据整张图像范围很大的目标，很容易造成检测的不完整。而卷积神经网络无法建立起良好的长距离语义依赖关系来解决远距离特征不一致性的问题。同时，由于数据集中有较多小目标，前景占的比例较小，因此前景背景存在类别不均衡的问题。该问题会导致检测的准确率下降从而小目标会出现漏检。
[0007]另一方面，很多针对可见光图像显著检测的深度学习方法利用显著目标的边缘信息可以更准确地预测显著图的边界，但是由于光学遥感图像前景及背景的复杂性，简单直接地融合多层显著目标的边界信息对光学遥感图像显著检测效果不够理想。

技术实现思路

[0008]专利技术目的：本专利技术的目的在于解决现有技术中存在的不足，提供一种基于Transformer边界感知的光学遥感图像显著目标检测方法。
[0009]技术方案：本专利技术一种基于Transformer边界感知的光学遥感图像显著目标检测方法，其特征在于：包括以下步骤：
[0010]步骤S1、使用特征编码器编码获得遥感图像的多级特征，并将遥感图像特征标记为f1～f4；
[0011]步骤S2、通过空间注意力机制引导浅层特征f1和f2进行交互优化，并融合提取共有区域特征信息，得到新的浅层特征F1和F2；
[0012]步骤S3、将高层特征f3和f4经过基于Transformer全局上下文模块对全局信息处理，分别得到含有充分全局上下文信息的特征F3和F4；
[0013]步骤S4、在边界感知解码器中，将特征F1～F3中的边界信息进一步增强，并通过边界真值监督得到边界特征F
′1～F
′3，然后通过三个重复边界模块渐进地将每一层边界特征和强调显著区域的特征融合，得到完整且边界清晰的显著图；
[0014]步骤S5、通过联合损失函数L
final
监督训练网络得到最终预测图。
[0015]进一步地，所述步骤S1中特征编码器采用Swin
‑
Transformer部分结构，包括3个stage；每个stage中均包括多层重复的类似transformer模块，每个transformer模块中均包括核心的window attention和shift window attention；并且每个stage均可缩小所输入的特征图的分辨率；例如：未经过stage输出的通道数为128，通过三个stage之后的通道数分别为256、512和1024。
[0016]进一步地，所述步骤S2中先将浅层特征f1和f2通过空间注意力以自适应调制的操作对细节信息进行优化，突出显著目标区域；
[0017]首先得到浅层特征的空间注意力图A
s
：
[0018]A
s
＝SpatialAttn(f
i
)
[0019]SpatialAttn(f
i
)＝σ(Conv(Cat(AvgPool(f
i
),Maxpool(f
i
))))
[0020]其中，i是指第i层层级，此处i＝1,2，σ(*)表示sigmoid激活函数，Conv表示卷积层，Cat表示特征按通道维度级联，AvgPooling表示平均池化，Maxpooling表示最大池化；
[0021]将空间注意力图A
s
与对应的特征图f
i
相乘，得到的新的特征图f
′
i
：
[0022]f
′
i
＝A
s
×
f
i
[0023]然后，将浅层特征相乘并通过3*3的卷积处理得到浅层融合特征f
fuse
：
[0024]f
fuse
＝Conv(f1×
f2)
[0025]将浅层融合特征f
fuse
分别与f
′1和f
′2通过元素级加法进行融合实现共有区域特征的提取，进而得到新浅层特征F1，F2；
[0026]F
i
＝f
′
i
+f
fuse
[0027]其中，F1＝f
′1+f
fuse
，F2＝f
′2+f
fuse
。
[0028]进一步地，所述步骤S3中基于Transformer全局上下文模块具体方法为：
[0029]步骤S3.1、将较高层特征f3下采样至f4相同的分辨率并将其相加得到高层融合特征
[0030]步骤S3.2、使高层融合特征通过双分支的结构获取全局上下文信息；
[0056]F2＝F
″2+F2。
[0057]进一步地，所述步骤S5中联合损失函数L
final
为：
[0058]L
final...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer边界感知的光学遥感图像显著目标检测方法，其特征在于：包括以下步骤：步骤S1、使用特征编码器编码获得遥感图像的多级特征，并将遥感图像特征标记为f1～f4；步骤S2、通过空间注意力机制引导浅层特征f1和f2进行交互优化，并融合提取共有区域特征信息，得到新的浅层特征F1和F2；步骤S3、将高层特征f3和f4经过基于Transformer全局上下文模块对全局信息处理，分别得到含有充分全局上下文信息的特征F3和F4；步骤S4、在边界感知解码器中，分别将特征F1～F3中的边界信息增强，并通过边界真值监督得到边界特征F1′
～F3′
，通过三个边界模块渐进地将每一层边界特征和强调显著区域的特征融合，得到完整且边界清晰的显著图；步骤S5、通过联合损失函数L
final
监督训练网络得到最终预测图。2.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方法，其特征在于：所述步骤S1中特征编码器采用Swin
‑
Transformer部分结构，包括3个stage；每个stage中均包括多层重复的transformer模块，每个transformer模块中均包括window attention和shift window attention；并且每个stage均可缩小所输入的特征图的分辨率。3.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方法，其特征在于：所述步骤S2的具体方法为；首先，计算浅层特征的空间注意力图A
s
：A
s
＝SpatialAttn(f
i
)SpatialAttn(f
i
)＝σ(Conv(Cat(AvgPool(f
i
),Maxpool(f
i
))))其中，i＝1,2，σ(*)表示sigmoid激活函数，Conv表示卷积层，Cat表示特征按通道维度级联，AvgPooling表示平均池化，Maxpooling表示最大池化；将空间注意力图A
s
与对应的特征图f
i
相乘，得到的新的特征图f
i
′
：f
i
′
＝A
s
×
f
i
然后，将两个浅层特征相乘并通过3*3的卷积处理得到浅层融合特征f
fuse
：f
fuse
＝Conv(f1×
f2)将浅层融合特征f
fuse
分别与f1′
和f
′2通过元素级加法进行融合实现共有区域特征的提取，进而得到新浅层特征F1，F2；其中，F1＝f1′
+f
fuse
，F2＝f
′2+f
fuse
。4.根据权利要求1所述的基于Transformer边界感知的光学遥感图像显著目标检测方法，其特征在于：所述步骤S3中基于Transformer全局上下文模块具体方法为：步骤S3.1、将高层特征f3下采样至f4相同的分辨率并将其相加得到高层融合特征步骤S3.2、使高层融合特征通过双分支的结构获取全局上下文信息；分支一通过Transformer层得到具有全局感受野的全局特征G1：其中，T代表一组Transformer层，Conv1代表1*1卷积操作，BN代表批量归一化层，ρ(*)
代表ReLU函数；分支二通过平均池化得到的全局特征G2对分支一进行补充和增强目标区域：步骤S3.3、将两分支通过元素级相加进行融合，再...

【专利技术属性】
技术研发人员：涂铮铮，陈燕雯，韩寒，王越，郑海军，谢星晨，伏傈豪，
申请(专利权)人：安徽大学，
类型：发明
国别省市：