【技术实现步骤摘要】
本专利技术属于计算机视觉领域，涉及对显著性目标检测模型的改进，具体为一种基于多任务提示的光学遥感图像显著性目标检测方法。
技术介绍
1、随着显著性目标检测的发展，在近期，光学遥感图像上的显著性目标检测已经成为了遥感图像处理领域的一个热门话。这项技术的主要目标是从大量的遥感图像中快速、准确地检测出显著性目标，如船只、飞机、建筑物等。然而，由于遥感图像的复杂性和多样性，以及目标本身的多样性，显著性仍然具有很大的挑战性。
2、遥感图像通常包含大量的背景信息，如云层、海洋、森林等，这些信息可能会干扰目标检测。此外，由于遥感图像的分辨率、光照条件、观测角度等因素的影响，目标的外观可能会发生变化，这进一步增加了目标检测的难度。因此，需要专门开发能够处理各种目标的遥感图像检测算法，以更好地处理复杂多样的光学遥感图像。
技术实现思路
1、1.专利技术目的：
2、针对现有技术的不足，本专利技术提供了一种基于多任务提示的光学遥感图像显著性目标检测方法。解决了当前的光学遥感图像显著目标检测模型在一些复杂场景上检测性能较差的问题。
3、2.技术方案：
4、本专利技术提出了一种基于多任务提示的光学遥感图像显著性目标检测方法，该方法的具体实施步骤为：
5、步骤(1)：在骨干网络中引入编码器的任务提示，且在所述骨干网络中提取多尺度特征图f1、f2、f3、f4；在解码器中加入mtp模块，在所述mtp模块中引入解码器的任务提示，将所述多尺度特征图输入到所述
6、步骤(2)：将步骤(1)得到的所述多尺度特征图f1、f2、f3、f4输入到所述跨层融合块中，将不同尺度的特征进行融合，得到更为全面和丰富的多尺度特征图
7、步骤(3)：将步骤(2)得到的所述多尺度特征图输入到所述任务学习块中，通过主要特定任务学习分支和另一辅助特定任务学习分支进行任务学习，再通过pra对各自任务token以及提示进行学习，从而自适应地区分任务的重要程度，实现任务与任务提示的内在联系，得到新的任务以及任务通用特征同时，联合特征表示的构建和mhsa使得模型能够在不同任务间共享信息，学习到更为丰富和具有长距离依赖关系的特征表示；
8、步骤(4)：将步骤(3)得到的所述任务输入进所述任务交互块进行交互处理采用对任务相关token进行对应的任务交互，最后映射至相应的任务特征，得到任务交互后的token；
9、步骤(5)：将步骤(4)中得到的所述任务交互后的token以及步骤(3)得到的所述任务通用特征输入进所述特定任务预测块，通过分别在主要特定任务学习分支和另一辅助特定任务学习分支中对各自的所述显著性目标检测和所述边缘性目标检测展开预测，得到多个预测图，所述预测图包括显著性目标检测预测图和边缘性检测预测图，其中所述显著性预测图通过sealoss监督得到。
10、优选地，所述任务提示的具体实施步骤为：通过引入相似性损失函数，显式地最大化显著性任务与边缘任务之间的差异，并自适应地区分各任务在检测过程中的重要性，从而提高任务间协作的有效性。
11、优选地，所述sealoss通过边缘感知掩码对齐显著性区域特征，提升了检测精度和鲁棒性。
12、优选地，所述pra通过多尺度池化大幅减轻了模型计算量和内存消耗，再引入线性注意力机制，实现了高效且精确的显著性目标检测。
13、3.有益效果：
14、(1)本专利技术通过使用任务提示解决显著性目标检边缘任务导致的梯度冲突的问题，并通过mtp模块学习到任务间的内在关联。
15、(2)本专利技术提出的模型性能优越，在eorssd，orssd两个光学遥感图像数据集上的本专利技术算法要优于现有的先进算法。
本文档来自技高网...【技术保护点】
1.一种基于多任务提示的光学遥感图像显著性目标检测方法，包括以下步骤：
2.如权利要求1所述的一种基于多任务提示的光学遥感图像显著性目标检测方法，其特征在于：步骤(1)所述任务提示的具体实施步骤为：通过引入相似性损失函数，显式地最大化显著性任务与边缘任务之间的差异，并自适应地区分各任务在检测过程中的重要性。
3.如权利要求1所述的一种基于多任务提示的光学遥感图像显著性目标检测方法，其特征在于：步骤(5)所述SEALoss通过边缘感知掩码与显著性区域特征对齐。
4.如权利要求1所述的一种基于多任务提示的光学遥感图像显著性目标检测方法，其特征在于：步骤(1)所述任务提示的具体实施过程为：所述编码器的任务提示是在每个编码器块中引入特定于任务提示其中ci表示通道数，Ni表示可学习提示token的数量，将任务提示与所述编码器块中的特征拼接成特征块，作为空间任务提示的形式存在，给定编码器中所述特定块的图像特征fi，并使用窗口注意力将所述图像特征fi划分为窗口特征其中M表示窗口大小，li/M2是窗口数量；然后，为每个窗口复制提示并获得之后将fiw和附加到每个
5.如权利要求1所述的一种基于多任务提示的光学遥感图像显著性目标检测方法，其特征在于：步骤(2)所述跨层融合块的具体实施过程为：对输入特征进行处理，先将更低尺寸的特征fi上采样至与fi-1相同大小，实现对不同尺度特征的对齐与整合；接着，在通道维度上将两个输入进行连接，将两个尺度的特征信息有机地融合在一起，而后，经过线性投影将通道维度映射至C维，最终，得到多尺度特征图
6.如权利要求5所述的一种基于多任务提示的光学遥感图像显著性目标检测方法，其特征在于：步骤(3)所述任务学习块的具体实施过程为：接收所述多尺度特征图紧接着初始化所述显著性任务和所述边缘任务的token为和并随机初始化显著性任务提示和边缘任务提示为可学习的参数，将和在通道维度上连接，得到联合特征表示Xf，如下公式所示：
7.如权利要求6所述的一种基于多任务提示的光学遥感图像显著性目标检测方法，其特征在于：所述PRA的具体实施过程为：给定输入先通过线性变换得到查询矩阵Q，其过程如下：
8.如权利要求1所述的一种基于多任务提示的光学遥感图像显著性目标检测方法，其特征在于：步骤(4)所述任务交互块的具体实施过程为：对不同任务的token进行连接操作得到ti，随后，应用MHSA捕捉token之间的全局关系和长距离依赖得到再利用MLP进一步精炼经过自注意力处理后的token从而得到其过程表述如下：
9.如权利要求1所述的一种基于多任务提示的光学遥感图像显著性目标检测方法，其特征在于：步骤(5)所述特定任务预测块的实施过程为：在所述主要特定任务学习分支中，将任务交互后的token以及所述任务特定特征，分别经过LN处理和MLP的变换，之后所述token和所述任务特定特征通过矩阵乘法进行融合得到的任务特定特征，所述任务特定特征再经过维度变换，映射为单通道表示，用于最终预测得到显著性预测图si与边缘预测图ei，该过程用如下公式表示：
10.如权利要求1所述的一种基于多任务提示的光学遥感图像显著性目标检测方法，其特征在于：步骤(5)所述SEALoss的具体实施过程为：首先，通过计算预测图像的Dilation和Erosion，生成一个边缘掩码，从而突出显示所述预测图像的边缘区域：
...【技术特征摘要】
1.一种基于多任务提示的光学遥感图像显著性目标检测方法，包括以下步骤：
2.如权利要求1所述的一种基于多任务提示的光学遥感图像显著性目标检测方法，其特征在于：步骤(1)所述任务提示的具体实施步骤为：通过引入相似性损失函数，显式地最大化显著性任务与边缘任务之间的差异，并自适应地区分各任务在检测过程中的重要性。
3.如权利要求1所述的一种基于多任务提示的光学遥感图像显著性目标检测方法，其特征在于：步骤(5)所述sealoss通过边缘感知掩码与显著性区域特征对齐。
4.如权利要求1所述的一种基于多任务提示的光学遥感图像显著性目标检测方法，其特征在于：步骤(1)所述任务提示的具体实施过程为：所述编码器的任务提示是在每个编码器块中引入特定于任务提示其中ci表示通道数，ni表示可学习提示token的数量，将任务提示与所述编码器块中的特征拼接成特征块，作为空间任务提示的形式存在，给定编码器中所述特定块的图像特征fi，并使用窗口注意力将所述图像特征fi划分为窗口特征其中m表示窗口大小，li/m2是窗口数量；然后，为每个窗口复制提示并获得之后将fiw和附加到每个窗口中的补丁特征token中，并在每个窗口内执行自注意力，如下公式所示：
5.如权利要求1所述的一种基于多任务提示的光学遥感图像显著性目标检测方法，其特征在于：步骤(2)所述跨层融合块的具体实施过程为：对输入特征进行处理，先将更低尺寸的特征fi上采样至与fi-1相同大小，实现对不同尺度特征的对齐与整合；接着，在通道维度上将两个输入进行连接，将两个尺度的特征信息有机地融合在一起，而后，经过线性投影将通道维度映射至c维，最终，得到多尺度特征图
6.如权利要求5所述的一种基于多任...
【专利技术属性】
技术研发人员：贺健龙，罗会兰，虞名豪，危熠笑，
申请(专利权)人：江西理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。