【技术实现步骤摘要】
本专利技术涉及计算机图像处理技术，具体涉及一种基于双向交替融合策略的可见光-热红外显著目标检测方法。
技术介绍
1、可见光-热红外显著目标检测旨在模拟人类视觉机制，从可见光图像和热红外图像中提取两个模态共有的显著目标。对于视觉研究任务来说，它涉及目标检测、图像分割、特征提取等技术。在实际生活中可见光-热红外显著目标检测具有广泛的应用场景，涵盖了安防监控、智能交通等多个领域，对于提高系统的性能和可靠性具有重要意义。
2、早期的研究人员提出了针对可见光显著目标检测的有效解决方案。但是在弱光场景中，仅依赖于可见光图像的显著目标检测方法性能明显下降。热红外图像成像技术通过检测物体的热辐射来定位目标的位置，使得它在在夜间、低光、烟雾等环境下具有很好的适应性，能够获取到人类眼睛无法看到的信息，研究人员通过利用可见光图像和热红外图像的信息提出了基于可见光-热红外的显著目标检测，并取得了超于仅基于可见光模态的显著目标检测的惊人性能。
3、现有可见光-热红外显著目标检测可以分为两类：一类是基于传统学习方法，另一类是基于深度学习方法进行研究。传统学习方法通常需要手动设计特征和选择分类器，可以根据特定的任务设计模型，故模型结构相对简单训练速度较快，但由于泛化能力较差不能够处理复杂的场景的数据。而深度学习方法可以端到端地学习特征表示，可以适应更复杂的数据分布，通常是利用多模态融合和迁移学习等技术来提高检测性能。随着深度学习的广泛应用极大地推动了可见光-热红外显著目标检测工作，但该任务仍然存在挑战，如显著目标与背景对比度低、低质量
4、现有方法大多基于编码器所提取到的特征进行融合，没有使模型能够挖掘到模态的特异性信息。此外现有的方法通常就如何有效地融合两个模态的信息作为研究的切入点，其中主要的融合方法可以分为三类：第一类是前端融合、第二类是中间融合、第三类是后端融合，这些方法都是基于两个模态单向并行或者双向并行的融合方式不能充分的捕捉两种模态的相互作用。
5、故如何让网络挖掘更多的模态信息以及如何有效的融合两个模态的信息仍是提高可见光-热红外显著目标检测性能的核心。
技术实现思路
1、专利技术目的：本专利技术的目的在于解决现有技术中存在的不足，提供一种基于双向交替融合策略的可见光-热红外显著目标检测方法。
2、技术方案：本专利技术的一种基于双向交替融合策略的可见光-热红外显著目标检测方法，包括以下步骤：
3、步骤s1、获取数据集，数据集中包括可见光图像和热红外图像，将数据集按比例划分为训练集和测试集；
4、对于任意一对可见光图像-热红外图像，使用共享预训练权重的特征提取器来提取这两种模态图像的对应多层特征：对应的可见光多层特征和热红外多层特征中fr1、fr2和fr3为低层特征，fr4为高层特征，中ft1、ft2和ft3为低层特征，ft4为高层特征；
5、步骤s2、首先，对于步骤s1所得可见光多层特征和热红外多层特征获取二者的共有模态信息，然后使用特征擦除模块分别来擦除可见光多层特征和热红外多层特征中共有模态信息，进而得到可见光多层特征的特异性信息和热红外多层特征的特异性信息
6、步骤s3、将s2生成的特异性信息er4和et4以及高层特征fr4和ft4一起输入全局上下文增强模块，分别得到增强后的全局上下文信息gr4和gt4；
7、步骤s4、将s2生成的特异性信息er4和et4、步骤s3所得的两种全局上下文信息gr4和gt4以及低层特征和一起输入为双向交替解码器中的多模态交互模块，生成新的解码特征和将解码特征和相加生成最终的显著目标预测图p。
8、本专利技术的步骤2至步骤4相当于将特征擦除模块分别嵌入到全局上下文增强模块和双向交替解码器中，来充分利用两个模态图像特征中的特异性信息；将全局上下文增强模块和多模态交互模块并行嵌入两个分支，进行交替的融合不断地解码生成新的解码特征，两个模态的解密特征相加得到显著目标预测图。
9、进一步地，所述步骤s2计算特异性信息的详细方法如下：
10、首先，计算和的相关性以得到相关性矩阵r(d,k)，即得到两个模态共有的激活区域；r(d,k)的计算过程如下：
11、r(d,k)＝(fr(d,k))t(wtft(d,k))；
12、其中1<d<h，1<k<w，(d,k)表示像素坐标位置，w表示映射的特征空间，(h,w)表示图片分辨率大小；
13、其次，对相关性矩阵r(d,k)进行二值化处理生成二值化掩码记为b，以识别要擦除的区域；
14、接着，通过softmax激活函数从中筛选需擦除的区域生成新的矩阵g，g的计算公式为：g＝r·b；'·'为元素乘法；
15、最后，基于二值化掩码b和矩阵g生成的擦除特征将作为可见光多层特征的特异性信息，基于二值化掩码b和矩阵g生成的擦除特征将作为热红外多层特征特异性信息。
16、进一步地，所述步骤s3获得全局上下文信息gr4的详细方法为：
17、将高层特征fr4、高层特征ft4和er4展开成二维向量prr∈(hw,c)，ptr∈(hw,c)和per∈(hw,c)，并将pe与pt相加生成新的二维向量pet并将它作为查询，将pr作为键和值一起送入多头注意力机制得到两个模态共有的全局信息grt4，再引入可变形卷积并将fr4作为输入获得显著目标的自适应位置信息并展开成二维向量pdr记为后与全局信息相加后进行归一化处理并送入前馈神经网络再利用残差连接防止梯度消失，最后进行归一化处理得到增强后的全局上下文信息记为gr4；
18、计算公式表示如下：
19、pr＝flatten(fr4)，pt＝flatten(ft4)，pe＝flatten(er4)，pet＝pe+pt；
20、其中flatten为pytorch库中自带的函数，'+'为元素级相加操作h，w，c分别对应分辨率大小以及通道数；
21、pdr＝dconv(fr4)；
22、
23、其中msa为多头注意力，dconv(*)为可变形卷积，ln为归一化层，ffn为前馈神经网络。
24、进一步地，所述步骤s3计算全局上下文信息gt4的详细方法为：
25、将高层特征fr4、高层特征ft4和et4展开成二维向量prr∈(hw,c)，ptr∈(hw,c)和per∈(hw,c)，并将pe与pt相加生成新的二维向量pet并将它作为查询，将pr作为键和值一起送入多头注意力机制得到两个模态共有的全局信息grt4，再引入可变形卷积并将fr4作为输入获得显著目标的自适应位置信息并展开成二维向量pdr记为后与全局信息相加后进行归一化处理并送入前馈神经网络再利用残差连接防止梯度消失，最后进行归一化处理得到增强后的全局上下文信息记为gt4；
26、gt4的计算过程如下：
27、p本文档来自技高网...
【技术保护点】
1.一种基于双向交替融合策略的可见光-热红外显著目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求书1所述的基于双向交替融合策略的可见光-热红外显著目标检测方法，其特征在于，所述步骤S2计算特异性信息的详细方法如下：
3.根据权利要求书1所述的基于双向交替融合策略的可见光-热红外显著目标检测方法，其特征在于，所述步骤S3获得全局上下文信息Gr4的详细方法为：
4.根据权利要求书1所述的基于双向交替融合策略的可见光-热红外显著目标检测方法，其特征在于，所述步骤S3计算全局上下文信息Gt4的详细方法为：
5.根据权利要求书1所述的基于双向交替融合策略的可见光-热红外显著目标检测方法，其特征在于，所述步骤S4中解码特征的生成过程如下：
6.根据权利要求书1所述的基于双向交替融合策略的可见光-热红外显著目标检测方法，其特征在于，所述步骤S4中解码特征的生成过程如下
7.根据权利要求书1所述的基于双向交替融合策略的可见光-热红外显著目标检测方法，其特征在于，所述步骤S4得到显著目标预测图P后，将真值图记为G，训
...【技术特征摘要】
1.一种基于双向交替融合策略的可见光-热红外显著目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求书1所述的基于双向交替融合策略的可见光-热红外显著目标检测方法，其特征在于，所述步骤s2计算特异性信息的详细方法如下：
3.根据权利要求书1所述的基于双向交替融合策略的可见光-热红外显著目标检测方法，其特征在于，所述步骤s3获得全局上下文信息gr4的详细方法为：
4.根据权利要求书1所述的基于双向交替融合策略的可见光-热红外显著目标检测方法，其特征在于，所述步骤s...
【专利技术属性】
技术研发人员：涂铮铮，林丹盈，刘成壮，翟素兰，李成龙，江波，王鲲鹏，
申请(专利权)人：安徽大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。