基于RGB-T多源图像数据的显著性目标检测方法技术

本发明专利技术公开一种基于RGB

【技术实现步骤摘要】
基于RGB
‑
T多源图像数据的显著性目标检测方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于RGB
‑
T多源图像数据的显著性目标检测方法。

技术介绍

[0002]显著性目标检测旨在找出图像中最让人感兴趣的区域，要求能够准确给出物体位置并能与背景分割开来，包含物体定位和物体分割的任务，两个任务融合在一个过程中进行端到端检测。早期的显著性目标检测基于启发式的局部或者全局线索检测显著对象，手工特征限制了各种方法在复杂场景中的检测能力；随着深度学习的发展，基于卷积神经网络的模型能够快速高效地获得局部全局信息，逐步细化特征，从而增加显著目标检测的精度。
[0003]现实情况中，由于物体具有类内差异大、类间差异小的特点，一种物体在不同的情境下可能产生不同的语义，导致可见光图像和红外图像无法单独准确辨认物体。一般的可见光图像可以保存图像丰富的细节和纹理信息，但常常由于光线、伪装与烟雾等原因导致无法有效的区分目标和背景，而红外图像因其特殊的成像机制可以免受这些因素的影响，只要目标与周围环境存在温差，目标就能够显现出来。目前基于RGB
‑
T多源图像的显著性目标检测的模型被陆续提出，如Li等人提出的ADFNet[Tu Z,Ma Y,Li Z,et al.RGBT salient object detection:Alarge
‑
scale dataset and benchmark[J].arXiv preprint arXiv:2007.03262,2020.]网络，Wang等人提出的基于多任务流行排序算法[Wang G,Li C,Ma Y,et al.RGB
‑
Tsaliency detection benchmark:Dataset,baselines,analysis and a novel approach[C]//Chinese Conference on Image and Graphics Technologies.Springer,Singapore,2018:359
‑
369.]的RGB
‑
T显著性检测模型，Tu等人利用超像素的RGB
‑
T显著性检测方法[Tu Z,Xia T,Li C,et al.RGB
‑
T image saliency detection via collaborative graph learning[J].IEEE Transactions on Multimedia,2019,22(1):160
‑
173.]，Tang等人提出的基于合作排序算法[Tang J,Fan D,Wang X,et al.RGBT salient object detection:Benchmark and a novel cooperative ranking approach[J].IEEE Transactions on Circuits and Systems for Video Technology,2019,30(12):4421
‑
4433.]的显著性目标检测算法，Zhang等人提出的多层次多分支组的融合模型[Zhang Q,Huang N,Yao L,et al.RGB
‑
T salient object detection via fusing multi
‑
level CNN features[J].IEEE Transactions on Image Processing,2019,29:3321
‑
3335.]进行显著性目标检测。
[0004]上述方法取得了较好的效果，但是在提取特征时往往都是利用传统卷积固定的核大小提取特征，而实际物体是有变化曲线的，并不都是固定的矩形，且存在网络中深层实际感受野小造成的部分全局信息丢失，以及局部信息随着网络的加深而被忽略的问题。

技术实现思路

[0005]本专利技术针对现有显著性目标检测方法存在的在提取特征时往往都是利用传统卷积固定的核大小提取特征，而实际物体是有变化曲线的，并不都是固定的矩形，且存在网络中深层实际感受野小造成的部分全局信息丢失，以及局部信息随着网络的加深而被忽略的问题，提出一种基于RGB
‑
T多源图像数据的显著性目标检测方法。
[0006]为了实现上述目的，本专利技术采用以下技术方案：
[0007]一种基于RGB
‑
T多源图像数据的显著性目标检测方法，包括：
[0008]步骤1：在传统的双通道VGG
‑
16网络架构的基础上，采用可变形卷积替换VGG
‑
16中部分卷积层，并去掉最后的全连接层，构成基于可变形卷积的VGG
‑
DCNet网络，将可见光图像和热红外图像作为VGG
‑
DCNet网络双通道的输入，利用VGG
‑
DCNet网络提取可见光图像和热红外图像的初级特征；
[0009]步骤2：将提取的可见光图像和热红外图像的初级特征输入注意力特征融合模块，经过标准化注意力机制后分别得到可见光图像和热红外图像对应的注意力特征图，再将可见光图像和红外图像每层的注意力特征图进行两两融合，得到融合后的注意力特征图；
[0010]步骤3：将最深层注意力特征经过多层金字塔池化操作后获取的全局语义信息融入到可见光图像和红外图像局部特征提取的过程中，从而在融合全局
‑
局部特征模块中将可见光图像和红外图像的全局多尺度的特征和局部多层次的特征进行融合，并输出最终的显著性预测图。
[0011]进一步地，所述步骤1包括：
[0012]采用可变形卷积替换VGG
‑
16中最后一个阶段的三层卷积。
[0013]进一步地，所述注意力特征融合模块用于在标准化注意力机制NAM的作用下，得到经过加强的有益特征而抑制无关特征，获取注意力特征图，并将网络中间级获取的包含注意力信息的特征图进行特征级融合。
[0014]进一步地，所述注意力特征融合模块中，按照如下方式进行可见光图像和红外图像每层的注意力特征图的融合：
[0015][0016]其中N
Ri
表示第i阶段可见光图像的注意力特征，N
Ti
表示第i阶段红外图像的注意力特征，A
i
表示第i阶段融合后的注意力特征。
[0017]进一步地，按照如下方式获取全局语义信息：
[0018]利用金字塔池化的方法，采用四个子分支的池化操作得到不同尺度的特征图，包括：
[0019]1)将输入特征图在四个尺度下进行池化，得到四个尺度的输出P
i
，i＝1,2,3,4，其中第一层为全局平均池化，其他三层均为平均池化操作，每个输出的尺寸不同，但通道维度相同；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGB
‑
T多源图像数据的显著性目标检测方法，其特征在于，包括：步骤1：在传统的双通道VGG
‑
16网络架构的基础上，采用可变形卷积替换VGG
‑
16中部分卷积层，并去掉最后的全连接层，构成基于可变形卷积的VGG
‑
DCNet网络，将可见光图像和热红外图像作为VGG
‑
DCNet网络双通道的输入，利用VGG
‑
DCNet网络提取可见光图像和热红外图像的初级特征；步骤2：将提取的可见光图像和热红外图像的初级特征输入注意力特征融合模块，经过标准化注意力机制后分别得到可见光图像和热红外图像对应的注意力特征图，再将可见光图像和红外图像每层的注意力特征图进行两两融合，得到融合后的注意力特征图；步骤3：将最深层注意力特征经过多层金字塔池化操作后获取的全局语义信息融入到可见光图像和红外图像局部特征提取的过程中，从而在融合全局
‑
局部特征模块中将可见光图像和红外图像的全局多尺度的特征和局部多层次的特征进行融合，并输出最终的显著性预测图。2.根据权利要求1所述的基于RGB
‑
T多源图像数据的显著性目标检测方法，其特征在于，所述步骤1包括：采用可变形卷积替换VGG
‑
16中最后一个阶段的三层卷积。3.根据权利要求1所述的基于RGB
‑
T多源图像数据的显著性目标检测方法，其特征在于，所述注意力特征融合模块用于在标准化注意力机制NAM的作用下，得到经过加强的有益特征而抑制无关特征，获取注意力特征图，并将网络中间级获取的包含注意力信息的...

【专利技术属性】
技术研发人员：吴慧欣，安丽鑫，姜维，王喆，陈继坤，刘孟轩，李琳，张慢丽，李文静，
申请(专利权)人：华北水利水电大学，
类型：发明
国别省市：