一种独立解码和联合解码相结合的RGB-T图像显著目标检测方法技术

本发明专利技术公开了一种RGB

【技术实现步骤摘要】
一种独立解码和联合解码相结合的RGB
‑
T图像显著目标检测方法


[0001]本专利技术涉及计算机视觉领域，特别是涉及一种独立解码和联合解码相结合的RGB
‑
T图像显著目标检测方法。

技术介绍

[0002]RGB
‑
T图像是由RGB颜色图像和Thermal热红外图像组成。当RGB颜色图像的光线不足或者背景噪声太多，图像显著目标检测的效果往往不尽人意。然而热红外摄像机可以捕捉任何温度超过绝对零度的物体发出的红外辐射，因此Thermal热红外图像对光照条件不敏感，具有较强的抗噪声干扰能力。结合RGB颜色图像和Thermal热红外图像的优势，RGB
‑
T图像显著目标检测逐渐成为研究的热点。
[0003]Transformer依靠多头自注意力及前向传播网络在自然语言处理、计算机视觉领域取得了突破性的进展，其在特征的远距离依赖特性提取方面的表现优异。最近SegFormer提出的使用重叠融合来保持切块周围的局部连续性，采用按比例缩减分辨率来减少多头自注意力的计算复杂度，并使用深度卷积来提供位置信息和减少参数量，因此，它可以方便地作为RGB
‑
T图像显著目标检测的编码模型。
[0004]RGB
‑
T图像显著目标检测的关键是有效挖掘颜色图像和热红外图像两种模式的信息并实现其融合，双流编码、联合解码是目前已有的RGB
‑
T图像显著目标检测模型采用的主要方式，它偏向于考虑RGB颜色图像和Thermal热红外图像的融合，并没有考虑RGB颜色图像和Thermal热红外图像各自的独特性。

技术实现思路

[0005]本专利技术所需要解决的技术问题是提供一种独立解码和联合解码相结合的RGB
‑
T图像显著目标检测方法，通过独立解码兼顾RGB颜色图像和Thermal热红外图像各自的独特性，并通过联合编码减少RGB颜色图像和Thermal热红外图像二者之间的差异，以提高检测性能。
[0006]本专利技术一种独立解码和联合解码相结合的RGB
‑
T图像显著目标检测方法，包括以下步骤：
[0007]S1、从RGB
‑
T图像中提取RGB特征和Thermal特征，产生RGB初始显著图及Thermal初始显著图；
[0008]S2、通过RGB初始显著图及Thermal初始显著图分别对所述RGB特征和Thermal特征进行增强，形成RGB增强特征和Thermal增强特征；
[0009]S3、分别对RGB增强特征和Thermal增强特征进行独立解码，产生RGB独立解码特征和Thermal独立解码特征及独立解码显著图S
c
和S
t
；
[0010]S4、对所述RGB独立解码特征和Thermal独立解码特征进行初步融合，形成RGB
‑
T融合特征；
[0011]S5、对RGB
‑
T融合特征进行联合解码，形成联合解码显著图S；
[0012]S6、利用显著图真值监督所述独立解码显著图S
c
和S
t
、所述联合解码显著图S，通过训练数据集的训练，形成RGB
‑
T图像显著目标检测模型；
[0013]S7、利用所述RGB
‑
T图像显著目标检测模型检测任意一张RGB
‑
T图像，经过步骤S1
‑
S5，输出联合解码显著图为检测结果。
[0014]进一步地，在所述步骤S1中，提取RGB特征和Thermal特征的方法是分别使用两个在ImageNet上预训练的SegFormer神经网络模型提取RGB特征及Thermal特征其中i表示层数，对应于SegFormer的层数，i取值为1至4的自然数；接着，分别对所述第四层RGB特征和Thermal特征进行1
×
1卷积、Sigmoid激活函数处理得到RGB初始显著图及Thermal初始显著图具体描述为：
[0015][0016]所述l∈{c,t}，表示RGB或者Thermal，Conv1(
·
)表示1
×
1卷积操作，Sig(
·
)表示Sigmoid激活函数；
[0017]进一步地，在所述步骤S2中，将RGB初始显著图及Thermal初始显著图上采样到与一样大小，然后与各层特征进行逐元素相乘、逐元素相加，形成RGB增强特征和Thermal增强特征同时，第四层RGB增强特征和Thermal增强特征即为第四层RGB特征和Thermal特征具体描述为：
[0018][0019]所述l∈{c,t}，表示RGB或者Thermal，up(
·
)表示上采样操作，
“×”
是指逐元素相乘操作，“+”是指逐元素相加操作；
[0020]进一步地，在步骤S3中，使用传统的U
‑
Net解码结构，分别对RGB增强特征和Thermal增强特征进行独立解码，具体操作是：第四层RGB独立解码特征和Thermal独立解码特征即为第四层RGB增强特征和Thermal增强特征其余各层RGB独立解码特征和Thermal独立解码特征为相邻高一层RGB独立解码特征和Thermal独立解码特征经过上采样后与本层RGB增强特征和Thermal增强特征进行级联，再经过3
×
3卷积、批归一化、ReLU操作产生，具体描述为：
[0021][0022]所述l∈{c，t}，表示RGB或者Thermal，up(
·
)表示上采样操作，Concat(
·
)表示级联操作，BConv3(
·
)表示3
×
3卷积、批归一化、ReLU操作；
[0023]接着，使用第一层RGB独立解码特征和Thermal独立解码特征产生独立解码
显著图S
c
和S
t
，具体描述为：
[0024][0025]所述l∈{c，t}，表示RGB或者Thermal，Conv1(
·
)表示1
×
1卷积操作，Sig(
·
)表示Sigmoid激活函数，up(
·
)表示上采样操作；
[0026]进一步地，在步骤S4中，对所述RGB独立解码特征和Thermal独立解码特征进行初步融合，形成RGB
‑
T融合特征，具体步骤如下：所述RGB独立解码特征和Thermal独立解码特征先进行逐元素相乘，产生共同特征Q
i
，同时，RGB独立解码特征使用通道注意力得到RGB注意力特征Thermal独立解码特征使用空间注意力得到Thermal注意力特征然后将共同特征Q
i
与RGB注意力特征Thermal注意力特征进行级联操作，再进行3...

【技术保护点】

【技术特征摘要】
1.本发明一种独立解码和联合解码相结合的RGB
‑
T图像显著目标检测方法，其特征在于，所述方法包括以下步骤：S1、从RGB
‑
T图像中提取RGB特征和Thermal特征，产生RGB初始显著图及Thermal初始显著图；S2、通过RGB初始显著图及Thermal初始显著图分别对所述RGB特征和Thermal特征进行增强，形成RGB增强特征和Thermal增强特征；S3、分别对RGB增强特征和Thermal增强特征进行独立解码，产生RGB独立解码特征和Thermal独立解码特征及独立解码显著图S
c
和S
t
；S4、对所述RGB独立解码特征和Thermal独立解码特征进行初步融合，形成RGB
‑
T融合特征；S5、对RGB
‑
T融合特征进行联合解码，形成联合解码显著图S；S6、利用显著图真值监督所述独立解码显著图S
c
和S
t
、所述联合解码显著图S，通过训练数据集的训练，形成RGB
‑
T图像显著目标检测模型；S7、利用所述RGB
‑
T图像显著目标检测模型检测任意一张RGB
‑
T图像，经过步骤S1
‑
S5，输出联合解码显著图为检测结果。2.根据权利要求1所述的一种独立解码和联合解码相结合的RGB
‑
T图像显著目标检测方法，其特征在于，所述步骤S1的具体过程为：分别使用两个在ImageNet上预训练的SegFormer神经网络模型提取RGB特征及Thermal特征其中i表示层数，对应于SegFormer的层数，i取值为1至4的自然数；接着，分别对所述第四层RGB特征和Thermal特征进行1
×
1卷积、Sigmoid激活函数处理得到RGB初始显著图及Thermal初始显著图具体描述为：所述l∈{c,t}，表示RGB或者Thermal，Conv1(
·
)表示1
×
1卷积操作，Sig(
·
)表示Sigmoid激活函数。3.根据权利要求1所述的一种独立解码和联合解码相结合的RGB
‑
T图像显著目标检测方法，其特征在于，所述步骤S2的具体过程为：将RGB初始显著图及Thermal初始显著图上采样到与一样大小，然后与各层特征进行逐元素相乘、逐元素相加，形成RGB增强特征和Thermal增强特征同时，第四层RGB增强特征和Thermal增强特征即为第四层RGB特征和Thermal特征具体描述为：所述l∈{c,t}，表示RGB或者Thermal，up(
·
)表示上采样操作，
“×”
是指逐元素相乘操作，“+”是指逐元素相加操作。4.根据权利要求1所述的一种独立解码和联合解码相结合的RGB
‑
T图像显著目标检测方法，其特征在于，所述步骤S3的具体过程为：使用传统的U
‑
Net解码结构，分别对RGB增强
特征和Thermal增强特征进行独立解码，具体操作是：第四层RGB独立解码特征和Thermal独立解码特征即为第四层RGB增强特征和Thermal增强特征其余各层RGB独立解码特征和Thermal独立解码特征为相邻高一层RGB独立解码特征和Thermal独立解码特征经过上采样后与本层RGB增强特征和Thermal增强特征进行级联，再经过3
×
3卷积、批归一化、ReLU操作产生，具体描述为：所述l∈{c,t}，表示RGB或者Thermal，up(
·
)表示上采样操作，Concat(
·
)表示级联操作，BConv3(
·
)表示3
×
3卷积、批归一化、ReLU操作；接着，使用第一层RGB独立解码特征和Thermal独立解码特征产生独立解码显著图S
c
和S
t
，具体描述为：所述l∈{c,t}，表示RGB或者Thermal，Conv1(

【专利技术属性】
技术研发人员：刘政怡，张志立，谭亚诚，唐彬，姚晟，李炜，
申请(专利权)人：安徽大学，
类型：发明
国别省市：