彩色可见光与红外图像显著性目标检测方法技术

本发明专利技术公开了一种彩色可见光与红外图像显著性目标检测方法，其构建一个包含数对彩色可见光图像和与其对应的红外图像的训练集，并搭建一个神经网络，神经网络主要由特征提取模块、非对称特征互补模块、特征选择与融合模块、语义增强解码器构成，非对称特征互补模块由彩色可见光特征互补模块和红外特征互补模块构成；将训练集中的数对彩色可见光图像和与其对应的红外图像输入到神经网络中进行多轮网络训练，网络训练结束后得到神经网络训练模型；使用神经网络训练模型对测试图像对进行预测，预测得到测试图像对的显著性目标图像；优点是其能够有效地提高显著性目标检测的准确度。其能够有效地提高显著性目标检测的准确度。其能够有效地提高显著性目标检测的准确度。

【技术实现步骤摘要】
彩色可见光与红外图像显著性目标检测方法


[0001]本专利技术涉及一种显著物体检测技术，尤其是涉及一种彩色可见光与红外图像显著性目标检测方法。

技术介绍

[0002]显著性目标检测(Salient Object Detection，SOD)旨在捕捉和分割图像或视频中的突出对象。显著性目标检测作为一个重要的预处理步骤，它已被广泛应用于计算机视觉和图像处理任务，如图像分割、对象跟踪、图像检索和图像质量评估等。近年来，卷积/深度神经网络因强大的学习能力和在特征提取方面的优秀表现，将显著性目标检测的性能推向了一个新的高度。然而，当遇到具有挑战性的场景(例如多个物体、杂乱无章的背景、不利的光照条件或透明物体)时，仅使用彩色可见光图像的显著性目标检测会出现性能下降。因此，在显著性目标检测任务中，额外引入其他类型的模态并将其与彩色可见光图像相结合是一种常见的解决方案。
[0003]具有辅助深度图像的彩色可见光与深度图像显著性目标检测、具有红外图像的彩色可见光与红外图像显著性目标检测已被开发，使用广泛的深度传感器和红外相机作为附加模态信息。深度信息包含丰富的空间结构和3D布局信息，但在一些极端环境(例如，较差的照明和混乱的场景)中为显著性目标检测提供有用的信息是不可靠的。由于红外图像可以反映物体表面的热辐射，因此在这些极端环境下与彩色可见光图像自然互补，近年来对彩色可见光与红外图像显著性目标检测的研究越来越受到关注。
[0004]当前针对多模态显著性目标检测还存在以下几个问题：
[0005]第一，如何采取一个合理的多模态特征交互策略来处理两种模态之间的差异？在理想情况下，彩色可见光图像和红外图像都可以提供丰富的几何信息和物体边界。此外，彩色可见光图像可以在良好的光照条件下提供充足的颜色信息，红外图像可以提供物体表面的温度信息，这就导致了这两种模态之间的差异，并且在识别显著性目标的过程中，人们倾向于通过彩色可见光图像而不是红外图像来确定目标的位置。同时，红外图像更有可能提供干扰性信息，从而影响对目标的识别。因此，为了减少干扰性信息的引入并且尽可能利用好两种模态各自的信息，采用不对称的特征交互策略是更为合理的。
[0006]第二，如何平衡不同模态的内部差距并融合多模态的特征？在特征交互后，由于这些单模态特征除了自身模态的信息外，只携带了来自另一模态的部分判别信息，因此必须研究一种有效的融合策略，充分利用跨模态的互补信息。大多数现有的方法使用线性操作、卷积操作、注意力方法或其他组合方法等简单的手段，未能充分利用两个模态的互补信息。因此，选择和融合不同模态内部有价值的特征对于提高彩色可见光与红外图像显著性目标检测的准确度是十分必要的。

技术实现思路

[0007]本专利技术所要解决的技术问题是提供一种彩色可见光与红外图像显著性目标检测
方法，其能够有效地提高显著性目标检测的准确度。
[0008]本专利技术解决上述技术问题所采用的技术方案为：一种彩色可见光与红外图像显著性目标检测方法，该方法首先构建一个包含数对彩色可见光图像和与其对应的红外图像的训练集，并搭建一个神经网络；其次将训练集中的数对彩色可见光图像和与其对应的红外图像输入到神经网络中进行多轮网络训练，网络训练结束后得到神经网络训练模型；再次使用神经网络训练模型对测试图像对进行预测，预测得到测试图像对的显著性目标图像，其特征在于：所述的神经网络主要由特征提取模块、非对称特征互补模块、特征选择与融合模块、语义增强解码器构成，其中：
[0009]所述的特征提取模块包括两个ResNet50骨干网路；第1个ResNet50骨干网络的第一层的输入端接收一幅大小为H
×
W
×
3的彩色可见光图像，第1个RseNet50骨干网络的第一层的输出端输出的特征图记为FR1，第1个ResNet50骨干网络的第二层的输入端接收FR1，第1个RseNet50骨干网络的第二层的输出端输出的特征图记为FR2，第1个ResNet50骨干网络的第三层的输入端接收FR2，第1个RseNet50骨干网络的第三层的输出端输出的特征图记为FR3，第1个ResNet50骨干网络的第四层的输入端接收FR3，第1个RseNet50骨干网络的第四层的输出端输出的特征图记为FR4，第1个ResNet50骨干网络的第五层的输入端接收FR4，第1个RseNet50骨干网络的第五层的输出端输出的特征图记为FR5；第2个ResNet50骨干网络的第一层的输入端接收一幅大小为H
×
W
×
3的红外图像，第2个RseNet50骨干网络的第一层的输出端输出的特征图记为FT1，第2个ResNet50骨干网络的第二层的输入端接收FT1，第2个RseNet50骨干网络的第二层的输出端输出的特征图记为FT2，第2个ResNet50骨干网络的第三层的输入端接收FT2，第2个RseNet50骨干网络的第三层的输出端输出的特征图记为FT3，第2个ResNet50骨干网络的第四层的输入端接收FT3，第2个RseNet50骨干网络的第四层的输出端输出的特征图记为FT4，第2个ResNet50骨干网络的第五层的输入端接收FT4，第2个RseNet50骨干网络的第五层的输出端输出的特征图记为FT5；其中，ResNet50骨干网络共有五层，FR1和FT1的大小为FR2和FT2的大小为FR3和FT3的大小为FR4和FT4的大小为FR5和FT5的大小为
[0010]所述的非对称特征互补模块由彩色可见光特征互补模块和红外特征互补模块构成；
[0011]所述的彩色可见光特征互补模块包括结构相同的五个彩色可见光特征互补块；第1个彩色可见光特征互补块的第一输入端接收FR1、第二输入端接收FT1，第1个彩色可见光特征互补块的输出端输出的特征图记为第2个彩色可见光特征互补块的第一输入端接收FR2、第二输入端接收FT2，第2个彩色可见光特征互补块的输出端输出的特征图记为第3个彩色可见光特征互补块的第一输入端接收FR3、第二输入端接收FT3，第3个彩色可见光特征互补块的输出端输出的特征图记为第4个彩色可见光特征互补块的第一输入端接收FR4、第二输入端接收FT4，第4个彩色可见光特征互补块的输出端输出的特征图记为第5个彩色可见光特征互补块的第一输入端接收FR5、第二输入端接收FT5，第5个彩色
可见光特征互补块的输出端输出的特征图记为其中，的大小为的大小为的大小为的大小为的大小为
[0012]所述的红外特征互补模块包括结构相同的五个红外特征互补块；第1个红外特征互补块的第一输入端接收FT1、第二输入端接收FR1，第1个红外特征互补块的输出端输出的特征图记为第2个红外特征互补块的第一输入端接收FT2、第二输入端接收FR2，第2个红外特征互补块的输出端输出的特征图记为第3个红外特征互补块的第一输入端接收FT3、第二输入端接收FR3，第3个红外特征互补块的输出端输出的特征图记为第4个红外特征互补块的第一输入端接收FT4、第二输入端接收FR4，第4个红外特征互补块的输出端输出的特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种彩色可见光与红外图像显著性目标检测方法，该方法首先构建一个包含数对彩色可见光图像和与其对应的红外图像的训练集，并搭建一个神经网络；其次将训练集中的数对彩色可见光图像和与其对应的红外图像输入到神经网络中进行多轮网络训练，网络训练结束后得到神经网络训练模型；再次使用神经网络训练模型对测试图像对进行预测，预测得到测试图像对的显著性目标图像，其特征在于：所述的神经网络主要由特征提取模块、非对称特征互补模块、特征选择与融合模块、语义增强解码器构成，其中：所述的特征提取模块包括两个ResNet50骨干网路；第1个ResNet50骨干网络的第一层的输入端接收一幅大小为H
×
W
×
3的彩色可见光图像，第1个RseNet50骨干网络的第一层的输出端输出的特征图记为FR1，第1个ResNet50骨干网络的第二层的输入端接收FR1，第1个RseNet50骨干网络的第二层的输出端输出的特征图记为FR2，第1个ResNet50骨干网络的第三层的输入端接收FR2，第1个RseNet50骨干网络的第三层的输出端输出的特征图记为FR3，第1个ResNet50骨干网络的第四层的输入端接收FR3，第1个RseNet50骨干网络的第四层的输出端输出的特征图记为FR4，第1个ResNet50骨干网络的第五层的输入端接收FR4，第1个RseNet50骨干网络的第五层的输出端输出的特征图记为FR5；第2个ResNet50骨干网络的第一层的输入端接收一幅大小为H
×
W
×
3的红外图像，第2个RseNet50骨干网络的第一层的输出端输出的特征图记为FT1，第2个ResNet50骨干网络的第二层的输入端接收FT1，第2个RseNet50骨干网络的第二层的输出端输出的特征图记为FT2，第2个ResNet50骨干网络的第三层的输入端接收FT2，第2个RseNet50骨干网络的第三层的输出端输出的特征图记为FT3，第2个ResNet50骨干网络的第四层的输入端接收FT3，第2个RseNet50骨干网络的第四层的输出端输出的特征图记为FT4，第2个ResNet50骨干网络的第五层的输入端接收FT4，第2个RseNet50骨干网络的第五层的输出端输出的特征图记为FT5；其中，ResNet50骨干网络共有五层，FR1和FT1的大小为FR2和FT2的大小为FR3和FT3的大小为FR4和FT4的大小为FR5和FT5的大小为所述的非对称特征互补模块由彩色可见光特征互补模块和红外特征互补模块构成；所述的彩色可见光特征互补模块包括结构相同的五个彩色可见光特征互补块；第1个彩色可见光特征互补块的第一输入端接收FR1、第二输入端接收FT1，第1个彩色可见光特征互补块的输出端输出的特征图记为第2个彩色可见光特征互补块的第一输入端接收FR2、第二输入端接收FT2，第2个彩色可见光特征互补块的输出端输出的特征图记为第3个彩色可见光特征互补块的第一输入端接收FR3、第二输入端接收FT3，第3个彩色可见光特征互补块的输出端输出的特征图记为第4个彩色可见光特征互补块的第一输入端接收FR4、第二输入端接收FT4，第4个彩色可见光特征互补块的输出端输出的特征图记为第5个彩色可见光特征互补块的第一输入端接收FR5、第二输入端接收FT5，第5个彩色可见光特征互补块的输出端输出的特征图记为其中，的大小为的大小为的大小为为的大小为的大小为的大小为的大小为的大小为
所述的红外特征互补模块包括结构相同的五个红外特征互补块；第1个红外特征互补块的第一输入端接收FT1、第二输入端接收FR1，第1个红外特征互补块的输出端输出的特征图记为第2个红外特征互补块的第一输入端接收FT2、第二输入端接收FR2，第2个红外特征互补块的输出端输出的特征图记为第3个红外特征互补块的第一输入端接收FT3、第二输入端接收FR3，第3个红外特征互补块的输出端输出的特征图记为第4个红外特征互补块的第一输入端接收FT4、第二输入端接收FR4，第4个红外特征互补块的输出端输出的特征图记为第5个红外特征互补块的第一输入端接收FT5、第二输入端接收FR5，第5个红外特征互补块的输出端输出的特征图记为其中，的大小为的大小为的大小为的大小为的大小为的大小为的大小为的大小为的大小为所述的特征选择与融合模块包括五个结构相同的特征选择与融合块；第1个特征选择与融合块的第一输入端接收第二输入端接收第1个特征选择与融合块的输出端输出的特征图记为第2个特征选择与融合块的第一输入端接收第二输入端接收第2个特征选择与融合块的输出端输出的特征图记为第3个特征选择与融合块的第一输入端接收第二输入端接收第3个特征选择与融合块的输出端输出的特征图记为第4个特征选择与融合块的第一输入端接收第二输入端接收第4个特征选择与融合块的输出端输出的特征图记为第5个特征选择与融合块的第一输入端接收第二输入端接收第5个特征选择与融合块输出的特征图记为其中，的大小为的大小为的大小为的大小为的大小为的大小为的大小为的大小为的大小为所述的语义增强解码器包括三个结构相同的语义增强解码块；第1个语义增强解码块的第一输入端接收第二输入端接收第三输入端接收第1个语义增强解码块的输出端输出的特征图记为S1，并将S1作为第1幅粗显著性目标图像；第2个语义增强解码块的第一输入端接收第二输入端接收第三输入端接收第2个语义增强解码块的输出端输出的特征图记为S2，并将S2作为第2幅粗显著性目标图像；第3个语义增强解码块的第一输入端接收第二输入端接收第三输入端接收第3个语义增强解码块的输出端输出的特征图记为S3，并将S3作为第3幅粗显著性目标图像；其中，S1的大小为S2的大小为S3的大小为
将第1幅粗显著性目标图像S1、第2幅粗显著性目标图像S2、第3幅粗显著性目标图像S3进行逐元素相加操作并进行上采样操作，将得到的特征图记为S
f
，并将S
f
作为最终的显著性目标图像；其中，上采样操作的模式为双线性，S
f
的大小为H
×
W
×
1。2.根据权利要求1所述的彩色可见光与红外图像显著性目标检测方法，其特征在于：训练集的构建过程为：选取至少200对原始彩色可见光图像和与其对应的原始红外图像；然后对每幅原始彩色可见光图像和与其对应的原始红外图像进行降采样操作，将图像大小降采样为H
×
W；再将所有大小为H
×
W的彩色可见光图像和与其对应的红外图像构成训练集。3.根据权利要求2所述的彩色可见光与红外图像显著性目标检测方法，其特征在于：神经网络训练模型的获得过程为：将训练集中的每对彩色可见光图像和与其对应的红外图像输入到神经网络中进行网络训练，在每轮网络训练结束之前计算损失函数L来优化神经网络，在总共进行150轮网络训练后得到神经网络训练模型；其中，在网络训练的前40轮中在网络训练的后110轮中S
f
表示神经网络输出的最终的显著性目标图像，G表示标签图像，S
j
表示神经网络中得到的第j幅粗显著性目标图像，L
bce
()表示二元交叉熵损失，L
iou
()表示交并比损失。4.根据权利要求3所述的彩色可见光与红外图像显著性目标检测方法，其特征在于：使用神经网络训练模型对测试图像对进行预测，预测得到测试图像对的显著性目标图像的过程为：任意选取一对原始彩色可见光图像和与其对应的原始红外图像；然后对该对原始彩色可见光图像和原始红外图像进行降采样操作，将图像大小降采样为H
×
W，并作为测试图像对；再将测试图像对输入到神经网络训练模型中，预测得到测试图像对的显著性目标图像。5.根据权利要求1至4中任一项所述的彩色可见光与红外图像显著性目标检测方法，其特征在于：彩色可见光特征互补块主要由第1个卷积层至第5个卷积层、第1个Batch Normalization层至第5个Batch Normalization层、第1个ReLU激活层至第5个ReLU激活层组成；对于第i个彩色可见光特征互补块，第1个卷积层的输入端作为第i个彩色可见光特征互补块的第一输入端接收FR
i
，第1个Batch Normalization层的输入端接收第1个卷积层的输出端输出的特征图，第1个ReLU激活层的输入端接收第1个Batch Normalization层的输出端输出的特征图，第1个ReLU激活层的输出端输出的特征图记为第2个卷积层的输入端作为第i个彩色可见光特征互补块的第二输入端接收FT
i
，第2个Batch Normalization层的输入端接收第2个卷积层的输出端输出的特征图，第2个ReLU激活层的输入端接收第2个Batch Normalization层的输出端输出的特征图，第2个ReLU激活层的输出端输出的特征图记为对和进行元素相乘操作，并将得到的特征图记为对和进行元素相减操作，其中作为被减特征，并将得到的特征图记为对和进行通道连接操作，并将得到的特征图记为第3个卷积层的输入端接收第3个Batch Normalization层的输入端接收第3个卷积层的输出端输出的特征图，
第3个ReLU激活层的输入端接收第3个Batch Normalization层的输出端输出的特征图，第3个ReLU激活层的输出端输出的特征图记为对和进行元素相加操作，并将得到的特征图记为第4个卷积层的输入端接收第4个Batch Normalization层的输入端接收第4个卷积层的输出端输出的特征图，第4个ReLU激活层的输入端接收第4个Batch Normalization层的输出端输出的特征图，第4个ReLU激活层的输出端输出的特征图记为第5个卷积层的输入端接收FR
i
，第5个Batch Normalization层的输入端接收第5个卷积层的输出端输出的特征图，第5个ReLU激活层的输入端接收第5个Batch Normalization层的输出端输出的特征图，第5个ReLU激活层的输出端输出的特征图记为对和进行元素相加操作，并将得到的特征图记为即为第i个彩色可见光特征互补块的输出端输出的特征图；其中，1≤i≤5，FR
i
表示第1个ResNet50骨干网络的第i层的输出端输出的特征图，FT
i
表示第2个ResNet50骨干网络的第i层的输出端输出的特征图，第1个卷积层至第5个卷积层均为2D卷积层，第1个彩色可见光特征互补块中：第1个卷积层和第2个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1，第3个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1，第4个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1，第5个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1；第2个彩色可见光特征互补块中：第1个卷积层和第2个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1，第3个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1，第4个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1，第5个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1；第3个彩色可见光特征互补块中：第1个卷积层和第2个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1，第3个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填
充为1，第4个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1，第5个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1；第4个彩色可见光特征互补块中：第1个卷积层和第2个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1，第3个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1，第4个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1，第5个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1；第5个彩色可见光特征互补块中：第1个卷积层和第2个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1，第3个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1，第4个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1，第5个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1。6.根据权利要求1至4中任一项所述的彩色可见光与红外图像显著性目标检测方法，其特征在于：红外特征互补块主要由第6个卷积层至第9个卷积层、第6个Batch Normalization层至第9个Batch Normalization层、第6个ReLU激活层至第9个ReLU激活层、第1个空间注意力层组成；对于第i个红外特征互补块，第6个卷积层的输入端作为第i个红外特征互补块的第一输入端接收FT
i
，第6个Batch Normalization层的输入端接收第6个卷积层的输出端输出的特征图，第6个ReLU激活层的输入端接收第6个Batch Normalization层的输出端输出的特征图，第6个ReLU激活层的输出端输出的特征图记为第7个卷积层的输入端作为第i个红外特征互补块的第二输入端接收FR
i
，第7个Batch Normalization层的输入端接收第7个卷积层的输出端输出的特征图，第7个ReLU激活层的输入端接收第7个Batch Normalization层的输出端输出的特征图，第7个ReLU激活层的输出端输出的特征图记为对和进行元素相乘操作，并将得到的特征图记为对
和进行元素相减操作，其中作为被减特征，并将得到的特征图记为对和进行通道连接操作，并将得到的特征图记为第8个卷积层的输入端接收第8个Batch Normalization层的输入端接收第8个卷积层的输出端输出的特征图，第8个ReLU激活层的输入端接收第8个Batch Normalization层的输出端输出的特征图，第8个ReLU激活层的输出端输出的特征图记为对和进行元素相加操作，并将得到的特征图记为第9个卷积层的输入端接收第9个Batch Normalization层的输入端接收第9个卷积层的输出端输出的特征图，第9个ReLU激活层的输入端接收第9个Batch Normalization层的输出端输出的特征图，第9个ReLU激活层的输出端输出的特征图记为第1个空间注意力层的输入端接收FR
i
，第1个空间注意力层的输出端输出的特征图记为对和进行元素相乘操作，并将得到的特征图记为图记为即为第i个红外特征互补块的输出端输出的特征图；其中，1≤i≤5，FR
i
表示第1个ResNet50骨干网络的第i层的输出端输出的特征图，FT
i
表示第2个ResNet50骨干网络的第i层的输出端输出的特征图，第6个卷积层至第9个卷积层均为2D卷积层，第1个红外特征互补块中：第6个卷积层和第7个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1、膨胀率为1，第8个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1、膨胀率为1，第9个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1、膨胀率为1；第2个红外特征互补块中：第6个卷积层和第7个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1、膨胀率为1，第8个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1、膨胀率为1，第9个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1、膨胀率为1；第3个红外特征互补块中：第6个卷积层和第7个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1、膨胀率为1，第8个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1、膨胀率为1，第9个卷积层的输入尺寸为
输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1、膨胀率为1；第4个红外特征互补块中：第6个卷积层和第7个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1、膨胀率为1，第8个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1、膨胀率为1，第9个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1、膨胀率为1；第5个红外特征互补块中：第6个卷积层和第7个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1、膨胀率为1，第8个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1、膨胀率为1，第9个卷积层的输入尺寸为输出尺寸为卷积核大小为3
×
3、滑动步长为1、自动填充为1、膨胀率为1。7.根据权利要求1至4中任一项所述的彩色可见光与红外图像显著性目标检测方法，其特征在于：特征选择与融合块主要由第1个平均池化层、第2个平均池化层、第1个最大池化层、第2个最大池化层、第1个全连接层、第2个全连接层、第1个Sigmoid激活层、第2个Sigmoid激活层、第10个卷积层至第19个卷积层、第10个Batch Normalization层至第17个Batch Normalization层、第10个ReLU激活层至第12个ReLU激活层、第1个PReLU激活层至第6个PReLU激活层组成；对于第i个特征选择与融合块，第1个平均池化层和第1个最大池化层各自的输入端均作为第i个特征选择与融合块的第一输入端接收第1个平均池化层的输出端输出的特征图记为第1个最大池化层的输出端输出的特征图记为第2个平均池化层和第2个最大池化层各自的输入端均作为第i个特征选择与融合块的第二输入端接收第2个最大池化层的输出端输出的特征图记为第2个平均池化层的输出端输出的特征图记为对和进行通道连接操作，并将得到的特征图记为对和进行通道连接操作，并将得到的特征图记为第1个全连接层的输入端接收第1个全连接层的输出端输出的特征图记为第2个全连接层的输入端接收第2个全连接层的输出端输出的特征图记为对和进行元素相加操作，并将得到的特征图作为第1个Sigmoid激活层的输入，将对第1个Sigmoid激活层的输出端输出的特征图进行通道分割后输出的特征图分别记为和对
和进行逐通道相乘操作，并将得到的特征图记为对和进行逐通道相乘操作，并将得到的特征图记为第10个卷积层的输入端接收第10个Batch Normalization层的输入端接收第10个卷积层的输出端输出的特征图，第1个PReLU激活层的输入端接收第10个Batch Normalization层的输出端输出的特征图，第1个PReLU激活层的输出端输出的特征图记为第11个卷积层的输入端接收第11个Batch Normalization层的输入端接收第11个卷积层的输出端输出的特征图，第2个PReLU激活层的输入端接收第11个Batch Normalization层的输出端输出的特征图，第2个PReLU激活层的输出端输出的特征图记为第12个卷积层的输入端接收第12个Batch Normalization层的输入端接收第12个卷积层的输出端输出的特征图，第3个PReLU激活层的输入端接收第12个Batch Normalization层的输出端输出的特征图，第3个PReLU激活层的输出端输出的特征图记为第13个卷积层的输入端接收第13个Batch Normalization层的输入端接收第13个卷积层的输出端输出的特征图，第4个PReLU激活层的输入端接收第13...

【专利技术属性】
技术研发人员：金东泽，邵枫，
申请(专利权)人：宁波大学，
类型：发明
国别省市：