多级深度特征融合的RGB-T图像显著性目标检测方法技术

本发明专利技术公开了一种多级深度特征融合的RGB‑T图像显著性目标检测方法，主要解决现有技术在复杂多变场景中不能完整一致地检测出显著目标的问题。其实现方案为：1.对输入图像提取粗糙的多级特征；2.构建邻近深度特征融合模块，改善单模态特征；3.构建多分支组融合模块，融合多模态特征；4.得到融合输出特征图；5.训练算法网络；6.预测RGB‑T图像的像素级显著图。本发明专利技术可有效融合来自不同模态图像的补充信息，能够在复杂多变场景下完整一致地检测图像显著目标，可用于计算机视觉中图像的预处理进程。

Significance Target Detection in RGB-T Image Based on Multi-level Depth Feature Fusion

【技术实现步骤摘要】
多级深度特征融合的RGB-T图像显著性目标检测方法
本专利技术属于图像处理领域，涉及一种RGB-T图像显著目标检测方法，具体涉及一种多级深度特征融合的RGB-T图像显著性目标检测方法，可用于计算机视觉中图像的预处理进程。
技术介绍
显著性目标检测旨在利用模型或算法检测和分割出图像中的显著性目标区。作为图像的预处理步骤，显著性目标检测在视觉跟踪、图像识别、图像压缩、图像融合等视觉任务中起着至关重要的作用。现有的目标检测方法可以分为两大类：一类是基于传统的显著性目标检测方法，另一类是基于深度学习的显著性目标检测方法。基于传统的显著性目标检测算法通过手工提取的颜色、纹理、方向等特征完成显著性预测，过度依赖于人工选取的特征，对场景适应性不强，在复杂数据集上表现不佳。随着深度学习的广泛应用，基于深度学习的显著性目标检测研究取得了突破性进展，相较于传统的显著性算法，检测性能显著提高。大多数的显著目标检测方法如“Q.Hou,M.M.Cheng,X.Hu,etal.Deeplysupervisedsalientobjectdetectionwithshortconnections.IEEETransactionsonPatternAnalysisandMachineIntelligence,2019,41(4):815–828.”仅通过单一模态的RGB图像计算显著值，获取的场景信息有限，在低光照、低对比度、复杂背景等挑战性场景下，难以完整一致地检测出显著目标。为解决上述问题，一些基于RGB-T图像的显著目标检测方法被提出，如“LiC,WangG,MaY,etal.AUnifiedRGB-TSaliencyDetectionBenchmark:Dataset,Baselines,AnalysisandANovelApproach.arXivpreprintarXiv:1701.02829,2017.”，公开了一种基于流行排序模型的RGB-T图像显著性目标检测方法，该种方法利用RGB和热红外图像的补充信息，构建跨模态一致性的流型排序模型，结合两阶段图的方法计算各个节点的显著值。在低光照、低对比度的情况下，较以RGB为输入的显著性目标检测方法，能更为准确地检测显著性目标。然而，这种方法以区域块为基本单位进行检测，显著图中出现明显的块效应，目标与背景的分割边界不准确，且目标内部不均一。此外，该方法基于人工提取特征而建立，选取的特征并不能完全表达不同图像的内在特性，对不同模态图像间补充信息的利用尚不充分，检测效果提升有限。
技术实现思路
专利技术目的：针对上述现有技术的不足，本专利技术的目的在于提出一种基于多级深度特征融合的RGB-T图像显著性目标检测方法，以提高在复杂多变场景图像中对显著目标检测的完整一致性效果。主要解决现有技术在复杂多变场景中不能完整一致地检测出显著目标的问题。实现本专利技术的关键是RGB-T图像多级深度特征提取和融合：通过对RGB和热红外图像提取的多级单模态特征进行融合，预测显著性：对RGB或热红外图像，从支柱网络的不同深度提取粗糙的多级特征；构建邻近深度特征融合模块，提取改善的多级单模态特征；构建多分支组融合模块，对不同模态特征进行融合；得到融合输出特征图；训练网络得到模型参数；预测RGB-T图像的像素级显著图。技术方案：多级深度特征融合的RGB-T图像显著性目标检测方法，包括如下步骤：(1)对输入图像提取粗糙的多级特征：对图像提取基础网络中位于不同深度的5级特征作为粗糙的单模态特征；(2)构建邻近深度特征融合模块，改善单模态特征：建立多个邻近深度特征融合模块，然后通过该邻近深度特征融合模块将步骤(1)得到的5级粗糙的单模态特征处理，将来自邻近深度的3级特征进行融合，得到改善的3级单模态特征；(3)构建多分支组融合模块，融合多模态特征：构建包含两个融合分支的多分支组融合模块，对步骤(2)得到的改善的3级单模态特征中，位于同一特征级下的不同单模态特征进行融合，得到融合的多模态特征；(4)得到融合输出特征图：将步骤(3)得到的融合的多模态特征的不同级特征逐级反向融合，得到多个边输出特征图，并将所有边输出特征图融合，得到融合输出特征图；(5)训练算法网络：在训练数据集上，对步骤(4)中得到的边输出特征图和融合输出特征图，采用深度监督学习机制，通过最小化交叉熵损失函数，完成算法网络训练，得到网络模型参数；(6)预测RGB-T图像的像素级显著图：在测试数据集上，利用步骤(5)得到的网络模型参数，对步骤(4)中得到的边输出特征图和融合输出特征图，通过sigmoid分类计算，预测RGB-T图像的像素级显著图。进一步地，步骤(1)中所述的图形为RGB图像或热红外图像。进一步地，步骤(1)中的基础网络为VGG16网络。更进一步地，步骤(2)中所述的构建邻近深度特征融合模块，包括以下步骤：(21)将步骤(1)得到的5级粗糙的单模态特征分别用符号表示，其中，n＝1或者2，分别代表RGB图像或热红外图像；(22)每一个邻近深度融合模块包含3个卷积操作和1个反卷积操作，以获得第d级单模态特征，d＝1,2,3。更更进一步地，步骤(22)包括：(221)将一个卷积核为3×3，步长为2，参数为的卷积操作一个卷积核为1×1，步长为1，参数为的卷积操作和一个卷积核为2×2，步长为1/2，参数为的反卷积操作分别作用于和(222)将这3级特征级联，并通过一个卷积核为1×1，步长为1，参数为的卷积操作得到128通道的第d级单模态特征邻近深度融合模块可表示如下：其中：Cat(·)表示跨通道级联操作；φ(·)是一个ReLu激活函数。进一步地，步骤(3)中的多分支组融合模块是针对同一特征级下的不同单模态进行融合，且包括两个融合分支：多组融合分支和单组融合分支，其中：多组融合分支有8个组，做单组融合分支只有一个组；每个融合分支输出64通道的特征，将两个融合分支输出特征进行级联，得到128通道的多模态特征。更进一步地，步骤(3)中所述的构建多分支组融合模块，在多组融合分支中对同一特征级下的不同单模态进行融合，得到融合的多模态特征，包括以下步骤：(31)输入的单模态特征和分别根据通道数量被切分成M个通道数相同的小组，得到和两个特征集，其中：M正整数，其取值范围是2≤M≤128；(32)紧接着，将同级的两个特征集中来自第m个小组的对应RGB和热红外特征通过级联操作进行结合，继而通过通道数为64/M的1×1的卷积和通道数为64/M的3×3的两个堆栈的卷积操作，实现小组内跨模态特征的融合，每个卷积操作之后都紧随着一个ReLu激活函数；(33)M个小组输出被级联在一起，得到多组融合分支的输出特征H1,d，其表达式为：其中：表示上述中带ReLu激活函数的堆栈卷积操作，代表第m个小组的融合参数。更更进一步地，步骤(3)中所述的构建多分支组融合模块，在单组融合分支中对同一特征级下的不同单模态进行融合，得到融合的多模态特征，包括以下步骤：(3a)单组融合分支可看作是多组融合分支中M＝1时的特殊情况，表达式为：其中：H2,d是单组融合分支的第d级融合特征输出；包含两个堆栈的卷积操作，分别是通道数为64的1×1的卷积和通道数为64的3×3的卷积，且每个卷积操作之后都跟随着一个ReL本文档来自技高网...

【技术保护点】
1.多级深度特征融合的RGB‑T图像显著性目标检测方法，其特征在于，包括如下步骤：(1)对输入图像提取粗糙的多级特征：对图像提取基础网络中位于不同深度的5级特征作为粗糙的单模态特征；(2)构建邻近深度特征融合模块，改善单模态特征：建立多个邻近深度特征融合模块，然后通过该邻近深度特征融合模块将步骤(1)得到的5级粗糙的单模态特征处理，将来自邻近深度的3级特征进行融合，得到改善的3级单模态特征；(3)构建多分支组融合模块，融合多模态特征：构建包含两个融合分支的多分支组融合模块，对步骤(2)得到的改善的3级单模态特征中，位于同一特征级下的不同单模态特征进行融合，得到融合的多模态特征；(4)得到融合输出特征图：将步骤(3)得到的融合的多模态特征的不同级特征逐级反向融合，得到多个边输出特征图，并将所有边输出特征图融合，得到融合输出特征图；(5)训练算法网络：在训练数据集上，对步骤(4)中得到的边输出特征图和融合输出特征图，采用深度监督学习机制，通过最小化交叉熵损失函数，完成算法网络训练，得到网络模型参数；(6)预测RGB‑T图像的像素级显著图：在测试数据集上，利用步骤(5)得到的网络模型参数，对步骤(4)中得到的边输出特征图和融合输出特征图，通过sigmoid分类计算，预测RGB‑T图像的像素级显著图。...

【技术特征摘要】
1.多级深度特征融合的RGB-T图像显著性目标检测方法，其特征在于，包括如下步骤：(1)对输入图像提取粗糙的多级特征：对图像提取基础网络中位于不同深度的5级特征作为粗糙的单模态特征；(2)构建邻近深度特征融合模块，改善单模态特征：建立多个邻近深度特征融合模块，然后通过该邻近深度特征融合模块将步骤(1)得到的5级粗糙的单模态特征处理，将来自邻近深度的3级特征进行融合，得到改善的3级单模态特征；(3)构建多分支组融合模块，融合多模态特征：构建包含两个融合分支的多分支组融合模块，对步骤(2)得到的改善的3级单模态特征中，位于同一特征级下的不同单模态特征进行融合，得到融合的多模态特征；(4)得到融合输出特征图：将步骤(3)得到的融合的多模态特征的不同级特征逐级反向融合，得到多个边输出特征图，并将所有边输出特征图融合，得到融合输出特征图；(5)训练算法网络：在训练数据集上，对步骤(4)中得到的边输出特征图和融合输出特征图，采用深度监督学习机制，通过最小化交叉熵损失函数，完成算法网络训练，得到网络模型参数；(6)预测RGB-T图像的像素级显著图：在测试数据集上，利用步骤(5)得到的网络模型参数，对步骤(4)中得到的边输出特征图和融合输出特征图，通过sigmoid分类计算，预测RGB-T图像的像素级显著图。2.如权利要求1所述的多级深度特征融合的RGB-T图像显著性目标检测方法，其特征在于，步骤(1)中所述的图形为RGB图像或热红外图像。3.如权利要求1所述的多级深度特征融合的RGB-T图像显著性目标检测方法，其特征在于，步骤(1)中的基础网络为VGG16网络。4.如权利要求2所述的多级深度特征融合的RGB-T图像显著性目标检测方法，其特征在于，步骤(2)中所述的构建邻近深度特征融合模块，包括以下步骤：(21)将步骤(1)得到的5级粗糙的单模态特征分别用符号表示，其中，n＝1或者2，分别代表RGB图像或热红外图像；(22)每一个邻近深度融合模块包含3个卷积操作和1个反卷积操作，以获得第d级单模态特征，d＝1,2,3。5.如权利要求4所述的多级深度特征融合的RGB-T图像显著性目标检测方法，其特征在于，步骤(22)包括：(221)将一个卷积核为3×3，步长为2，参数为的卷积操作一个卷积核为1×1，步长为1，参数为的卷积操作和一个卷积核为2×2，步长为1/...

【专利技术属性】
技术研发人员：张强，黄年昌，姚琳，刘健，韩军功，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61