一种基于交互式特征融合的RGBD图像显著性检测方法技术

本发明专利技术公开了一种基于交互式特征融合的RGBD图像显著性检测方法，对训练用图像样本集中各个图像，先利用多层次卷积神经网络模块对彩色图像和深度图像分别进行多级彩色和深度图像特征提取，并且利用交叉特征融合模块，对于深层次卷积提取的彩色和深度图像特征进行多级点乘融合，获得初始显著图像，然后，利用Inception结构对初始显著图像进行多尺度融合，输出网络预测显著图像，最后，利用所述网络预测显著图像和目标显著图像求解焦点熵损失函数，学习到图像显著性检测模型的最优参数，获得训练好的图像显著性检测模型，以此对待处理RGB

【技术实现步骤摘要】
一种基于交互式特征融合的RGBD图像显著性检测方法


[0001]本专利技术涉及图像处理的
，具体涉及一种基于交互式特征融合的RGBD图像显著性检测方法。

技术介绍

[0002]在自动驾驶、机器人和虚拟现实等应用领域，寻找场景中显著性目标，过滤与任务相关性较弱的信息，对降低系统计算复杂度，提高场景理解能力具有重要意义，是计算机视觉领域的核心问题和研究热点之一。
[0003]近年来，随着深度卷积神经网络在图像处理领域的广泛应用，显著性检测迅猛发展，大量基于颜色、亮度等视觉特征的显著性模型被相继提出。Li等人在“Visual saliency based on multiscale deep feature”中首次利用深度神经网络搭建了一个基于多尺度特征的显著性模型。Hou等人在“Deeply Supervised Salient Object Detection with Short Connections”中提出了DSS模型，该模型利用全卷积网络(Fully Convolutional Network,FCN)提取多级多尺度特征，然后通过引入跳层结构以将提取到的多级多尺度特征融合在一起；Feng等人在“Attentive feedback network for boundary
‑
aware salient object detection”中利用全局感知器模块从整体上细化最显著的特征，在相应的编解码器之间利用注意力反馈模块传递信息。
[0004]然而，RGB图像显著性检测面临着两大挑战：一是当目标和背景具有相似的外观时，仅依靠RGB信息难以区分目标与背景；二是当同一物体包含不同色彩时容易被误判为不同对象；深度图包含丰富空间结构和三维布局信息，能保证检测区域完整性的基础上提供大量额外的线索以区分目标与背景，因此利用深度信息可以有效提高显著性检测效果。Ciptadi等人在“An in depth view of saliency”中首次在RGB基础上引入了深度信息，提出了基于RGB
‑
D的显著性分割模型；Peng等人在“Rgbd salient object detection:a benchmark and algorithms”中提出了一个多阶段RGB
‑
D模型，该模型同时考虑了低层特征对比度、中层区域分组和高级先验增强所产生的深度和外观线索；Chen等人在“Progressively complementarity
‑
aware fusion network for RGB
‑
D salient object detection”中设计了互补感知融合模块来学习彩色和深度互补信息，通过级联模块，从深到浅密集地增加逐层监督的方式来逐步融合多级信息；Piao等人在“Depth
‑
induced multi
‑
scale recurrent attention network for saliency detection”中提出了深度诱导多尺度循环注意力网络，该网络使用包含残差结构的深度细化块来融合彩色与深度互补信息，将多尺度上下文特征与深度信息相结合以精准定位显著性目标，同时利用循环注意力模块使模型性能获得更多的提升。
[0005]综上所述，现有RGB
‑
D显著性检测方法主要是基于主干网络提出一些子网络学习彩色和深度互补信息，并进行特征融合，但其网络结构大多十分庞大，参数量多，训练较为困难。

技术实现思路

[0006]本专利技术提供了一种基于交互式特征融合的RGBD图像显著性检测方法，提出了一种新颖的交互式双流显著性检测框架，该框架设计了全局与局部特征提取卷积块(Global and Local feature extraction Block,GL Block)，用于获取全局特征并指导局部特征提取，提出了才有点乘方式获取彩色图像与深度图像的公共特征，搭建了跨模态特征融合模块(Cross
‑
Model Feature Fusion Module,CFFM)以交叉融合彩色图像与深度图像的特征信息，利用本专利技术的检测方法进行显著性检测，精确性高，且模型参数少。
[0007]本专利技术可通过以下技术方案实现：
[0008]一种基于交互式特征融合的RGBD图像显著性检测方法，包括以下步骤：
[0009]步骤一、建立训练用图像样本集；
[0010]步骤二、建立图像显著性检测模型；
[0011]对所述图像样本集中各个图像，先利用多层次卷积神经网络模块对彩色图像和深度图像进行分别多级彩色和深度图像特征提取，并且利用交叉特征融合模块，对于深层次卷积提取的彩色和深度图像特征进行多级点乘融合，获得初始显著图像，然后，利用Inception结构对初始显著图像进行多尺度融合，输出网络预测显著图像，最后，利用所述网络预测显著图像和目标显著图像求解焦点熵损失函数，学习到图像显著性检测模型的最优参数，获得训练好的图像显著性检测模型；
[0012]步骤三、将待处理RGB
‑
D图像输入训练好的图像显著性检测模型，通过模型计算，输出对应的显著性检测结果即显著性图。
[0013]进一步，所述交叉特征融合模块包括第一卷积和第二卷积，利用第一卷积对彩色图像特征进行特征提取，利用第二卷积对深度图像特征进行特征提取，再通过点乘方式提取彩色和深度图像特征的公共特征，并进行融合变换，然后利用第三卷积，将融合后的特征通过卷积和激活操作，分别与原始的彩色图像特征和深度图像特征进行合并。
[0014]进一步，所述第一卷积、第二卷积和第三卷积的结构相同。
[0015]进一步，所述多层次卷积神经网络模块包括相同的两条支路，分别作用于彩色图像和深度图像，均采用FCN结构，包括五层卷积，第一卷积采用标准卷积块，其余各层卷积均采用全局
‑
局部特征提取卷积块；
[0016]所述全局
‑
局部特征提取卷积块包括全局分支和局部分支，所述局部分支先用步长为2的卷积将输入特征图降为原始特征图的1/4，再利用步长为1的两个相同的卷积进行局部特征提取，所述全局分支采用瓶颈结构进行全局特征提取，最后，利用点乘方式对提取到的全局特征和局部特征进行融合。
[0017]进一步，所述步长为1的卷积的卷积核大小为3
×
3，激活函数为ReLU。
[0018]进一步，所述焦点熵损失函数设置为
[0019]其中，y和分别表示目标显著图像和网络预测显著图像，γ表示常数，α表示平衡因子。
[0020]本专利技术有益的技术效果在于：
[0021]采用了一种新颖的交互式双流显著性检测框架，能够很好地检测显著区域和生成
精确显著图，提高了显著性目标检测效率和准确度。实验结果表明，在NJU2000，NLPR，STEREO三个公开数据集上的综合实验表明，本专利技术在主流评价指标上具有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于交互式特征融合的RGBD图像显著性检测方法，其特征在于包括以下步骤：步骤一、建立训练用图像样本集；步骤二、建立图像显著性检测模型；对所述图像样本集中各个图像，先利用多层次卷积神经网络模块对彩色图像和深度图像分别进行多级彩色和深度图像特征提取，并且利用交叉特征融合模块，对于深层次卷积提取的彩色和深度图像特征进行多级点乘融合，获得初始显著图像，然后，利用Inception结构对初始显著图像进行多尺度融合，输出网络预测显著图像，最后，利用所述网络预测显著图像和目标显著图像求解焦点熵损失函数，学习到图像显著性检测模型的最优参数，获得训练好的图像显著性检测模型；步骤三、将待处理RGB
‑
D图像输入训练好的图像显著性检测模型，通过模型计算，输出对应的显著性检测结果即显著性图。2.根据权利要求1所述的基于交互式特征融合的RGBD图像显著性检测方法，其特征在于：所述交叉特征融合模块包括第一卷积和第二卷积，利用第一卷积对彩色图像特征进行特征提取，利用第二卷积对深度图像特征进行特征提取，再通过点乘方式提取彩色和深度图像特征的公共特征，并进行融合变换，然后利用第三卷积，将融合后的特征通过卷积和激活操作，分别与原始的彩色图像特征和深度图像特征进行合并...

【专利技术属性】
技术研发人员：赵晓丽，张倬尧，陈正，方志军，叶翰辰，
申请(专利权)人：上海工程技术大学，
类型：发明
国别省市：