基于边缘检测辅助的弱监督RGBD图像显著性检测方法技术

本发明专利技术涉及一种基于边缘检测辅助的弱监督RGBD图像显著性检测方法，包括以下步骤：步骤S1：建立包含涂鸦标注图的弱监督RGBD图像显著性检测训练集，并进行数据增强；步骤S2：设计多层次、多任务的弱监督RGBD图像显著性检测网络；步骤S3：设计融合模块；步骤S4：设计基于边缘检测辅助的弱监督RGBD图像显著性检测网络，并设计损失函数优化网络参数；步骤S5：将待测RGBD图像输入训练好的基于边缘检测辅助的弱监督RGBD图像显著性检测模型中，得到显著性检测结果。应用本技术方案能够实现性能较好的弱监督RGBD图像显著性检测。监督RGBD图像显著性检测。监督RGBD图像显著性检测。

【技术实现步骤摘要】
基于边缘检测辅助的弱监督RGBD图像显著性检测方法


[0001]本专利技术涉及图像处理以及计算机视觉
，特别是基于边缘检测辅助的弱监督RGBD图像显著性检测方法。

技术介绍

[0002]显著性目标检测是计算机视觉领域中的一项重要研究内容，它的目标在于模拟人类的视觉感知系统来找到图像中最引人注意的物体，并对其进行像素级别的分割。作为一个基础的图像处理问题，它在目标检测、语义分割、视频跟踪和图像理解等任务中都起着关键作用。
[0003]随着卷积神经网络的发展，许多基于深度学习的图像显著性检测方法被提出，与传统方法相比，这些方法在性能上有了很大的提升。但深度学习需要使用大量的训练数据作为支持，而强监督显著性检测模型需要的逐像素标注标签的获取代价十分昂贵，因此，弱监督图像显著性检测如今已成为了众多学者积极探索的一个研究方向。
[0004]弱监督图像显著性检测对不完整的弱级别标注进行建模，然后依靠模型强大的泛化能力推断出完整的显著性目标，常用的弱级别标注包括噪声标签、图像级标签、边界框以及涂鸦标签等。与逐像素标注标签相比，这些低成本标签无法提供完整的显著性物体结构细节，这给显著性检测网络模型恢复细致的显著性物体边缘结构带来了更大的挑战。目前大多数方法选择引入传统无监督显著性检测方法、图像分类任务或边缘检测任务等作为辅助，利用它们帮助确定显著性物体的位置和边缘。然而在一些复杂场景中，仅靠彩色图像提供的颜色和纹理特征，强监督显著性检测难以解决的边缘定位问题将在弱监督情况下变得更加困难。弱监督RGBD图像显著性检测通过引入深度图，将深度图包含的丰富结构信息和位置信息作为补充，能够提高复杂场景中的显著性目标检测能力。但其在引入深度图的同时也带来了新的问题，例如彩色图像和深度图之间的跨模态冲突问题、深度图粗糙的边缘问题以及低质量深度图带来的噪音问题等。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于边缘检测辅助的弱监督RGBD图像显著性检测方法，该方法能够实现性能较好的弱监督RGBD图像显著性检测。
[0006]为实现上述目的，本专利技术采用如下技术方案：基于边缘检测辅助的弱监督RGBD图像显著性检测方法，包括以下步骤：
[0007]步骤S1：建立包含涂鸦标注图的弱监督RGBD图像显著性检测训练集，并进行数据增强；
[0008]步骤S2：设计多层次、多任务的弱监督RGBD图像显著性检测网络，使用该网络得到多尺度边缘细化的显著性预测结果；
[0009]步骤S3：设计融合模块，使用该模块融合多尺度边缘细化的显著性预测结果，得到最终的显著性预测结果；
[0010]步骤S4：设计基于边缘检测辅助的弱监督RGBD图像显著性检测网络，并设计损失函数优化网络参数，得到训练好的基于边缘检测辅助的弱监督RGBD图像显著性检测模型；
[0011]步骤S5：将待测RGBD图像输入训练好的基于边缘检测辅助的弱监督RGBD图像显著性检测模型中，得到显著性检测结果。
[0012]在一较佳的实施例中，所述步骤S1具体为：
[0013]步骤S11：划分数据集，按照一定比例划分为训练集和测试集；
[0014]步骤S12：对于训练集，在“Adobe Photoshop 2020”软件中使用画笔工具对每组RGBD图像进行涂鸦标注，具体地说，用黑色涂鸦标注部分显著性前景区域，用白色涂鸦部分标注背景区域，无标注区域则用灰色表示；
[0015]步骤S13：对训练集中的图像进行数据增强，具体操作包括加入噪声、随机裁剪、翻转图像，并对训练集和测试集中每组RGBD图像的彩色图像和深度图进行归一化，以突出前景区域。
[0016]在一较佳的实施例中，所述步骤S2具体为：
[0017]步骤S21：首先，分别将彩色图像和深度图输入两支VGG16网络中，接着将5个卷积层Conv1，Conv2，Conv3，Conv4和Conv5和池化层Pool5提取到的6个层次的特征分别作为多层次彩色图像特征和多层次深度图特征
[0018]步骤S22：设计初始显著性预测分支，在6个层次中的每个层次先拼接彩色图像特征和深度图特征接着将拼接特征送入跨模态特征融合模块CFF进行彩色图像特征和深度图特征的融合；跨模态特征融合模块由一个3
×
3卷积层、通道注意力、空间注意力和一个3
×
3卷积层串联组成。最后融合后的特征再通过卷积核为1的卷积层将其降至1维，该过程用公式表示如下：
[0019][0020]其中表示第k层的初始显著性特征，和分别表示第k层的彩色图像特征和深度图特征，
⊕
表示拼接操作，F
CFF
表示初始显著性预测分支中的跨模态特征融合模块，Conv1×1代表卷积核为1的卷积层；
[0021]步骤S23：设计边缘检测分支，得到边缘特征E
k
的过程与初始显著性预测分支相同，公式如下：
[0022][0023]其中E
k
表示第k层的边缘特征，和分别表示第k层的彩色图像特征和深度图特征，
⊕
表示拼接操作，F
CFF
′
表示边缘检测分支中的跨模态特征融合模块，Conv1×1代表卷积核为1的卷积层。
[0024]步骤S24：设计边缘细化显著性预测模块；在6个层次中的每个层次先拼接初始显著性特征和边缘特征E
k
，接着通过卷积核为1的卷积层将拼接特征的维度降至1维，公式如下：
[0025][0026]其中S
k
表示第k层的边缘细化的显著性特征，和E
k
分别表示第k层的初始显著性特征和边缘特征，
⊕
表示拼接操作，Conv1×1代表卷积核为1的卷积层。
[0027]在一较佳的实施例中，所述步骤S3具体为：
[0028]步骤S31：设计融合模块；设计融合模块，逐层将深层特征整合至浅层特征，具体过程用公式表示如下：
[0029][0030]S
final
＝σ(Conv3×3(H1))
[0031]其中H
k
表示第k层的聚合特征，S
k
表示第k层的边缘细化的显著性特征，F
up
表示上采样，Conv3×3代表卷积核为3的卷积层，σ表示Sigmoid激活函数，S
final
表示最终的显著性预测结果。
[0032]在一较佳的实施例中，所述步骤S4具体为：
[0033]步骤S41：组合步骤S2设计的多层次、多任务的弱监督RGBD图像显著性检测网络和步骤S3设计的融合模块，得到基于边缘检测辅助的弱监督RGBD图像显著性检测网络；
[0034]步骤S42：设计基于边缘检测辅助的弱监督RGBD图像显著性检测网络的损失函数如下：
[0035][0036]其中L表示最终训练的损失函数，∑表示求和，k∈{1,
…
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于边缘检测辅助的弱监督RGBD图像显著性检测方法，其特征在于，包括以下步骤：步骤S1：建立包含涂鸦标注图的弱监督RGBD图像显著性检测训练集，并进行数据增强；步骤S2：设计多层次、多任务的弱监督RGBD图像显著性检测网络，使用该网络得到多尺度边缘细化的显著性预测结果；步骤S3：设计融合模块，使用该模块融合多尺度边缘细化的显著性预测结果，得到最终的显著性预测结果；步骤S4：设计基于边缘检测辅助的弱监督RGBD图像显著性检测网络，并设计损失函数优化网络参数，得到训练好的基于边缘检测辅助的弱监督RGBD图像显著性检测模型；步骤S5：将待测RGBD图像输入训练好的基于边缘检测辅助的弱监督RGBD图像显著性检测模型中，得到显著性检测结果。2.根据权利要求1所述的基于边缘检测辅助的弱监督RGBD图像显著性检测方法，其特征在于，所述步骤S1具体为：步骤S11：划分数据集，按照一定比例划分为训练集和测试集；步骤S12：对于训练集，在“Adobe Photoshop 2020”软件中使用画笔工具对每组RGBD图像进行涂鸦标注，具体地说，用黑色涂鸦标注部分显著性前景区域，用白色涂鸦部分标注背景区域，无标注区域则用灰色表示；步骤S13：对训练集中的图像进行数据增强，具体操作包括加入噪声、随机裁剪、翻转图像，并对训练集和测试集中每组RGBD图像的彩色图像和深度图进行归一化，以突出前景区域。3.根据权利要求1所述的基于边缘检测辅助的弱监督RGBD图像显著性检测方法，其特征在于，所述步骤S2具体为：步骤S21：首先，分别将彩色图像和深度图输入两支VGG16网络中，接着将5个卷积层Conv1，Conv2，Conv3，Conv4和Conv5和池化层Pool5提取到的6个层次的特征分别作为多层次彩色图像特征和多层次深度图特征步骤S22：设计初始显著性预测分支，在6个层次中的每个层次先拼接彩色图像特征和深度图特征接着将拼接特征送入跨模态特征融合模块CFF进行彩色图像特征和深度图特征的融合；跨模态特征融合模块由一个3
×
3卷积层、通道注意力、空间注意力和一个3
×
3卷积层串联组成；最后融合后的特征再通过卷积核为1的卷积层将其降至1维，该过程用公式表示如下：其中表示第k层的初始显著性特征，和分别表示第k层的彩色图像特征和深度图特征，表示拼接操作，F
CFF
表示初始显著性预测分支中的跨模态特征融合模块，Conv1×1代表卷积核为1的卷积层；步骤S23：设计边缘检测分支，得到边缘特征E
k
的过程与初始显著性预测分支相同，公式如下：
其中E
k
表示第k层的边缘特征，和分别表示第k层的彩色图像特征和深度图特征，表示拼接操作，F
CFF
′
表示边缘检测分支中的跨模态特征融合模块，Conv1×1代表卷积核为1的卷积层；步骤S24：设计边缘细化显著性预测模块；在6个层次中的每个层次先拼接初始显著性特征和边缘特征E
k
，接着通过卷积核为1的卷积层将拼接特征的维度降至1维，公式如下：其中S
k
表示第k层的边缘细化的显著性特征，和E
k
分别表示第k层的初始显著性特征和边缘特征，表示拼接操作，Conv1×1代表卷积核为1的卷积层。4.根据权利要求1所述的基于边缘检测辅助的弱监督RGBD图像显著性检测方法，其特征在于，所述步骤S3具体为：步骤S31：设计融合模块；设计融合模块，逐层将深层特征整合至浅层特征，具体过程用公式表示如下：S
final

【专利技术属性】
技术研发人员：陈羽中，朱文婧，牛玉贞，杨立芬，
申请(专利权)人：福州大学，
类型：发明
国别省市：