一种基于卷积神经网络的深度感知显著性检测方法技术

本发明专利技术公开了一种基于卷积神经网络的深度感知显著性检测方法，具体步骤如下：a.将深度图转化为三通道深度图；b.将三通道深度图和彩色图分别送入彩色显著性网络和深度显著性网络中，得到彩色显著性图和深度显著性图；c.将彩色显著性图和深度显著性图一起送入显著性融合网络中，得到融合显著性图；d.将彩色显著性图和深度显著性图联合训练并计算损失函数loss，以此来训练步骤b和c中的网络，让其拥有更强的特征提取能力。

【技术实现步骤摘要】
一种基于卷积神经网络的深度感知显著性检测方法
本专利技术涉及一种图像显著性检测方法，特别是一种基于卷积神经网络的深度感知显著性检测方法，旨在通过RGB图和深度图来检测出图像中的显著性物体。
技术介绍
显著性检测模仿人类视觉机制，利用计算机对图像上在人眼中最显著的物体进行检测，显著性检测算法得到的显著性图是一种灰度图，图中利用灰度值来表示图片中不同物体的显著性程度，图中越亮的区域越显著。近年来显著性检测一直是计算机视觉领域的一个重要课题，它可以在很多课题中起到应用，比如图像分类，图像分割和对象识别。随着显著性检测受到越来越多的关注，人们开始思考如何利用深度信息来辅助进行显著性检测，随着立体相机，深度相机以及微软的kinect传感器的出现，深度图被用到RGBD显著性检测中，RGBD显著性检测在3D内容监控，立体图像检索等方面有重要的应用。现有技术中，2017年，宋等人针对RGBD图像和立体图像，提出一种深度感知显著性检测和分割框架，通过利用低级特征对比、中级特征加权因子和高级位置先验，基于多尺度区域分割计算了四类特征的各种显著性度量，利用随机森林回归器来区分显著性融合并在每个尺度上生成D本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的深度感知显著性检测方法，其特征在于，具体步骤如下：a.将深度图转化为三通道深度图；b.将三通道深度图和彩色图分别送入彩色显著性网络和深度显著性网络中，得到彩色显著性图和深度显著性图；c.将彩色显著性图和深度显著性图一起送入显著性融合网络中，得到融合显著性图；d.将彩色显著性图和深度显著性图联合训练并计算损失函数loss，以此来训练步骤b和c中的网络，让其拥有更强的特征提取能力。

【技术特征摘要】
1.一种基于卷积神经网络的深度感知显著性检测方法，其特征在于，具体步骤如下：a.将深度图转化为三通道深度图；b.将三通道深度图和彩色图分别送入彩色显著性网络和深度显著性网络中，得到彩色显著性图和深度显著性图；c.将彩色显著性图和深度显著性图一起送入显著性融合网络中，得到融合显著性图；d.将彩色显著性图和深度显著性图联合训练并计算损失函数loss，以此来训练步骤b和c中的网络，让其拥有更强的特征提取能力。2.根据权利要求1所述的基于卷积神经网络的深度感知显著性检测方法，其特征在于，所述步骤(a)将深度图转化为三通道深度图，具体步骤如下：(a-1)、将深度图像全部送入HHA算法中，将深度图转化为水平差异图，对地高度图以及表面法向量图三种单通道深度图；(a-2)、将这三种单通道深度图的像素值用RGB三种颜色表示，再将三种单通道深度图组成三通道深度图。3.根据权利要求1所述的基于卷积神经网络的深度感知显著性检测方法，其特征在于，所述步骤(b)中将两种图送入两种显著性网络，得到彩色显著性图和深度显著性图，具体步骤如下：(b-1)、输入原始彩色图像和三通道深度图像其中N表示图像的总张数，(b-2)、彩色图送入彩色显著性检测模型，输出得到彩色显著性图；(b-3)、三通道深度图送入一种深度显著性网络，该网络由两部分组成，基础网络部分是由VGG16部分组成，该网络对输入图像进行了卷积和池化操作，由于深度图所包含的信息量没有彩色图像多，为了更好的适应提取深度图特征的任务，将VGG16网络中的第五层池化去掉，避免过度池化损失信息，并在第三和第四次池化后加入dropout层，避免由于数据量不够导致的网络过拟合；为了更好的提取和结合浅层语义信息和深层细节信息，采用空间多尺度金字塔结构来融合信息，具体做法是将第5层卷积层输出的特征进行上采样，并与第4层卷积层输出的结果相加，然后将相加的结果进行卷积再做上采样，并与第3层卷积层输出的结果相加，再将相加的结果进行卷积和上采样，并与第2...

【专利技术属性】
技术研发人员：刘志，丁宇，黄梦珂，张俞鹏，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31