一种3D图像的显著性检测方法技术

本发明专利技术公开了一种3D图像的显著性检测方法，包括步骤(1)基于卷积神经网络对颜色图像和深度图像分别提取深度特征向量；(2)根据三层的神经网络以及提取的颜色图像和深度图像的深度特征向量分别生成深度图和颜色图的显著性图；(3)将颜色图像和深度图像的显著性图进行线性融合处理后获得3D图像的显著性图。本发明专利技术通过CNN模型对颜色图像和深度图像分别进行多尺度区域的深度学习特征提取；深度图像(或者颜色图像)的显著性图是通过训练后的NN模型基于深度特征向量和区域的显著性标签来生成的，NN模型在此相当于分类器的作用；并以深度显著性图和颜色显著性图为输入，采用线性融合方法生成最终的3D图像的显著性图；本检测方法具有误差小和精度高等优点。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术属于3D图像处理
，更具体地，涉及一种3D图像的显著性检测方法。
技术介绍
随着消费电子行业的不断发展，在我们的日常生活中，3D应用变得越来越受欢迎。与传统的2D视觉体验相比，3D应用能够给用户提供一种深度感知和身临其境的观看感受。然而，在3D处理过程中还是有很多开放性的问题需要被很好得解决。在3D研究中，3D图像的显著性检测是一个非常基本的问题，它主要的目的是在一张自然场景图像中找到人眼感兴趣的区域的位置。并且，他可以被应用于各种领域，例如，3D视频编码里可以用来优化比特分配，立体图像质量评估时的空间池化以及3D物体检测时的特征提取。现有的视觉显著性检测模型大多数都是跟2D图像有关。这些模型主要是从颜色图像中通过手动提取一些底层的特征(比如亮度、颜色、对比度、纹理等)来估计其显著性，并且这些模型没有考虑深度信息。例如，Itti等为快速场景分析提出了一个显著性模型，主要是结合了多尺度下的图像特征去估计显著性。Bruce等介绍了一个基于信息最大化的显著性方法，它主要是在进行显著性估计的时候将香农的自信息理论应用进去。Goferman等设计了一个基于上下文感知的显著性检测模型，主要是为了检测出一些可以代表场景的图像区域。Yang等提出了一个基于自顶向下方法的视觉显著性模型，主要是通过加入条件随机域和判别式字典方法。然而这些方法基本都是在针对2D图像去进行显著性检测的。因此，这些传统的显著性检测模型不能够准确的去预测在一个3D场景中人们在观看时感兴趣的区域位置。为了提升预测的准确度，一些研究者提出在模型化立体图像的显著性检测时需要将其深度信息考虑在内。例如，方等人提出了一个框架是采用颜色、亮度、纹理和深度等特征的对比度来估计一个立体图像的显著性。该模型在计算立体图像显著性时依旧使用的是传统的手动提取特征的方法来提取底层特征和深度特征。祁等人提出了一个3D视觉显著性检测模型，主要还是手动的用已经生成的视差图来提取深度特征，从左右视图来提取底层特征。Kim等描述了一个立体视频的显著性预测模型，它主要是通过将一些离散的底层特征、深度特征分布与高水平的场景分类等相结合。但是对于这些研究，手动提取特征的方法不能够有效地准确地去分层级的原始像素提取特征，并且手动提取特征的不确定的因素很多，还会出现一些无法预料的误差，在进行手动提取特征的时候往往需要投入大量的人力，同时还要依赖于专业的知识，并且，手动提取往往不能一概而论的都好。因此这些模型的性能就被受限。
技术实现思路
针对现有技术的缺陷，本专利技术的目的在于提供一种3D图像的显著性检测方法，旨在解决现有技术中采用手动提取特征的方法不能有效地在原始像素提取特征导致误差大的问题。本专利技术提供了一种3D图像的显著性检测方法，包括下述步骤：(1)对颜色图像和深度图像的深度特征向量进行提取；(2)根据三层的神经网络以及提取的颜色图像和深度图像的深度特征向量生成深度图和颜色图的显著性图；(3)将所述颜色图像和深度图像的显著性图进行线性融合处理后获得3D图像的显著性图。更进一步地，步骤(1)具体为：(1.1)将颜色图像和与所述颜色图像相关的深度图像分别进行图像分割后，获得多层次的没有重叠的图像区域；(1.2)采用卷积神经网络模型分别对分割后的颜色图像和深度图像的特征向量进行提取。更进一步地，所述卷积神经网络模型的结构为五个卷积层和三个全连接层；对于每一层的网络，设定具体的网络参数配置：首先是图片输入层，设定输入图像的大小为227*227。以卷积层一为例，其卷积核的大小为11，共96个卷积滤波器，卷积步幅为4，输出的图片数量为96。ReLUs和max-pooling操作在卷积层一之后执行。最后是三个全连接层，是作为神经网络的分类器。全连接层一和层二其神经元的个数分别都为4096，全连接层三的神经元的个数为1000个。更进一步地，步骤(2)中，根据神经网络(NeuralNetwork，NN)模型生成深度图和颜色图的显著性图；其中，所述神经网络(NN)模型有一个输出层和两个全连接的隐藏层，所述神经网络(NN)模型的输入为特征向量，输出为当前区域的显著性标签，当显著性标签为1时则表示当前区域是显著的，当显著性标签为0时则表示当前区域是非显著。更进一步地，所述深度图像的显著性图由公式生成，其中，x表示深度图像的区域中的像素，表示深度图第j层的权重因子，L表示分层的总数目，Sd(x)表示深度图像的显著性图，j表示深度图的层数，表示深度图的第j层索引为i的分割区域，表示一个映射函数，主要描述深度图的本地区域的特征向量与该区域的显著性标签之间的关系。更进一步地，所述颜色图像的显著性图由公式生成，其中，x表示颜色图像的区域中的像素，表示颜色图第j层的的权重因子，L表示分层的总数目，j表示颜色图的层数，表示颜色图的第j层索引为i的分割区域，表示一个映射函数，主要描述颜色图的本地区域的特征向量与该区域的显著性标签之间的关系。更进一步地，所述3D图像的显著性图S＝w·Sc+(1-w)·Sd，其中，Sd为深度图像的显著性图，Sc为颜色图像的显著性图，w为颜色图的显著性图在最终的3D图像的视觉显著性图的贡献权重。更进一步地，分层的总数目L是15，权重w为0.5。本专利技术通过基于卷积神经网络(ConvolutionalNeuralNetwork，CNN)模型对颜色图像和深度图像分别进行多尺度区域的深度学习特征提取；深度图像(或者颜色图像)的显著性图是通过NN模型基于深度特征向量和区域的显著性标签来生成的，NN模型在此相当于分类器的作用；并采用了一个线性融合的方法其结合了深度显著性图和颜色显著性图从而生成了最终的3D图像的显著性图；误差小、精度高。附图说明图1是本专利技术提供的3D图像的显著性检测方法的框架原理图；图2是本专利技术实施例提供的3D图像的显著性检测方法的流程实现图；图3是本专利技术实施例提供的3D图像的显著性检测方法与现有技术的对比仿真示例图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。根据以上描述可以知道，计算视觉显著性图的模型性能在很大的程度上是受那些具有代表性的特征影响的。因此对于3D视觉显著性研究来说，找出那些具有代表性的视觉特征是相当重要的。又因为现存的3D图像的显著性检测模型基本都是基于手动的方法来提取特征的。然而这些研究方法很难去实现显著性区域与其邻域之间的更高成都的差异区分。除此之外，由于对3D视觉感知方面的知识的欠缺，那么深度信息对最终的视觉显著性图有怎么样的贡献仍旧不是很清晰。本专利技术提供的3D图像的显著性检测方法可以应用于视频编码、视频压缩、图像检索、图像质量评估、感兴趣目标物体的检测以及图像检索等领域。其应用的方式主要还是根据其应用的领域来定。本专利技术提出的基于深度学习特征的视觉显著性模型的框架包含了三个主要的步骤，分别是深度特征的提取，显著性图的生成，显著性图的融合，其框架描述图如图1所示。首先，颜色图像和深度图像的深度特征向量是被由一个卷积神经网络(CNN)模型提取出来的。然后，深度图和颜色图的显著性图是由生成的区域特征向量以及区域的显本文档来自技高网...

【技术保护点】
一种3D图像的显著性检测方法，其特征在于，包括下述步骤：(1)对颜色图像和深度图像的深度特征向量进行提取；(2)根据三层的神经网络以及提取的颜色图像和深度图像的深度特征向量生成深度图和颜色图的显著性图；(3)将所述颜色图像和深度图像的显著性图进行线性融合处理后获得3D图像的显著性图。

【技术特征摘要】
【国外来华专利技术】1.一种3D图像的显著性检测方法，其特征在于，包括下述步骤：(1)对颜色图像和深度图像的深度特征向量进行提取；(2)根据三层的神经网络以及提取的颜色图像和深度图像的深度特征向量生成深度图和颜色图的显著性图；(3)将所述颜色图像和深度图像的显著性图进行线性融合处理后获得3D图像的显著性图。2.如权利要求1所述的显著性检测方法，其特征在于，步骤(1)具体为：(1.1)将颜色图像和与所述颜色图像相关的深度图像分别进行图像分割后，获得多层次的没有重叠的图像区域；(1.2)采用卷积神经网络模型分别对分割后的颜色图像和深度图像的特征向量进行提取。3.如权利要求2所述的显著性检测方法，其特征在于，所述卷积神经网络模型的结构为五个卷积层和三个全连接层；对于每一层的网络设定不同的网络参数配置。4.如权利要求1所述的显著性检测方法，其特征在于，步骤(2)中，根据神经网络模型生成深度图和颜色图的显著性图；其中，所述神经网络模型有一个输出层和两个全连接的隐藏层，所述神经网络模型的输入为特征向量，输出为当前区域的显著性标签，当显著性标签为1时则表示当前区域是显著的，当显著性标签为0时则表示当前区域...

【专利技术属性】
技术研发人员：王旭，张秋丹，江健民，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东;44