基于先验知识和深度权重的3D显著性模型的建立方法技术

本发明专利技术公开了一种基于先验知识和深度权重的3D显著性模型的建立方法，包括：将3D图像对中的左视图用超像素分割方法分割成多个区域，用色彩和视差信息合成一组特征对每个区域进行描述；使用颜色紧密度作为区域特征分量中视差的权重，计算一个区域对周围的区域的特征对比度；在视差图上得到在深度上的背景先验，并联合该背景先验和颜色紧密度完善深度显著性；以深度显著性和区域之间的高斯距离作为特征对比度的权重，并利用特征对比度的权重相加得出初始3D显著性；利用2D显著性和中央偏置权重对初始3D显著性进行增强。本发明专利技术所建立的3D显著性模型具有更接近于人类注视的效果。

Method for establishing 3D significance model based on prior knowledge and depth weight

The invention discloses a method, a priori knowledge and depth weighted 3D based on saliency model includes: the 3D images of the left view with super pixel segmentation method is divided into a plurality of regions, for each region is described by color and disparity information to produce a set of features; using color compactness as weight parallax the regional characteristic component in the calculation of a region of the area around the feature contrast; in depth on the background of a priori in the disparity map, and combined with the background color and prior tightness improve the depth significantly; in depth between significant and regional Gauss distance as weight contrast feature, and draw the initial 3D was added with weight contrast feature; to enhance the initial 3D by 2D was significant and the central weight bias. The 3D saliency model established by the invention has the effect of being closer to human gaze.

【技术实现步骤摘要】
基于先验知识和深度权重的3D显著性模型的建立方法
本专利技术涉及视觉显著性领域，尤其涉及一种基于先验知识和深度权重的3D显著性模型的建立方法。
技术介绍
对一个多目标场景中的重要信息进行选择是人类视觉系统的一个重要功能。用计算机来建立用于模拟人类上述机制的模型是视觉显著性研究的方向，同时也为目标分割和质量评价等应用提供了基础。近年来，3D显示技术的广泛应用使得研究3D立体显著性具有重要的意义。当人在观看3D电影的时候，大脑通过立体通道分离技术产生的双目视差平移获得深度知识而产生立体感，这一技术的引入导致人类对视觉观测行为的改变。因此区别于2D显著性模型的设计，立体显著性模型除了需要考虑2D显著性模型中的色彩，亮度，纹理，方向等常用特征外，还应该考虑深度通道上的特征(比如深度的对比度等)。目前深度图像的获取途径有：从相机获得深度图像，通过匹配算法获取视差图(视差和深度呈现反比例关系)。人类在关注感兴趣的目标时受到先验知识的影响，所以不管是3D还是2D的显著性模型中先验知识都能实现补充显著性模型的作用。常用的先验知识包括两种，第一种是中央偏置即人类视觉偏好图像中央的信息。第二种是边界背景先验，即图像的边界像素可以作为背景作为显著性模型的参考。综上所述，需要设计出一种更接近人眼注视的3D显著性模型的建立方法。
技术实现思路
针对上述技术问题，本专利技术提供了一种基于先验知识和深度权重的3D显著性模型的建立方法，特征不仅取自于2D的彩色信息，还取自于深度通道的信息，背景先验和颜色紧密度等先验知识使得本专利技术所建立的3D显著性模型具有更接近于人类注视效果。本专利技术提供的技术方案为：一种基于先验知识和深度权重的3D显著性模型的建立方法，包括：步骤一、提取3D特征：将3D图像对中的左视图用超像素分割方法分割成N个区域，标记为Ri，其中i取值1到N；为区域Ri定义一个区域特征f＝[l,a,b,d]，其中，Ni为区域Ri中像素的个数，li，ai，bi分别为区域Ri中像素的l值、a值和b值；步骤二、计算特征对比度：将区域之间的特征对比度用矩阵C表示，则cij表示区域Ri的区域特征和区域Rj的区域特征之间的范式距离，其计算公式为：cij＝||uifi-ujfj||2，其中u为区域特征f的权重，u＝[1,1,1,q]，而变量q代表左视图中N个区域的颜色紧密度；步骤三、设计特征对比度的权重：步骤(1)在视差图上通过深度领域分析方法得到深度显著性图ss，则区域Ri的深度显著性sd为：步骤(2)计算视差图上的背景先验；步骤(3)利用背景先验优化深度显著性，其具体过程包括：针对区域Ri，利用区域Ri在视差图上的平均视差判断深度显著性sd(i)是否在背景范围内，则有：其中，阈值thresh为深度背景Bd中标记为背景的部分在视差图上的最小视差；步骤(4)设计特征对比度的权重区域Ri和区域Rj的特征对比度的权重用变量wi，j表示，则有：wi，j＝exp(-Dst(i，j)/σ2)α(i)sd(i)，其中，α(i)为区域Ri的大小，exp(-Dst(i，j)/σ2)代表区域Ri和区域Rj之间的高斯距离；步骤四、计算初始3D显著性：区域Ri的显著性的值则区域Ri的初始3D显著性Sp(i)的计算公式为：其中，α＝0.33，β＝0.33，Ni为区域Ri中像素的个数。步骤五、增强初始3D显著性：区域Ri的最终3D显著性S(i)为：其中，为区域Ri的2D显著性，Spca(p)是在像素级别上的显著性，DstToCt(i)为像素到中心坐标的欧氏距离，B＝(Bb∪Bd)，H和W分别为左视图的宽和高，Bd代表深度背景，Bb代表边界背景。优选的是，所述的基于先验知识和深度权重的3D显著性模型的建立方法中，所述步骤二中，k为高斯比例因子，k＝4，ti的计算公式为：为区域Ri和区域Rj的RGB平均值的颜色距离，pj为区域Rj的质心的中心坐标，μi为颜色clri的权重位置，优选的是，所述的基于先验知识和深度权重的3D显著性模型的建立方法中，所述步骤(2)中，计算视差图上背景先验的具体过程包括：1)定义初始背景图像：Bd＝0；2)初始化最远背景，首先找到视差图Id最大视差的坐标，Pxy＝Pos(max(Id))；接着设置初始值3)背景传播计算：其中符号Contour表示基于活动轮廓分割，深度背景Bd中背景部分像素表示为1，前景部分像素表示为0。优选的是，所述的基于先验知识和深度权重的3D显著性模型的建立方法中，所述步骤(2)中，计算视差图上背景先验的具体过程包括：1)定义初始背景图像：Bd＝0；2)初始化最远背景，首先找到视差图Id最大视差的坐标，Pxy＝Pos(max(Id))；接着设置初始值3)背景传播计算：其中符号Contour表示基于活动轮廓分割，深度背景的图像Bd中背景部分像素表示为1，前景部分像素表示为0。本专利技术所述的基于先验知识和深度权重的3D显著性模型的建立方法具有以下有益效果：(1)本专利技术在特征提取方面，颜色对比度和视差对比度强的区域可以得到高的显著性值；(2)本专利技术利用颜色紧密度(即2D图像中颜色分布情况)计算特征对比度，提高了显著性值；(3)本专利技术不仅考虑到边界背景的先验，还从3D视差图上获得背景先验，利用背景先验优化深度显著性，从而在3D显著性模型中去掉背景的干扰；(4)本专利技术将深度显著性以及区域之间的空间高斯距离作为特征对比度的权重，并利用2D图像中结构不相似度对初始3D显著性进行增强，从而增强了深度上显著的区域，降低了3D图像中相关性低的背景部分的显著性值。附图说明图1为本专利技术所述的基于先验知识和深度权重的3D显著性模型的建立方法的流程图；图2(a)为本专利技术所述的基于先验知识和深度权重的3D显著性模型的建立方法的ROC(Receiveroperatingcharacteristic)曲线性能展示图，横坐标为FalsePositiveRate(FPR)即真正类率，纵坐标为TruePositiveRate(TPR)即假正类率；图2(b)是PR(Precision-Recall)曲线，横坐标为Recall即召回率，纵坐标为Precision即预测的精度；图2(a)和图2(b)中的图标DWRC(depth-weightedregioncontrast)是本专利技术方法的简写。图3(a)至图3(e)为本专利技术所述的一个实施例中3D显著性模型的可视化显示，图3(a)为3D图像对中的左视图，图3(b)为3D图像对中的右视图；图3(c)为视差图；图3(d)为初始3D显著图；图3(e)为目标图(即最终的3D显著图)；图4(a)至图4(e)为本专利技术所述的另一个实施例中3D显著性模型的可视化显示，图4(a)为3D图像对中的左视图，图4(b)为4D图像对中的右视图；图4(c)为视差图；图4(d)为初始3D显著图；图4(e)为目标图(即最终的3D显著图)。具体实施方式下面结合附图对本专利技术做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。如图1所示，本专利技术提供一种基于先验知识和深度权重的3D显著性模型的建立方法，包括：将3D图像对中的左视图用超像素分割方法分割成多个区域，用色彩和视差信息合成一组特征对每个区域进行描述；使用颜色紧密度作为区域特征分量中视差的权重本文档来自技高网...

【技术保护点】
一种基于先验知识和深度权重的3D显著性模型的建立方法，其特征在于，包括：步骤一、提取3D特征：将3D图像对中的左视图用超像素分割方法分割成N个区域，标记为R

【技术特征摘要】
1.一种基于先验知识和深度权重的3D显著性模型的建立方法，其特征在于，包括：步骤一、提取3D特征：将3D图像对中的左视图用超像素分割方法分割成N个区域，标记为Ri，其中i取值1到N；为区域Ri定义一个区域特征f＝[l,a,b,d]，其中，Ni为区域Ri中像素的个数，li，ai，bi分别为区域Ri中像素的l值、a值和b值；步骤二、计算特征对比度：将区域之间的特征对比度用矩阵C表示，则cij表示区域Ri的区域特征和区域Rj的区域特征之间的范式距离，其计算公式为：cij＝||uifi-ujfj||2，其中u为区域特征f的权重，u＝[1,1,1,q]，而变量q代表左视图中N个区域的颜色紧密度；步骤三、设计特征对比度的权重：步骤(1)在视差图上通过深度领域分析方法得到深度显著性图ss，则区域Ri的深度显著性sd为：步骤(2)计算视差图上的背景先验；步骤(3)利用背景先验优化深度显著性，其具体过程包括：针对区域Ri，利用区域Ri在视差图上的平均视差判断深度显著性sd(i)是否在背景范围内，则有：其中，阈值thresh为深度背景Bd中标记为背景的部分在视差图上的最小视差；步骤(4)设计特征对比度的权重区域Ri和区域Rj的特征对比度的权重用变量wi，j表示，则有：wi，j＝exp(-Dst(i，j)/σ2)a(i)sd(i)，其中，a(i)为区域Ri的大小，exp(-Dst(i，j)/σ2)代表区域Ri和区域Rj之间的高斯距离；步骤四、计算初始3D显著性：区域Ri的显著性的值则区域Ri的初始3D显著性Sp(i)的计算公式为：

【专利技术属性】
技术研发人员：段立娟，梁芳芳，乔元华，马伟，苗军，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京,11