一种结合深度可信度评价因子的深度图显著性检测方法技术

本发明专利技术涉及一种结合深度可信度估计的深度图像显著性检测方法。相对于平面图像，立体图像中所包含的深度特征对于目标物体的显著性检测提供了更有效的信息。本发明专利技术包括深度可信度评价因子计算、预处理和深度显著性检测；深度可信度评价因子用来客观的描述深度图所包含目标区域深度信息的可信度；深度图可信度越好，提取目标物体的有用信息越多。此外，图像中距离人眼较近但非显著物体所在的区域对于显著性检测会造成一定影响；针对该情况提出一种预处理方式来降低地面等这类背景区域的干扰；最后，结合深度可信度评价因子进行基于深度紧凑性和对比度的显著性计算得到最终显著结果图。本发明专利技术获得的深度显著图质量较高，与视觉注意机制保持良好一致。

Depth map saliency detection method combined with depth credibility evaluation factor

The invention relates to a depth image saliency detection method combined with depth confidence estimation. Compared with planar images, the depth features contained in stereoscopic images provide more effective information for object saliency detection. The invention includes depth credibility evaluation factor calculation, pre-processing and depth saliency detection; depth credibility evaluation factor is used to objectively describe the reliability of depth information of the target region contained in depth map; the better the depth map reliability is, the more useful information is extracted from the target object. In addition, the region close to the human eye but not the salient object in the image will affect the saliency detection to a certain extent; a pretreatment method is proposed to reduce the interference of such background areas as the ground; finally, the depth compactness and contrast-based saliency is achieved by combining the depth credibility evaluation factor. The final significant results are obtained. The depth map produced by the invention has high quality and keeps good consistency with the visual attention mechanism.

【技术实现步骤摘要】
一种结合深度可信度评价因子的深度图显著性检测方法
本专利技术属于视频图像处理
，具体涉及一种结合深度图可信性评价因子的深度图显著性检测方法。
技术介绍
近年来，在计算机视觉、神经科学等多个领域中对于人类视觉注意力机制的建模和研究已经成为主流。视觉注意力机制可以帮助人类快速地识别视觉显著区域，进而从大量复杂的视觉信息中获取有价值的内容。因此，模仿人类视觉机制进行显著性区域检测是计算机视觉领域的热门研究内容之一。如今，多媒体技术迅速成为当前的热门技术，立体视频(图像)备受社会各界关注，三维摄像机、立体电视机等数码媒体产品受到人们的追捧，成为信息技术的主流媒体并深深地影响着我们的日常生活。之所以立体视频技术相对于传统的二维视频技术更加热门，是因为它可以给观众提供一种更真实的体验感，其包含的深度信息具有丰富的视觉层次感，同时也有更强的视觉冲击。针对显著性检测技术，传统的检测模型大部分是基于图像的颜色，亮度等特性而采用不同的算法进行显著性检测，但日常生活中人眼除了接收到颜色、亮度等信息，深度信息也是信息特征之一。在立体图像的显著性计算过程中，深度特征可以提供更准确的位置信息。简单来说，深度图像的像素值能反映场景中物体到相机的距离，可应用于立体场景中目标区域的提取。而到目前为止，对于立体图像的显著性检测模型仍然没有系统完整的框架，而针对于深度图的研究和计算也才逐步兴起。鉴于上述现状，需要对立体图像和深度信息进行进一步的研究和学习，充分利用深度图像中的有效信息，进行显著性计算，并且与立体图像显著性计算的其他特征计算融合，准确的检测出立体图像的显著区域。
技术实现思路
本专利技术针对现有技术的不足，提供一种结合深度可信度评价因子的计算方法。该方法具体包括以下步骤：步骤一：输入深度图，采用SLIC算法将深度图分割为超像素块，并构建图G＝(V,E)；节点V由超像素分割产生，并设定为每一个超像素块的质心；边缘E连接相邻像素块；(SLIC算法为已有技术)步骤二：深度可信度评价因子分析深度可信度评价因子用来客观的描述深度图所包含目标区域深度信息的可信度；以超像素块为单元，结合均值、方差、熵值的物理意义，首先定义每个超像素块的参数并将其归一化，具体如下:其中，m和s分别表示深度图的深度平均值和标准差，mi表示超像素块i的深度均值，0≤i≤N,N为超像素块的个数，本文取200。H为二维图像熵，表示深度值分布的随机性，pl为某个深度灰度值在该图像中出现的概率，可由灰度直方图获得，L为灰度等级；C0为控制常量，设定其值为2.0；融合各超像素块的参数得出深度图可信度评价因子λ如下：其中，N为SLIC算法计算时的超像素块个数，N取200；步骤三：深度图预处理在初步获取深度图像后，图像中距离人眼较近但非显著物体所在区域对于显著性检测会造成一定影响，比如地面；针对该情况提出一种预处理方式来降低地面等这类背景区域的干扰；具体如下：式中，Ik表示原始深度图中某像素点k的深度值，I′k表示预处理后的像素点k的深度值；为像素点k所在行的深度平均值；步骤四：深度图显著区域检测1)基于紧凑度和对比度的显著性计算；在完成深度可靠性因子评价和图像预处理后，从深度紧凑度和深度对比度两方面进行显著性检测计算；a)基于紧凑度的显著性计算Scom预处理后，定义两个超像素块的相似度为：其中，m′i和m′j分别表示预处理后超像素块i，j的深度平均值，0≤i,j≤N,C1为控制常量，取值0.1；结合深度可靠性评价因子计算基于紧凑度的超像素块i的深度显著性值具体如下：其中，nj为超像素块j包含的像素点个数，m′j为预处理后超像素块的深度平均值，λj为超像素块j的评价系数，σ2为控制因子，取值为0.1；为超像素块的质心坐标，为输入深度图的质心位置，具体如下：其中Ik表示原始深度图中的像素值，xk，yk表示对应像素值的横纵坐标，w×h表示深度图中包含的像素点个数；基于紧凑对比度的超像素块i的显著图值Scom(i)计算如下：Scom(i)＝1-norm(Sdc(i))其中norm(·)为归一化函数，用来将Sdc(i)的值归一化到0到1之间。然后再把Scom(i)映射到[0,255]空间得到深度紧凑性显著性图Scom。b)基于对比度的显著性计算Scon预处理后，我们将灰度作为深度图的像素特征值，并计算深度图直方图，得到每一个灰度等级的概率fl，同时计算各像素特征值的距离矩阵D(I'k,Il')，进而得到基于对比度的第k个像素点的显著图值Scon(k)如下：其中，D(I′k,I′l)＝||I′k-I′l||表示第k像素点的深度值I′k与其它像素点深度值I′l空间距离；2)将获取的深度紧凑度显著图Scom和深度对比度显著图Scon进行线性加权融合，获取深度显著图SMdepth：SMdepth＝αScom+(1-α)Scon；其中：α和(1-α)为Scom和Scon的权重因子，取值0.5。本申请在深度图显著性处理研究领域中提出了一种检测技术，尽可能地根据人眼视觉注意力机制原理提取出深度图中目标物体所在区域。该检测技术主要分为深度图可信度评价因子计算、深度图预处理及显著性计算三部分，其中深度图可信度评价因子主要依据图像像素灰度均值、标准差、熵等变化规律对于原深度图中包含有效信息的多少进行度量；对于深度图像中距离人眼较近但并非目标物体所在区域的像素点进行预处理，降低背景部分对于后续显著性计算带来的干扰，降低计算复杂度；深度图显著性计算主要包括两方面：基于紧凑度的计算和基于对比度的计算，并进行融合获取最终的深度显著图。该深度图显著性模型可应用于立体图像或视频的显著性提取中。附图说明图1是本专利技术方法的流程图；图2是原始深度图；图3超像素分割结果；图4是深度图预处理结果；图5是基于紧凑度的显著性计算结果；图6是基于对比度的显著性计算结果；图7是深度图的显著区域检测图；图8是不同的深度图检测结果图；8(a)为深度图，8(b)为SLIC结果，8(c)为预处理结果图，8(d)为紧凑度显著结果图，8(e)为对比度显著结果图，8(f)为最终显著结果图；图9是不同模型方法结果对比图；9(a)为灰度图，9(b)为深度图，9(c)为GBVS方法结果图，9(d)为PCA方法结果图，9(e)为DSR方法结果图，9(f)为GR方法结果图，9(g)为ACSD方法结果图，9(h)为本方法结果图，9(i)为groundtruth。具体实施方式如图1所示，一种结合深度可信度评价因子的深度图显著性检测方法，该方法具体包括以下步骤：步骤一：输入深度图，如图2所示，采用SLIC算法将深度图分割为超像素块，并构建图G＝(V,E)；节点V由超像素分割产生，并设定为每一个超像素块的质心；边缘E连接相邻像素块,如图3所示；(SLIC算法为已有技术)步骤二：深度可信度评价因子分析深度可信度评价因子用来客观的描述深度图所包含目标区域深度信息的可信度；以超像素块为单元，结合均值、方差、熵值的物理意义，首先定义每个超像素块的参数并将其归一化，具体如下:其中，m和s分别表示深度图的深度平均值和标准差，mi表示超像素块i的深度均值，0≤i≤N,N为超像素块的个数，本文取200。H为二维图像熵，表示深度值分布的随机性，pl为某个深度灰度值在该图像本文档来自技高网...

【技术保护点】
1.一种结合深度可信度评价因子的深度图显著性检测方法，其特征在于能够对深度图所包含目标区域的有效信息进行度量，并滤除部分背景区域的干扰，该方法具体包括以下步骤：步骤一：输入深度图，采用SLIC算法将深度图分割为超像素块，并构建图G＝(V,E)；节点V由超像素分割产生，并设定为每一个超像素块的质心；边缘E连接相邻像素块；步骤二：深度可信度评价因子分析深度可信度评价因子用来客观的描述深度图所包含目标区域深度信息的可信度；以超像素块为单元，结合均值、方差、熵值的物理意义，首先定义每个超像素块的参数并将其归一化，具体如下:

【技术特征摘要】
1.一种结合深度可信度评价因子的深度图显著性检测方法，其特征在于能够对深度图所包含目标区域的有效信息进行度量，并滤除部分背景区域的干扰，该方法具体包括以下步骤：步骤一：输入深度图，采用SLIC算法将深度图分割为超像素块，并构建图G＝(V,E)；节点V由超像素分割产生，并设定为每一个超像素块的质心；边缘E连接相邻像素块；步骤二：深度可信度评价因子分析深度可信度评价因子用来客观的描述深度图所包含目标区域深度信息的可信度；以超像素块为单元，结合均值、方差、熵值的物理意义，首先定义每个超像素块的参数并将其归一化，具体如下:其中，m和s分别表示深度图的深度平均值和标准差，mi表示超像素块i的深度均值，0≤i≤N,N为超像素块的个数，；H为二维图像熵，表示深度值分布的随机性，pl为某个深度灰度值在该图像中出现的概率，可由灰度直方图获得，L为灰度等级；C0为控制常量，设定其值为2.0；融合各超像素块的参数得出深度图可信度评价因子λ如下：其中，N为SLIC算法计算时的超像素块个数，N取200；步骤三：深度图预处理在初步获取深度图像后，图像中距离人眼较近但非显著物体所在区域对于显著性检测会造成影响；针对该情况提出一种预处理方式来降低地面等这类背景区域的干扰；具体如下：式中，Ik表示原始深度图中某像素点k的深度值，Ik′表示预处理后的像素点k的深度值；为像素点k所在行的深度平均值；步骤四：深度图显著区域检测1)基于紧凑度和对比度的显著性计算；在完成深度可靠性因子评价和图像预处理后，从深度紧凑度和深度对比度两方面进行显著性检测计算；a)基于紧凑度的显著性计...

【专利技术属性】
技术研发人员：周洋，刘晓琪，尉婉丽，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33