一种基于人眼立体视觉特性的立体图像显著性检测方法技术

本发明专利技术具体涉及一种基于人眼立体视觉特性的立体图像显著性检测方法，本发明专利技术包括立体图像的空间以及深度两个不同维度的视图信息进行显著性计算，首先，先采用SLIC算法对单视点视图进行超像素分割，并进行区域相似性进行合并，然后，再采用GBVS算法计算二维空间显著图；接着，结合视差图中的绝对视差特征，局部视差特征和深度对比度特征进行深度显著性计算；最后，结合人眼视觉疲劳特性，对视差分布进行了合理的处理，将两种不同维度的显著图采用线性加权方式进行显著性聚合，生成立体图像显著图。本发明专利技术能够在不同的场景下有效的检测出立体图像的显著区域，适用于可疑物计算、图像检索等领域。

A stereoscopic image saliency detection method based on human stereo vision characteristics

The invention relates to a stereo image saliency detection method of stereo vision based on the characteristics, the invention includes a stereo image space and the depth of the two different dimensions of view information were calculated, firstly, using SLIC algorithm for super pixel segmentation of single view, and regional similarity are combined, then then, the GBVS algorithm of two-dimensional spatial saliency map; then, combining the absolute disparity characteristics in the disparity map, local disparity features and depth contrast features calculated depth significantly; finally, combined with the characteristics of human visual fatigue, the disparity distribution reasonably, the two significant figure of different dimensions by using linear weighted the way of significant polymerization, 3D image saliency map. The invention can effectively detect the salient area of the stereo image under different scenes, and is suitable for the fields of suspicious object calculation and image retrieval.

【技术实现步骤摘要】
一种基于人眼立体视觉特性的立体图像显著性检测方法
本专利技术属于图像处理
，具体涉及一种基于人眼双目立体视觉的立体图像显著性检测的方法。
技术介绍
显著性检测技术是立体视频处理技术的一个重要组成部分，也是许多不同的应用程序在图像处理的基础,尤其在目标检测和识别，图像压缩，视觉导航和图像质量评估等重要应用例如，可以通过显着性检测技术获取立体视频的视觉显著区域，进一步对视觉显著区域的视频图像质量进行完善提高，而减少非显著区域(即对人眼视觉系统影响较小的区域)的处理时间。目前大部分的显著性计算模型都是仅仅以图像的颜色、亮度、形状以及纹理等空间二维信息作为输入，然后基于像素点利用降采样或者多尺度变换的方式进行显著性计算，然而，这些计算模型在大多数情况下都没有考虑物体的距离信息，不适用于立体图像的显著性检测。通过上一章的研究分析，我们知道立体图像中的深度信息是人眼视觉系统(HSV)的重要感知特征之一，它能够反映物体距离观察者的远近。根据现有的研究分析：距离较近或深度改变较剧烈的场景物体容易引起我们双眼的注意，即表现出更强的视觉显著性。鉴于上述现状，需要对传统的显著性模型检测进行改进，采取简单有效的方法对立体图像的二维空间以及深度两个不同维度的视图信息进行显著性计算，并且准确的检测出立体图像的显著区域。
技术实现思路
本专利技术的目的就是提出了一种基于双目立体视觉的立体图像显著性检测方法，包括如下步骤：步骤一：显著特征提取：从立体图像的二维、深度两个不同维度的视图信息进行显著性计算，分别提取二维显著区域和深度显著区域；其中提取二维显著区域具体包括以下步骤：首先采用SLIC算法对立体视图的左视图进行预处理，通过区域分割获取超像素区域并进行区域相似性合并，然后，再采用GBVS模型进行二维显著性计算，具体步骤为：a)采用SLIC算法对输入左视图进行超像素分割获取分割区域,具体公式如下：其中，(li,ai,bi)和(lj,aj,bj)分别表示(xi,yi)和(xj,yj)两点在LAB颜色空间对应的三个分量，dc表示两点在LAB颜色空间的距离，ds表示两点在二维平面内的距离，m为表示迭代次数，默认值取10，S为类间最大空间距离，Ds为所求的距离度量。将超像素分割后的立体图像左视图进行区域相似性合并。经过SLIC算法分割后，图像中的每个分割区域都拥有自己的种子点，基于计算相邻种子点的颜色特征相似性进行区域合并，将超像素图中的n个区域进行合并，得到标签图Lr(x,y)：其中，1≤i≤n，Lr(x,y)为标签图。b)对区域相似性合并后的标签图采用GBVS算法对区域合并后的图像进行二维空间显著计算，该模型主要包括两步：1.二维图像特征的提取：采用线性滤波以及非线性滤波提取图像的亮度颜色以及方向的低阶视觉特征；得到特征图M；2.二维显著图的生成：首先给定输入图像的一张特征图：M:[n]2→R，然后定义两个特征点之间的距离公式为：式中M(i,j)和M(p,q)分别代表节点(i,j)、(p,q)两点的相应特征值。将特征图M中的每一个像素点进行两两相连构建图GA，然后计算出(i,j)和(p,q)这两个节点的有向边的相应权重大小：式中σ为一个自定义参数，默认取值为图像宽度大小的0.1到0.15倍左右，反向边具有同样大小的权重值。首先将每个节点的有向边权重大小都归一化到0到1区间，然后在图GA上定义一条马尔科夫链，通过马尔科夫链的均衡分布反映出每个特征节点之间的差异大小，即对应的显著值，进而得到二维显著图Simg：[n]2→R。其中深度显著性计算，具体步骤为：a)采用DERS软件根据输入的左视点图和右视点图计算出相应的原始视差图D；b)对原始视差图D进行预处理，即首先计算原始视差图D中每行局部视差改变量，初步分离背景与物体：其中，p表示视差图中的该点像素，dp′和dp分别表示预处理后p点像素的视差值和原始图中p点像素值，表示该行像素点的平均像素值，其中包括dp；得到图像D′；采用区域对比度算法用于进一步的目标背景的显著性计算，该算法主要包括两大部分：(1)先将图像D′进行图像区域分割，(2)然后计算D′中的每个区域Ri与周围其他区域的视差对比度并进行显著性赋值：其中，S(Ri)代表区域Ri的显著值，ni表示区域Ri的像素点个数，nk表示区域Rk的像素点个数，dR′(Ri,Rk)表示Ri和Rk两个区域之间的视差对比度大小：其中，d′(p,q)表示p和q两点之间的视差差值，定义为|dp′-dq′|，ω(p,q)表示权重用来计算p和q两点之间的空间距离，其中σ'2为一个控制参数默认值取0.4，最后将计算后的图像归一化到[0,1]区间，基于屏幕前凸显的物体更为显著值进行显著性映射赋值：其中，SR′(x,y)代表(x,y)像素点位置的映射显著值，Smax和Smin分别代表SR(x,y)中的最大显著值以及最小显著值；得到视差显著图S′R；c)利用高斯差分滤波器提取重要的深度感知特征—深度对比度，实现公式下：其中(x,y)代表滤波器位置，σ”和K分别用来控制滤波器的尺度和高斯核的半径比；取σ”＝32，K＝1.6；得到深度对比度图SE；d)再将获取的视差显著图S′R和深度对比度图SE采用线性加权的融合的方式获取深度显著图Sdep：Sdep＝wrS′R+weSE其中，wr和we分别为视差显著图S′R和深度对比度图SE的权重，这里wr＝we＝0.5。步骤二：显著特征融合将提取的两种不同维度的显著特征图结合人眼视觉疲劳特性，采取线性加权的融合策略进行融合，进而获取立体图像的显著区域。具体步骤如下：SSM(x,y)＝λ(γSimg(x,y)+(1-γ)Sdep(x,y))其中，SSM(x,y)，Simg(x,y)和Sdep(x,y)分别表示立体图像显著图，二维空间显著图和深度显著图，γ表示权重默认初始值设为0.5，λ参数表示像素点的视觉舒适特征：其中，Tneg和Tpos表示视差舒适区域的区域门限值，具体大小值通过实验统计手动设置。技术效果：对以上技术、步骤简单分析，得出可以实现对立体图像的显著区域检测，本专利技术提出一种基于双目立体视觉的立体图像显著性检测方法，能解决当前传统检测模型存在复杂场景检测效果不佳等问题。有效地提高了立体图像显著性检测的准确性，而且本专利技术提出的算法复杂度比较低，符合人眼的视觉感知特性，具有一定的实用价值。附图说明图1是本专利技术基于双目立体视觉的立体图像显著性检测方法的流程图。图2是立体图像左视图。图3是立体图像右视图。图4是立体图像左视图的超像素分割图。图5是立体图像左视图超像分割区域合并图。图6是立体图像左视图的二维空间显著图。图7是立体图像左视图和右视图的视差图。图8是立体图像视差图的视差预处理图。图9是立体图像视差图的局部视差显著图。图10是立体图像视差图的视差显著图。图11是立体图像视差图的深度对比度图。图12是立体图像的深度显著图。图13是立体图像的显著区域检测图。图14(1-10)是不同的立体图像的检测结果图。具体实施方式结合以下具体实施例和附图，对本专利技术进一步的详细说明。本专利技术的目的就是提出了一种基于双目立体视觉的立体图像显著性检测方法，包括如下步骤：步骤一：显著特征提取：从立体图像的二维、深度两个不同维度的视图信息进行显著本文档来自技高网...

【技术保护点】
一种基于人眼立体视觉特性的立体图像显著性检测方法，其特征在于，该方法具体包括以下步骤：步骤一：显著特征提取：从立体图像的二维、深度两个不同维度的视图信息进行显著性计算，分别提取二维显著区域和深度显著区域；其中提取二维显著区域具体包括以下步骤：首先采用SLIC算法对立体视图的左视图进行预处理，通过区域分割获取超像素区域并进行区域相似性合并，然后，再采用GBVS模型进行二维显著性计算，具体步骤为：a)采用SLIC算法对输入左视图进行超像素分割获取分割区域,具体公式如下：

【技术特征摘要】
1.一种基于人眼立体视觉特性的立体图像显著性检测方法，其特征在于，该方法具体包括以下步骤：步骤一：显著特征提取：从立体图像的二维、深度两个不同维度的视图信息进行显著性计算，分别提取二维显著区域和深度显著区域；其中提取二维显著区域具体包括以下步骤：首先采用SLIC算法对立体视图的左视图进行预处理，通过区域分割获取超像素区域并进行区域相似性合并，然后，再采用GBVS模型进行二维显著性计算，具体步骤为：a)采用SLIC算法对输入左视图进行超像素分割获取分割区域,具体公式如下：其中，(li,ai,bi)和(lj,aj,bj)分别表示(xi,yi)和(xj,yj)两点在LAB颜色空间对应的三个分量，dc表示两点在LAB颜色空间的距离，ds表示两点在二维平面内的距离，m为表示迭代次数，默认值取10，S为类间最大空间距离，Ds为所求的距离度量；将超像素分割后的立体图像左视图进行区域相似性合并；经过SLIC算法分割后，图像中的每个分割区域都拥有自己的种子点，基于计算相邻种子点的颜色特征相似性进行区域合并，将超像素图中的n个区域进行合并，得到标签图Lr(x,y)：其中，1≤i≤n，Lr(x,y)为标签图；b)对区域相似性合并后的标签图采用GBVS算法对区域合并后的图像进行二维空间显著计算，该模型主要包括两步：1.二维图像特征的提取：采用线性滤波以及非线性滤波提取图像的亮度颜色以及方向的低阶视觉特征；得到特征图M；2.二维显著图的生成：首先给定输入图像的一张特征图：M:[n]2→R，然后定义两个特征点之间的距离公式为：式中M(i,j)和M(p,q)分别代表节点(i,j)、(p,q)两点的相应特征值；将特征图M中的每一个像素点进行两两相连构建图GA，然后计算出(i,j)和(p,q)这两个节点的有向边的相应权重大小：式中σ为一个自定义参数，默认取值为图像宽度大小的0.1到0.15倍左右，反向边具有同样大小的权重值；首先将每个节点的有向边权重大小都归一化到0到1区间，然后在图GA上定义一条马尔科夫链，通过马尔科夫链的均衡分布反映出每个特征节点之间的差异大小，即对应的显著值，进而得到二维显著图Simg：[n]2→R；其中深度显著性计算，具体步骤为：a)采用DERS软件根据输入的左视点图和右视点图计算出相应的原始视差图D；b)对原始视差图D进行预处理，即首先计算原始视差图D中每行局部视差改变量，初步分离背景与物体：其中，p表示视差图中的该点像素，d′p和dp分别表示预处理后...

【专利技术属性】
技术研发人员：刘晓琪，周洋，何永健，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江,33