结合彩色和深度信息的图像显著性检测方法技术

本发明专利技术公开了一种结合彩色和深度信息的图像显著性检测方法，该方法包括：对待检测彩色图像进行超像素分割,在分割得到的每一个区域中结合深度和彩色特征计算区域对比度图,并利用深度信息得到深度先验图和方向先验图；融合区域对比度图,深度先验图和方向先验图,计算得到融合先验信息的对比度图；对融合先验的对比度图进行全局优化：执行法向内积加权的网页排名算法，并选取置信度高的区域作为采样区域，设计基于马尔科夫随机场模型的图像恢复问题，求解得到最终的显著性检测图。本发明专利技术挖掘了深度和方向信息对显著性的影响，与以往结合彩色和深度信息的图像显著性检测方法相比取得了更好的效果。

【技术实现步骤摘要】
结合彩色和深度信息的图像显著性检测方法
本专利技术属于图像处理
，具体涉及一种结合彩色和深度信息的图像显著性检测方法。
技术介绍
图像显著性检测是当前计算机视觉和模式识别领域的热点课题之一。研究发现人眼视觉机制总是能快速地提取图像中重要的,感兴趣的区域,进而对这些区域进行分析和处理,而基本不会处理图像中剩余的并不显著的区域。这个原理为计算机视觉领域研究者提供很多启示，即可以对图像中的显著区域进行检测，提取出图像中显著的目标进行后续处理，节省了对全图处理的时间，大大提高了图像处理的效率。因此，图像显著性检测可以广泛的应用在图像分割，目标识别和图像检索等领域。图像显著性检测按照处理问题过程的不同，可以分为两类：自顶而下的检测和自底而上的检测。自顶而下的检测方法依赖于特定的检测任务，而自底而上的检测方法则完全基于图像本身的性质进行检测。大多数的显著性检测的计算模型均利用图像的颜色，纹理，梯度等信息，通过计算图像不同区域的特征对比度实现的。然而，以往的图像显著性算法大部分仅在彩色图像上实现，没有利用场景的深度信息，而深度信息对于人类进行场景理解是至关重要的。随着彩色与深度结合的传感器的广泛应用，如何综合利用彩色和深度信息也日益成为图像显著性研究的热点方向。HouwenPeng等人利用彩色和深度特征计算局部的对比度，然后利用区域生长算法进行显著区域的聚类，最后利用物体位置的先验对结果进行改进，该方法仅将深度信息以及通过深度计算得到的法向信息作为颜色之外的图像特征分量，但对颜色信息对比不明显的物体检测效果不好。RanJu等人利用深度信息，计算视差图的各向异性中心—周边差异实现显著性的检测，但是没有与颜色信息相结合。YuzhenNiu等人计算全局的视差对比度，并基于显著物体通常位于立体图像的视觉舒适区域这一假设实现显著性的分析，但是对于视差或深度对物体显著性影响的挖掘依然不够深入。
技术实现思路
本专利技术的目的在于克服上述现有技术的不足，充分利用深度信息的全局先验特征，改进结合彩色和深度信息的显著性检测效果。本专利技术的目的是通过以下技术方案来实现的：一种结合彩色和深度信息的图像显著性检测方法，包括以下步骤：(1)输入待检测彩色图像及其对应的深度信息D；待检测彩色图像由红、蓝、绿三个颜色通道组成；深度信息D为彩色图像每个像素对应的实际深度；(2)对步骤1输入的彩色图像进行颜色空间转换，由RGB颜色空间变换为CIELab颜色空间，对转换后得到的图像的每个像素提取5维向量(x,y,L,a,b),其中x表示图像中当前像素的水平坐标，y表示图像中当前像素的垂直坐标，L、a、b分别为颜色空间转换后三个颜色通道的数值，对图像所有像素对应的向量进行Meanshift聚类，实现图像的超像素分割，将图像分割成多块区域的集合R＝{ri；1≤i≤n,i∈Z},其中ri表示分割得到的第i个区域，n表示区域总数目，Z表示整数集合；(3)对步骤1输入的深度信息D进行归一化操作，最远的深度值变换为1，最近的深度值变换为0，得到归一化后的深度图Dmap；(4)结合拍摄图像的相机的参数，将步骤1输入的深度信息D转换为三维点云数据，并计算每个三维点与其邻域三维点所在平面的法向量，得到法向图N；(5)对步骤2得到的图像超像素分割结果的每个区域ri(i＝1～n)提取特征fi＝[L(ri),a(ri),b(ri),μd(ri)]，其中L(ri)为区域ri内所有像素L的均值，a(ri)为区域ri内所有像素a的均值，b(ri)为区域ri内所有像素b的均值，d(ri)为变换后的深度图Dmap中区域ri的深度均值,μ的值由用户设定；(6)对步骤2得到的区域集合，计算其中任意一对区域ri和rj(i≠j)之间的对比度C(ri,rj)，其描述如下：其中exp(·)表示指数函数，xi表示区域ri重心的位置，σx的值由用户设定，||·||2表示L2范数；(7)对步骤2得到的区域集合中的每一个区域ri(i＝1～n)，结合步骤6中得到的对比度C(ri,rj)，计算该区域的区域对比度图Src，Src图像中区域ri的取值描述如下：其中A(rj)表示区域rj的面积；(8)对步骤2得到的区域集合中的每一个区域ri(i＝1～n)，结合步骤5计算的区域深度均值d(ri)，计算深度先验图Sdp，Sdp图像中区域ri的取值描述如下：(9)对步骤2得到的区域集合中的每一个区域ri(i＝1～n)，结合步骤4得到的法向图N，计算区域ri的法向量均值作为该区域的法向量n(ri)，进而计算方向先验图Sop，Sop图像中区域ri的取值描述如下：Sop(ri)＝<z,n(ri)>(4)其中z表示沿着光轴方向的单位矢量，<·>表示向量的内积运算；(10)结合步骤7,8,9得到的区域对比度图Src、深度先验图Sdp和方向先验图Sop，计算得到融合先验信息的对比度图Sirc，其描述如下：Sirc＝Src·Sdp·Sop(5)(11)对步骤2得到的区域集合中的每一个区域ri(i＝1～n),以步骤10中的得到的融合先验信息的对比度图Sirc作为区域显著度的初始值，进行法向内积加权的网页排名(PageRank)算法，得到更新后的显著度值Spr，其描述如下：其中N(i)表示与区域ri邻接的区域的标号集合；(12)将步骤11得到的更新后的显著度值按照区域标号排序，组成列向量Spr＝[Spr(r1),Spr(r2),…,,Spr(rn)]T，构建基于马尔科夫随机场模型的图像恢复优化问题，并用最小二乘算法求解；优化问题描述如下：其中M表示采样矩阵，对Spr中数值大小为前t％和后t％的元素所在位置进行采样,Si表示向量S中第i个元素，S*为最后的优化结果；其中，t,α和σf取值由用户设定；(13)将步骤12得到的优化结果S*中第i个元素的数值作为区域ri的显著性值，将显著性值归一化并平方之后得到显著性图像；(14)对显著性图像进行中心偏移运算，得到最终的显著性图像。进一步地，步骤3中进行归一化操作的方法如下：对深度信息D中各个像素点的原始深度值分别作为x代入下述公式：y＝(x-MinValue)/(MaxValue-MinValue)y表示归一化后各个像素的深度值，MinValue和MaxValue分别为深度信息D中各个像素点原始深度值的最小值和最大值。进一步地，步骤4中结合拍摄图像的相机的参数，将步骤1输入的深度信息D转换为三维点云数据的过程如下:Z＝D(x,y)；X＝(x-cx)×Z/fx；Y＝(y-cy)×Z/fy；cx表示光轴中心的水平像素坐标,cy表示光轴中心的垂直像素坐标,fx表示相机水平方向的焦距,fy表示相机垂直方向的焦距；通过上述公式将深度信息D中(x,y)对应的像素点转换为三维点云数据(X,Y,Z)。进一步地，步骤13中进行归一化操作的方法如下：对各个像素对应的显著性值分别作为x代入下述公式：y＝(x-MinValue)/(MaxValue-MinValue)y表示归一化后各个像素的显著性值，MinValue和MaxValue分别为各个像素显著性值的最小值和最大值。进一步地，步骤14中进行中心偏移的方法如下：利用二维高斯函数产生一个高斯模板图像，高斯函数的方差大小由用户设定，将高本文档来自技高网...

【技术保护点】
一种结合彩色和深度信息的图像显著性检测方法，其特征是，包括如下步骤：(1)输入待检测彩色图像及其对应的深度信息D；待检测彩色图像由红、蓝、绿三个颜色通道组成；深度信息D为彩色图像每个像素对应的实际深度；(2)对步骤1输入的彩色图像进行颜色空间转换，由RGB颜色空间变换为CIELab颜色空间，对转换后得到的图像的每个像素提取5维向量(x,y,L,a,b),其中x表示图像中当前像素的水平坐标，y表示图像中当前像素的垂直坐标，L、a、b分别为颜色空间转换后三个颜色通道的数值，对图像所有像素对应的向量进行Meanshift聚类，实现图像的超像素分割，将图像分割成多块区域的集合R＝{ri；1≤i≤n,i∈Z},其中ri表示分割得到的第i个区域，n表示区域总数目，Z表示整数集合；(3)对步骤1输入的深度信息D进行归一化操作，最远的深度值变换为1，最近的深度值变换为0，得到归一化后的深度图Dmap；(4)结合拍摄图像的相机的参数，将步骤1输入的深度信息D转换为三维点云数据，并计算每个三维点与其邻域三维点所在平面的法向量，得到法向图N；(5)对步骤2得到的图像超像素分割结果的每个区域ri(i＝1～n)提取特征fi＝[L(ri),a(ri),b(ri),μd(ri)]，其中L(ri)为区域ri内所有像素L的均值，a(ri)为区域ri内所有像素a的均值，b(ri)为区域ri内所有像素b的均值，d(ri)为变换后的深度图Dmap中区域ri的深度均值,μ的值由用户设定；(6)对步骤2得到的区域集合，计算其中任意一对区域ri和rj(i≠j)之间的对比度C(ri,rj)，其描述如下：C(ri,rj)=exp(-||xi-xj||222σx2)||fi-fj||2---(1)]]>其中exp(·)表示指数函数，xi表示区域ri重心的位置，σx的值由用户设定，||·||2表示L2范数；(7)对步骤2得到的区域集合中的每一个区域ri(i＝1～n)，结合步骤6中得到的对比度C(ri,rj)，计算该区域的区域对比度图Src，Src图像中区域ri的取值描述如下：Src(ri)=Σi≠jA(rj)C(ri,rj)---(2)]]>其中A(rj)表示区域rj的面积；(8)对步骤2得到的区域集合中的每一个区域ri(i＝1～n)，结合步骤5计算的区域深度均值d(ri)，计算深度先验图Sdp，Sdp图像中区域ri的取值描述如下：Sdp(ri)=1-d(ri)---(3)]]>(9)对步骤2得到的区域集合中的每一个区域ri(i＝1～n)，结合步骤4得到的法向图N，计算区域ri的法向量均值作为该区域的法向量n(ri)，进而计算方向先验图Sop，Sop图像中区域ri的取值描述如下：Sop(ri)＝<z,n(ri)>  (4)其中z表示沿着光轴方向的单位矢量，<·>表示向量的内积运算；(10)结合步骤7,8,9得到的区域对比度图Src、深度先验图Sdp和方向先验图Sop，计算得到融合先验信息的对比度图Sirc，其描述如下：Sirc＝Src·Sdp·Sop  (5)(11)对步骤2得到的区域集合中的每一个区域ri(i＝1～n),以步骤10中的得到的融合先验信息的对比度图Sirc作为区域显著度的初始值，进行法向内积加权的网页排名(PageRank)算法，得到更新后的显著度值Spr，其描述如下：Spr(ri)=Σj∈N(i)<n(ri),n(rj)>Sirc(RJ)ΣK∈N(j)<n(rk),n(rj)>---(6)]]>其中N(i)表示与区域ri邻接的区域的标号集合；(12)将步骤11得到的更新后的显著度值按照区域标号排序，组成列向量Spr＝[Spr(r1),Spr(r2),…,,Spr(rn)]T，构建基于马尔科夫随机场模型的图像恢复优化问题，并用最小二乘算法求解；优化问题描述如下：S*=argmins||MS-MSpr||22+αΣi,j∈N(i)exp(-||fi-fj||22/σf2)||Si-Sj||22---(7)]]>其中M表示采样矩阵，对Spr中数值大小为前t％和后t％的元素所在位置进行采样,Si表示向量S中第i个元素，S*为最后的优化结果；其中，t,α和σf取值由用户设定；(13)将步骤12得到的优化结果S*中第i个元素的数值作为区域ri的显著性值，将显著性值归一化并平方之后得到显著性图像；(14)对显著性图像进行中心偏移运算，得到最终的显著性图像。...

【技术特征摘要】
1.一种结合彩色和深度信息的图像显著性检测方法，其特征是，包括如下步骤：(1)输入待检测彩色图像及其对应的深度信息D；待检测彩色图像由红、蓝、绿三个颜色通道组成；深度信息D为彩色图像每个像素对应的实际深度；(2)对步骤(1)输入的彩色图像进行颜色空间转换，由RGB颜色空间变换为CIELab颜色空间，对转换后得到的图像的每个像素提取5维向量(x,y,L,a,b),其中x表示图像中当前像素的水平坐标，y表示图像中当前像素的垂直坐标，L、a、b分别为颜色空间转换后三个颜色通道的数值，对图像所有像素对应的向量进行Meanshift聚类，实现图像的超像素分割，将图像分割成多块区域的集合其中ri表示分割得到的第i个区域，n表示区域总数目，表示整数集合；(3)对步骤(1)输入的深度信息D进行归一化操作，最远的深度值变换为1，最近的深度值变换为0，得到归一化后的深度图Dmap；(4)结合拍摄图像的相机的参数，将步骤(1)输入的深度信息D转换为三维点云数据，并计算每个三维点与其邻域三维点所在平面的法向量，得到法向图N；(5)对步骤(2)得到的图像超像素分割结果的每个区域ri,i＝1～n提取特征fi＝[L(ri),a(ri),b(ri),μd(ri)]，其中L(ri)为区域ri内所有像素L的均值，a(ri)为区域ri内所有像素a的均值，b(ri)为区域ri内所有像素b的均值，d(ri)为变换后的深度图Dmap中区域ri的深度均值,μ的值由用户设定；(6)对步骤(2)得到的区域集合，计算其中任意一对区域ri和rj之间的对比度C(ri,rj)，其中i≠j，其描述如下：其中exp(·)表示指数函数，xi表示区域ri重心的位置，σx的值由用户设定，||·||2表示L2范数；(7)对步骤(2)得到的区域集合中的每一个区域ri,i＝1～n，结合步骤(6)中得到的对比度C(ri,rj)，计算该区域的区域对比度图Src，Src图像中区域ri的取值描述如下：其中A(rj)表示区域rj的面积；(8)对步骤(2)得到的区域集合中的每一个区域ri,i＝1～n，结合步骤(5)计算的区域深度均值d(ri)，计算深度先验图Sdp，Sdp图像中区域ri的取值描述如下：(9)对步骤(2)得到的区域集合中的每一个区域ri,i＝1～n，结合步骤(4)得到的法向图N，计算区域ri的法向量均值作为该区域的法向量n(ri)，进而计算方向先验图Sop，Sop图像中区域ri的取值描述如下：Sop(ri)＝<z,n(ri)>(4)其中z表示沿着光轴方向的单位矢量，<·>表示向量的内积运算；(10)结合步骤(7),(8),(9)得到的区域对比度图Src、深度先验图Sdp和方向先验图Sop，...

【专利技术属性】
技术研发人员：任健强，龚小谨，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33