一种基于各向异性扩散的深度图像增强方法技术

本发明专利技术公开了一种基于各向异性扩散的深度图像增强方法。利用与深度图像对应的彩色图像的像素点间的相似性作为深度扩散的依据，基于深度图像的已知深度，完成对深度图像的深度缺失区域的填充。本发明专利技术克服了传统的基于内插的深度增强方法中存在的物体边缘模糊的问题，同时突破了基于滤波的深度增强方法中滤波窗口大小的限制，具备通用性强，鲁棒性强等优点。其可广泛应用于各类存在深度区域缺失的深度图像，在实际的应用中基于相互对应的彩色图像和深度图像能够获得良好的深度图像缺失区域填充效果。

【技术实现步骤摘要】

本专利技术涉及深度图像增强方法，具体涉及一种基于各向异性扩散的对深度图像缺失区域进行填充的增强方法。
技术介绍
深度图像用来表达场景中各点相对于摄像机之间的距离。深度图像在计算机视觉的各种应用中有着广泛的应用，其为计算机视觉中诸如跟踪、分类、识别等方法提供了更多的可能性。深度图像的获取包括了主动式获取和被动式获取。其中被动式获取中常用的是双目立体视觉方法，其使用两个相隔一定距离的摄像机同时获取场景图像，利用两个相机之间的几何关系最终生成深度图像；而主动式获取包括了激光雷达、结构光等方法，其特点在于设备本身需要发射能量来完成深度信息的获取。但是通过各种现有设备获得的深度图像大都存在深度信息缺失的问题:基于双目立体匹配获得的深度图像由于基线长度的限制无法获得在远距离处的准确深度信息，与此同时，在两个相机的视野非重叠区域无法获得准确深度信息；微软公司的Kinect获取的深度图像受到特殊材质表面、测距范围、物体遮挡等因素的影响往往会存在部分深度缺失区域；而通过激光雷达获取三维数据，经过坐标转换得到的深度图像拥有准确的深度值，但激光雷达扫描点体现在深度图像上表现为离散稀疏的深度值，深度图像上存在大量深度缺失区域。因此在获得彩色图像与深度图像对时，彩色图像是通常是完好的，而深度图像中往往存在部分深度缺失区域，深度图像的缺失区域给后续的机器视觉算法引来了诸多不变，如何对缺失深度区域的深度进行合理的估计成为了一个亟待解决的问题。在已提出的对深度图像深度缺失区域进行填充的方法包括了内插，滤波等。各种算法往往都是通过已知的深度对缺失深度区域的深度进行合理估计。传统的内插方法利用缺失深度像素点周围的已知深度信息对该点的深度进行适当的估计。该方法填充完成的深度图像在物体边缘十分模糊，得到的深度图像往往无法达到后续应用的使用要求。而某些滤波算法利用与深度图像对应的彩色图像来辅助深度图像的缺失区域填充。经常被采用的方法是联合双边滤波器。然而，这种基于滤波的深度图像增强往往对深度缺失区域大小非常敏感，如果深度缺失区域较大，而滤波采用的窗口尺寸较小，就会出现深度缺失区域无法被填充的情况。而如果窗口尺寸较大，就会导致深度图像中的细节信息难以保留。
技术实现思路
本专利技术的目的在于提供，该方法利用深度图像的已知深度信息与彩色图像信息，克服了先前方法中物体边缘模糊、对深度缺失区域大小敏感等问题，实现了对深度图像中深度缺失区域的合理填充。本专利技术采用的技术方案是:本专利技术以与深度图像对应的彩色图像作引导，基于深度图像的已知深度区域，完成对深度图像的深度缺失区域的填充；该方法具体步骤如下:步骤I)利用摄像机拍摄得到彩色图像，并利用深度传感器得到相同场景的深度信息，进而将深度信息映射到彩色图像坐标系得到深度图像，将两幅图像中具有相同行列位置的像素点进行一一对应；步骤2)将深度图像中深度缺失的像素点的值设为O ;步骤3)对经步骤2)处理的深度图像进行逐列扫描，得到含有N个元素的列向量b，其中N表示深度图像的像素点个数； 步骤4)构建一个大小为NXN的矩阵M，矩阵M的第i行、第j列元素Mij的表达式如式⑴所示:权利要求1.，其特征在于:以与深度图像对应的彩色图像作引导，基于深度图像的已知深度区域，完成对深度图像的深度缺失区域的填充；该方法具体步骤如下: 步骤I)利用摄像机拍摄得到彩色图像，并利用深度传感器得到相同场景的深度信息，进而将深度信息映射到彩色图像坐标系得到深度图像，将两幅图像中具有相同行列位置的像素点进行对应； 步骤2)将深度图像中深度缺失的像素点的值设为O ; 步骤3)对经步骤2)处理的深度图像进行逐列扫描，得到含有N个元素的列向量b，其中N表示深度图像的像素点个数； 步骤4)构建一个大小为NXN的矩阵M，矩阵M的第i行、第j列元素Mij的表达式如式⑴所示:2.根据权利要求1所述的，其特征在于:所述式⑴中I Ii1-1jI I2用式⑷进行计算 II1-1j I 12 = (R1-Rj)2+ (G1-Gj)2+ (B1-Bj)2 (4) 其中，Ri为h所对应的彩色图像像素点的R通道的值，Rj为h所对应的彩色图像像素点的R通道的值A为匕所对应的彩色图像像素点的G通道的值，Gj为bj所对应的彩色图像像素点的G通道的值办为匕所对应的彩色图像像素点的B通道的值，Bj为bj所对应的彩色图像像素点的B通道的值。3.根据权利要求1所述的，其特征在于:所述式(3)通过对线性方程组的求解软件得到列向量Y的解。全文摘要本专利技术公开了。利用与深度图像对应的彩色图像的像素点间的相似性作为深度扩散的依据，基于深度图像的已知深度，完成对深度图像的深度缺失区域的填充。本专利技术克服了传统的基于内插的深度增强方法中存在的物体边缘模糊的问题，同时突破了基于滤波的深度增强方法中滤波窗口大小的限制，具备通用性强，鲁棒性强等优点。其可广泛应用于各类存在深度区域缺失的深度图像，在实际的应用中基于相互对应的彩色图像和深度图像能够获得良好的深度图像缺失区域填充效果。文档编号G06T7/00GK103198486SQ201310124200公开日2013年7月10日 申请日期2013年4月10日 优先权日2013年4月10日专利技术者刘俊毅, 龚小谨, 刘济林 申请人:浙江大学本文档来自技高网...

【技术保护点】
一种基于各向异性扩散的深度图像增强方法，其特征在于：以与深度图像对应的彩色图像作引导，基于深度图像的已知深度区域，完成对深度图像的深度缺失区域的填充；该方法具体步骤如下：步骤1）利用摄像机拍摄得到彩色图像，并利用深度传感器得到相同场景的深度信息，进而将深度信息映射到彩色图像坐标系得到深度图像，将两幅图像中具有相同行列位置的像素点进行一一对应；步骤2）将深度图像中深度缺失的像素点的值设为0；步骤3）对经步骤2）处理的深度图像进行逐列扫描，得到含有N个元素的列向量b，其中N表示深度图像的像素点个数；步骤4）构建一个大小为N×N的矩阵M，矩阵M的第i行、第j列元素Μij的表达式如式(1)所示：其中σ表示衡量颜色相似性大小的参数，Ii为b中的第i个元素bi所对应的彩色图像像素点的RGB三通道颜色值，Ij为b中的第j个元素bj所对应的彩色图像像素点的RGB三通道颜色值，bi与bj对应的像素点是否相邻通过四邻域的概念进行判断；步骤5）构建一个大小为N×N的矩阵A，矩阵A的第i行、第j列元素Aij的表达式如式(2)所示：式(2)中，L表示一个N×N的单位矩阵，Lij表示矩阵L的第i行、第j列元素；步骤6）求解如式(3)所示的线性方程组，得到含有N个元素的列向量Y的解：AY＝b????(3)步骤7）利用列向量Y完成对与深度图像同尺寸矩阵的逐列赋值，得到深度图像增强结果。FDA00003031874600011.jpg,FDA00003031874600012.jpg...

【技术特征摘要】

【专利技术属性】
技术研发人员：刘俊毅，龚小谨，刘济林，
申请(专利权)人：浙江大学，
类型：发明
国别省市：