一种联合彩色图像的RGB-D相机深度图像修复方法技术

本发明专利技术涉及一种联合彩色图像的RGB‑D相机深度图像修复方法，属于深度图像修复领域。该方法包括：采用张氏标定法对彩色、深度摄像头进行标定，获取相机的内外参数；根据小孔成像原理以及坐标变换实现彩色、深度摄像头坐标对齐；分别获取场景彩色、深度图像，采用深度阈值法将其二值化；判断空洞连通域的大小以确定存在空洞；进行膨胀操作获取空洞邻域；计算空洞领域像素点的深度值方差，根据其大小将空洞分为遮挡、平面内空洞；分别采用颜色一致性和领域相似性对两类空洞进行修复；对修复后的图像采用局部滤波法进行滤波，去除噪声。本发明专利技术在保证深度图像修复的同时，尽可能的保持了深度图像的原始信息，并提高了深度图像的修复效率。

A depth image inpainting method for RGB-D camera combined with color images

The invention relates to a RGB_D camera depth image restoration method for joint color images, belonging to the field of depth image restoration. The method includes: using Zhang's calibration method to calibrate the color and depth cameras, obtaining the camera's internal and external parameters; realizing color and depth cameras'coordinate alignment according to the principle of keyhole imaging and coordinate transformation; capturing scene color and depth images respectively, using depth threshold method to binarize them; judging the connectivity of cavities. The size of the domain is used to determine the existence of voids; the neighborhood of voids is obtained by expansion operation; the depth variance of pixels in the void domain is calculated, and the voids are divided into occlusion and in-plane voids according to their size; the two kinds of voids are repaired by color consistency and domain similarity respectively; and the repaired image is repaired by local filtering method. Filtering is used to remove noise. While ensuring the restoration of the depth image, the invention keeps the original information of the depth image as much as possible, and improves the restoration efficiency of the depth image.

【技术实现步骤摘要】
一种联合彩色图像的RGB-D相机深度图像修复方法
本专利技术属于深度图像修复领域，涉及一种联合彩色图像的RGB-D深度图像修复方法。
技术介绍
随着视觉技术的发展，越来越多种类的摄像头被应用于显示场景中，例如：普通彩色相机用于人脸识别，CCD相机用于障碍物检测，Kinect用于人体骨骼跟踪等。普通二维平面相机能够获取场景二维信息，对于三维显示空间而言，二维平面相机显然无法满足现实应用需求，虽然可以利用两个或多个二维平面相机组合使用可实现场景三维信息获取，但其使用不方便且计算量大。这一情况随着RGB-D相机的出现初步得到改善，例如微软发布的Kinect，在获取场景彩色图像的同时非常方便的获取深度信息。随着微软Kinect(natal)的发展，深度摄像头吸引越来越多人的目光，深度摄像头可以用在人体跟踪，三维重建，人机交互，SLAM等领域。但由于RGB-D相机获取的深度图像一般含有较多的空洞，无法将深度信息直接适用于现实应用中，这极大地影响了RGB-D相机的应用范围。因此，亟需一种有效的深度图像修复方法来解决RGB-D获取的深度图像信息存在空洞而无法直接使用的问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种联合彩色图像的RGB-D相机深度图像修复方法，针对RGB-D获取的深度图像信息存在空洞而无法直接使用的问题，提出一种有效的深度图像修复方法。为达到上述目的，本专利技术提供如下技术方案：一种联合彩色图像的RGB-D相机深度图像修复方法，包括以下步骤：S1：采用经典的张氏标定法对彩色摄像头和深度摄像头进行标定，获取相机的内外参数；S2：根据小孔成像原理以及坐标变换实现彩色摄像头和深度摄像头坐标对齐；S3：分别获取场景彩色图像和深度图像，根据深度阈值法将深度图像进行二值化；S4：判断深度图像空洞连通域的大小以确定存在空洞；S5：对深度图像进行膨胀操作获取空洞邻域；S6：计算空洞领域像素点的深度值方差，根据方差的大小将空洞分为遮挡空洞和平面内空洞；S7：根据不同的空洞类型分别采用颜色一致性和领域相似性对两类空洞进行修复；S8：对修复后的图像采用局部滤波的方法进行滤波，在保证深度值原始性的同时去除噪声。进一步，所述步骤S2具体包括以下步骤：S21：经步骤S1得到彩色相机的旋转矩阵Rrgb和平移向量Trgb，深度相机的旋转矩阵Rir和平移向量Tir；设P为世界坐标系下的一点，Prgb与Pir分别为P在彩色相机和深度相机下的投影坐标点，由小孔成像模型得到关系式：Prgb＝RrgbP+TrgbPir＝RirP+TirS22：设prgb和pir分别为该点在RGB像平面和深度像平面上的投影坐标，由相机的内参矩阵Argb和Air得到：prgb＝ArgbPrgbpir＝AirPirS23：深度摄像头的坐标和RGB摄像头的坐标不同，Prgb和Pir用一个旋转矩阵R和一个平移矩阵T联系起来，二者的关系为：Prgb＝RPir+TS24：由S21等式消去P得到：S25：联立S23和S24等式对应项相等得到R和T：S26：联立S22和S23等式，最终得到彩色图像像素点与深度图像像素点的对应关系为：进一步，所述步骤S3具体包括以下步骤：S31：根据对齐后的彩色相机和深度相机同时获取场景图像；S32：对原始深度数据进行量化，将深度值转换到灰度级0～255，量化公式如下：其中depth为量化后的深度值，Dp为每个像素点的深度值，Dmax为最大深度值；S33：对获取的深度图像根据深度阈值法进行二值化，公式表达如下：其中I(x,y)是二值化后的图像，depth(x,y)代表像素点量化后的深度值，Dthr为二值化深度阈值。进一步，所述步骤S4具体包括：经过S3二值化处理后，判断空洞连通域的大小，以区分时空洞和噪声点；若连通域判断是空洞，则继续后续的处理；若不是，则不进行后续的处理。进一步，所述步骤S5具体包括以下步骤：S51：对S4判断出的空洞进行膨胀操作Hep；S52：获取空洞领域Hnp，表达式如下：Hnp＝Hep-Ho其中Ho为空洞区域。进一步，所述步骤S6具体包括以下步骤：S61：根据S5获取的空洞邻域，计算邻域内像素点量化后深度值的方差Δdepth，计算公式如下：其中Di表示空洞领域内i像素点的深度值，表示空洞领域深度值均值，i表示像素点编号，N表示空洞邻域像素点总个数；S62：利用S61计算得到的邻域方差Δdepth与空洞判断阈值Δth相比较，若空洞邻域深度方差Δdepth小于Δth则判断为平面内空洞，若大于等于Δth则判断为遮挡空洞。进一步，所述步骤S7具体包括：对于判断为平面内空洞，即该空洞为物体平面内由于不反射红外光而产生的空洞，由于是存在于一个平面内，该空洞区域的深度值与其邻域像素点的深度相似，利用领域像素点深度值对齐进行修补；而对于判断为遮挡空洞，是由于物体相互遮挡而产生的空洞，对于这类空洞修复则利用彩色图像进行修复，即找出空洞邻域内与空洞区域内彩色图像颜色较为接近的像素点的深度值进行修复。进一步，所述步骤S8具体包括：由于经过S7修复后的空洞仍存在细小噪声，为了尽可能保证深度数据的原始性，同时能够去除噪声，采用局部上边滤波方法进行图像滤波。本专利技术的有益效果在于：本专利技术根据空洞邻域方差阈值法将空洞分为两类，联合彩色图像分别采用领域相似性和颜色一致性进行空洞修复，空洞修复后的图像采用局部滤波的方法去除噪声。相比传统的采用双边滤波算法的粗暴修复方法，本专利技术在保证深度图像修复的有效性同时尽可能的保证了深度图像信息的原始性。附图说明为了使本专利技术的目的、技术方案和有益效果更加清楚，本专利技术提供如下附图进行说明：图1为本专利技术的系统流程图；图2为空洞邻域计算原理图；图3为遮挡空洞形成的原理图。具体实施方式下面将结合附图，对本专利技术的优选实施例进行详细的描述。图1为本专利技术的系统流程图，如图1所示，一种联合彩色图像的RGB-D相机深度图像修复方法，首先要实现彩色相机与深度相机坐标的对齐，根据深度阈值法对量化后的深度图像进行二值化，通过膨胀操作获取空洞邻域，计算邻域方差以判断空洞类型，对于不同的空洞分别采用领域相似性和颜色一致性进行修复，最后采用局部双边滤波法进行图像滤波。该方法具体包括以下步骤：S1：采用经典的张氏标定法对彩色摄像头和深度摄像头进行标定，获取相机的内外参数；S2：根据小孔成像原理以及坐标变换实现彩色摄像头和深度摄像头坐标对齐；S3：分别获取场景彩色图像和深度图像，根据深度阈值法将深度图像进行二值化；S4：判断深度图像空洞连通域的大小以确定存在空洞：经过S3二值化处理后，判断空洞连通域的大小，以区分时空洞和噪声点；若连通域判断是空洞，则继续后续的处理；若不是，则不进行后续的处理。S5：对深度图像进行膨胀操作获取空洞邻域；S6：计算空洞领域像素点的深度值方差，根据方差的大小将空洞分为遮挡空洞和平面内空洞；S7：根据不同的空洞类型分别采用颜色一致性和领域相似性对两类空洞进行修复；对于判断为平面内空洞，即该空洞为物体平面内由于不反射红外光而产生的空洞，由于是存在于一个平面内，该空洞区域的深度值与其邻域像素点的深度相似，利用领域像素点深度值对齐进行修补；而对于判断为遮挡空洞，是由于物体相互遮挡而产生的空洞，如图3所示，对于这类空洞修复则本文档来自技高网...

【技术保护点】
1.一种联合彩色图像的RGB‑D相机深度图像修复方法，其特征在于，该方法包括以下步骤：S1：采用经典的张氏标定法对彩色摄像头和深度摄像头进行标定，获取相机的内外参数；S2：根据小孔成像原理以及坐标变换实现彩色摄像头和深度摄像头坐标对齐；S3：分别获取场景彩色图像和深度图像，根据深度阈值法将深度图像进行二值化；S4：判断深度图像空洞连通域的大小以确定存在空洞；S5：对深度图像进行膨胀操作获取空洞邻域；S6：计算空洞领域像素点的深度值方差，根据方差的大小将空洞分为遮挡空洞和平面内空洞；S7：根据不同的空洞类型分别采用颜色一致性和领域相似性对两类空洞进行修复；S8：对修复后的图像采用局部滤波的方法进行滤波，在保证深度值原始性的同时去除噪声。

【技术特征摘要】
1.一种联合彩色图像的RGB-D相机深度图像修复方法，其特征在于，该方法包括以下步骤：S1：采用经典的张氏标定法对彩色摄像头和深度摄像头进行标定，获取相机的内外参数；S2：根据小孔成像原理以及坐标变换实现彩色摄像头和深度摄像头坐标对齐；S3：分别获取场景彩色图像和深度图像，根据深度阈值法将深度图像进行二值化；S4：判断深度图像空洞连通域的大小以确定存在空洞；S5：对深度图像进行膨胀操作获取空洞邻域；S6：计算空洞领域像素点的深度值方差，根据方差的大小将空洞分为遮挡空洞和平面内空洞；S7：根据不同的空洞类型分别采用颜色一致性和领域相似性对两类空洞进行修复；S8：对修复后的图像采用局部滤波的方法进行滤波，在保证深度值原始性的同时去除噪声。2.根据权利要求1所述的一种联合彩色图像的RGB-D相机深度图像修复方法，其特征在于，所述步骤S2具体包括以下步骤：S21：经步骤S1得到彩色相机的旋转矩阵Rrgb和平移向量Trgb，深度相机的旋转矩阵Rir和平移向量Tir；设P为世界坐标系下的一点，Prgb与Pir分别为P在彩色相机和深度相机下的投影坐标点，由小孔成像模型得到关系式：Prgb＝RrgbP+TrgbPir＝RirP+TirS22：设prgb和pir分别为该点在RGB像平面和深度像平面上的投影坐标，由相机的内参矩阵Argb和Air得到：prgb＝ArgbPrgbpir＝AirPirS23：深度摄像头的坐标和RGB摄像头的坐标不同，Prgb和Pir用一个旋转矩阵R和一个平移矩阵T联系起来，二者的关系为：Prgb＝RPir+TS24：由S21等式消去P得到：S25：联立S23和S24等式对应项相等得到R和T：S26：联立S22和S23等式，最终得到彩色图像像素点与深度图像像素点的对应关系为：3.根据权利要求1所述的一种联合彩色图像的RGB-D相机深度图像修复方法，其特征在于，所述步骤S3具体包括以下步骤：S31：根据对齐后的彩色相机和深度相机同时获取场景图像；S32：对原始深度数据进行量化，将深度值转换到灰度级0～255，量化公式如下：其中depth为量化后的深度值，Dp为每个像素点的深度值，Dmax为最大深...

【专利技术属性】
技术研发人员：张毅，戴健春，张瀚，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50