一种保留边界特征的深度图像增强方法技术

本发明专利技术公开的一种保留边界特征的深度图像增强方法，属于深度图像处理领域。本发明专利技术实现方法为：对彩色相机和深度相机进行标定，获得像素一一对应的彩色‑深度图像组；对深度图像进行中值滤波处理，得到深度值可靠的深度图像。获取深度值可靠的深度图像的空洞掩模，并运用Sobel梯度变换确定空洞的边界方向。对得到的彩色图像和空洞掩模进行定向联合双边滤波，得到增强后的深度图像。计算增强后深度图像的空洞像素百分比HPP；对深度值可靠的深度图像进行迭代滤波，得到深度图像中空洞区域的深度值，并对深度图像中空洞区域进行填充。通过迭代条件判断，实现对深度图像去噪和空洞填充，输出能保持画质清晰和特征完整的最终增强深度图像。

A depth image enhancement method preserving boundary features

The invention discloses a depth image enhancement method preserving boundary features, which belongs to the field of deep image processing. The realization method of the invention is as follows: the color camera and the depth camera are calibrated to obtain the one to one pixel corresponding color depth image group, and the depth image is processed by median filtering to obtain the depth image with reliable depth value. We obtain the depth value of the hole mask of the reliable depth image, and use the Sobel gradient transform to determine the boundary direction of the hole. Directional and bilateral filtering of the obtained color images and cavity masks is carried out to obtain the enhanced depth images. The percentage of the void pixels in the enhanced depth image is calculated by HPP, and the depth image of the depth is iteratively filtered to get the depth of the hole in the depth image, and the hole area in the depth image is filled. Through iterative conditional judgement, the deep image denoising and cavity filling are realized, and the final enhanced depth image with clear picture quality and complete feature can be output.

【技术实现步骤摘要】
一种保留边界特征的深度图像增强方法
本专利技术属于深度图像处理领域，特别是涉及一种保留边界特征的深度图像增强方法。
技术介绍
近年来，立体成像技术得到快速发展，其中包含场景深度信息的深度图像作为环境感知、场景理解的重要线索，在计算机视觉领域得到广泛应用，如：机器人导航、人机交互、三维场景重建等。目前，获取深度信息的传感器主要有两种：一种是基于ToF技术的深度传感器，另一种是基于结构光技术的深度传感器。基于ToF技术的深度传感器利用特定频率的脉冲光在空间中的飞行时间测量空间距离。该技术存在获取的深度图像分辨率低，且环境光可以使传感器饱和，导致部分深度信息丢失，出现空洞等缺点。基于结构光技术的深度传感器向空间中投射特定的图案，通过分析接收到的图案的变形，测量空间深度信息。该技术主要缺点是测量距离短，深度图像易受环境光干扰，且遮挡、空间物体表面反射率以及空间不连续性导致深度图像出现噪声和空洞。因此，利用深度传感器获取的深度图像普遍含有噪声和空洞。为此，对于含有噪声和空洞的深度图像，需要应用深度图像增强方法。目前的深度图像增强方法主要存在空洞处深度值填充不准确和物体边缘保留特性差的缺陷，比如本文档来自技高网...

【技术保护点】
一种保留边界特征的深度图像增强方法，其特征在于：包括如下步骤：步骤一、分别对彩色相机和深度传感器进行标定，并得到彩色图像和深度图像中相同行和列位置像素相对应的彩色‑深度图像组；利用彩色相机拍摄到的彩色图像和深度传感器获取的同一场景的深度图像对彩色相机和深度相机进行标定，并得到彩色图像和深度图像中相同行和列位置像素相对应的彩色‑深度图像组；步骤二、利用中值滤波对步骤一中得到的深度图像进行滤波处理，得到深度值可靠的深度图像；步骤三、获取步骤二中得到深度值可靠的深度图像的空洞掩模，并确定空洞的边界方向；步骤四、对步骤一得到的彩色图像和步骤三得到的空洞掩模进行定向联合双边滤波，得到增强后的深度图像；步...

【技术特征摘要】
1.一种保留边界特征的深度图像增强方法，其特征在于：包括如下步骤：步骤一、分别对彩色相机和深度传感器进行标定，并得到彩色图像和深度图像中相同行和列位置像素相对应的彩色-深度图像组；利用彩色相机拍摄到的彩色图像和深度传感器获取的同一场景的深度图像对彩色相机和深度相机进行标定，并得到彩色图像和深度图像中相同行和列位置像素相对应的彩色-深度图像组；步骤二、利用中值滤波对步骤一中得到的深度图像进行滤波处理，得到深度值可靠的深度图像；步骤三、获取步骤二中得到深度值可靠的深度图像的空洞掩模，并确定空洞的边界方向；步骤四、对步骤一得到的彩色图像和步骤三得到的空洞掩模进行定向联合双边滤波，得到增强后的深度图像；步骤五、对步骤二得到深度值可靠的深度图像的空洞掩模进行空洞像素百分比计算；步骤六、对步骤二得到深度值可靠的深度图像进行迭代滤波，得到深度图像中空洞区域的深度值，并对深度图像中空洞区域进行填充；步骤七、进行迭代条件判断，实现对深度图像去噪和空洞填充，输出能保持画质清晰和特征完整的最终增强深度图像。2.如权利要求1所述的一种保留边界特征的深度图像增强方法，其特征在于：步骤三具体实现方法为，对步骤二中得到深度值可靠的深度图像进行空洞区域提取得到空洞掩模，并进行Sobel梯度变换得到空洞的边界方向；通过对深度图像进行空洞提取获得空洞区域图像，空洞区域图像主要有两部分组成：空洞区域(holeregion)和非空洞区域(non-holeregion)；把空洞区域设置为0，非空洞区域设置为1，得到如式(1)的空洞掩模：同时，对深度图像进行Sobel梯度变换，得到边界方向θ，如式(2)所示θ＝tan-1(gx/gy)(2)其中，gx为水平方向梯度，gy为垂直方向梯度。3.如权利要求2所述的一种保留边界特征的深度图像增强方法，其特征在于：步骤四具体实现方法为，在联合双边滤波器的基础上进行改进得到如式(3)所示的定向联合双边滤波器D(p)，利用定向联合双边滤波器对步骤三得到的空洞掩模进行定向联合双边滤波，得到增强后的深度图像；公式(3)中p、q为像素，wp是滤波模板权值和，即：其中，Φp是以p点像素为中心，半径为r的滤波窗口，即：Φp＝{q＝(qx,qy)|px-r≤qx≤px+r&&py-r≤qy≤py+r}(5)式(3)中为定向高斯滤波核，如式(6)所示：

【专利技术属性】
技术研发人员：曹杰，郝群，周自顾，徐成强，张韶辉，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京,11