TOF相机的深度图像增强方法技术

本发明专利技术涉及一种TOF相机的深度图像增强方法，属于深度图像处理方法。将深度图像首先进行噪声抑制处理，然后利用图像中的像素间距离和边缘方向信息，对低分辨率的TOF深度图像进行插值放大。本发明专利技术提高了深度图像分辨率，改善了深度图像视觉质量，可以应用于TOF相机等采集的深度图像增强场合，其中的深度图像插值算法也可推广应用于其它图像的插值放大场合。

Depth image enhancement method for TOF camera

The invention relates to a depth image enhancement method for a TOF camera, which belongs to a depth image processing method. The depth image is firstly processed by noise suppression, and then the low resolution TOF depth image is interpolated and enlarged by using the distance between pixels and the edge direction information. The invention improves the depth image resolution improved depth image visual quality, enhance the occasion depth image can be applied to TOF camera acquisition, depth image interpolation algorithms which can be applied to other image interpolation amplification occasions.

【技术实现步骤摘要】
TOF相机的深度图像增强方法
本专利技术涉及一种对TOF相机采集的深度图像进行增强的方法，特别涉及一种利用图像中像素间距离和边缘方向信息进行TOF深度图像插值放大的方法。
技术介绍
深度图像中的每一个像素表示场景中的某个点到相机成像平面的距离，它描述三维场景的几何信息，一直是计算机视觉领域的研究的重点和热点。基于飞行时间(TOF)原理的三维测距相机，通过测量主动光线发射到物体表面后反射回来的时间差计算出物体表面的距离信息，可以实时地采集到物体表面的三维几何信息，是对传统三维信息获取方法的一种突破,势必促进相关领域的发展。与立体视觉技术相比,其不受基线长度限制,成像速度快,受纹理影响小；与扫描激光雷达相比,其成像速度快、体积小。TOF三维相机获取的深度信息可以应用于人机交互、3D重建、导航、测距、3D自由视频等诸多领域。由此可见，TOF三维相机获取的深度信息起着举足轻重的作用，深度图像的质量对于后续工作的处理效果具有很大的影响。高质量的深度图为更加精细的人机交互奠定基础。但TOF相机所获得深度图像有以下的一些缺陷：深度图像的分辨率远不及普通彩色图像的分辨率；深度图像的深度值受到显著的噪声干扰；深度图像在物体的边缘处的深度值易出现误差。这些缺陷给TOF相机的市场推广与应用带来了一些限制。因此，针对TOF相机深度图像分辨率较低，深度值受噪声干扰显著等问题，研究深度图像的增强技术，提高TOF深度图像质量具有重要意义。
技术实现思路
本专利技术提出一种TOF相机的深度图像增强方法，目的是提高深度图像分辨率，改善深度图像视觉质量。本专利技术采取的技术方案是，包括下列步骤：(一)、利用图像平均法对TOF相机采集的深度图像进行噪声抑制，改善深度图像质量；(二)利用图像中的像素间距离和边缘方向信息，对低分辨率的TOF深度图像进行插值放大，提高深度图像分辨率，设深度图像插值放大为原来分辨率的N×N倍，首先进行2倍插值放大；这一过程包括两个部分：一是判断低分辨率深度图像中各像素属于边缘区域还是平滑区域；二是根据判断结果，采用不同的插值方法，步骤如下：(1).判断低分辨率深度图像中各像素是否属于边缘区域以低分辨率图像像素点(i,j)为中心的3×3邻域做为边缘检测窗口，利用四个方向模板检测该像素是否属于边缘区域，并检测出边缘方向；W1、W2、W3、W4是分别检测0°、45°、90°、135°方向边缘的3×3模板，具体形式如下：检测模板与3×3边缘检测窗口的卷积值R为：Rm＝f(i-1,j-1)·Wm(1,1)+f(i-1,j)·Wm(1,2)+f(i-1,j+1)·Wm(1,3)+f(i,j-1)·Wm(2,1)+f(i,j)·Wm(2,2)+f(i,j+1)·Wm(2,3)+f(i+1,j-1)·Wm(3,1)+f(i+1,j)·Wm(3,2)+f(i+1,j+1)·Wm(3,3)m∈{1,2,3,4}(1)设定边缘检测阈值T，将|Rm|的最大值与T进行比较：当max(|Rm|)>T时，像素点(i,j)属于边缘区域，|Rm|最大值对应的方向即为边缘方向；当max(|Rm|)≤T时，该像素点属于平滑区域；(2).如果像素点(i,j)属于平滑区域，采用如下公式计算A、B、C三个待插值像素值：(3).如果像素点(i,j)属于边缘区域，根据边缘方向，利用如下公式计算A、B、C三个待插值像素点的值：其中，αK为插值过程中3×3白色像素点参与运算的加权系数。本专利技术利用待插值像素与周围3×3像素的距离信息和3×3像素邻域中的边缘方向确定加权系数；其中，αK_Dis为基于距离的加权系数，为基于边缘方向的加权系数；1)αK_Dis：待插值像素与3×3窗口中白色像素点的距离越近，其像素值的权重越大，计算待插值像素与3×3窗口中白色像素的欧式距离平方值，用其倒数作为权重系数，即：K∈{A,B,C}(7)其中，De为欧式距离，对于像素p和q，坐标分别为(x,y)和(s,t)，p和q之间的欧式距离定义如下：De(p,q)＝[(x-s)2+(y-t)2]1/2(8)2)为了保持插值图像的边缘清晰，根据边缘方向选择部分邻域像素参与插值运算，采用3×3的二值mask矩阵标明参与插值运算的像素位置，即mask矩阵中“1”对应的像素参与插值运算，在四种边缘方向下，计算A、B、C待插值像素值所采用的形式分别如下：(4).对低分辨率深度图像中的所有像素重复执行以上步骤，完成每个像素所对应的待插值像素A、B、C的插值，即可获得放大2倍的插值目标图像；(三)当放大倍数N是2的整数次幂，即N＝2k，k为正整数，将步骤(二)中迭代k次，即可获得相应的插值图像；当放大倍数不是2的整数次幂，即2k-1<N<2k，则先将步骤(二)中迭代k次，获得放大倍数为2k的图像，再按照公式(10)进行降采样即可获得放大倍数为N的图像；其中，g(i,j)为降采样的图像，插值放大倍数为原来TOF相机采集深度图像的N倍。本专利技术提出的利用图像中像素间距离和边缘方向信息进行TOF深度图像插值方法，与其他深度图像插值方法相比，本专利技术的深度图像插值方法具有显著的技术效果：(1)传统深度图像插值算法中，最近邻插值是利用最邻近的1个像素点进行插值，算法思想简单，速度相当快，但是容易产生马赛克现象；双线性插值是利用4个邻近像素插值，计算复杂度稍微大些，克服了马赛克现象，但是会造成深度边缘过度平滑；双三次插值是利用周围16个邻近像素插值，更好地保持了边缘结构，但是计算较复杂。本专利技术提出的方法利用周围9个邻近像素插值，计算复杂度比双三次插值降低，但可以获得更好的插值效果。(2)对于深度图像的边缘区域和平滑区域，采用不同的插值算法，既能减少运算量又能保证插值质量。在边缘区域像素的插值过程中，同时考虑待插值像素与周围3×3已知像素的距离和边缘方向两个因素，自适应改变参与插值的像素和权重系数，能够更好地保持插值图像边缘特征，获得良好的插值效果。本专利技术提高了深度图像分辨率，改善了深度图像视觉质量，可以应用于TOF相机等采集的深度图像增强场合，其中的深度图像插值算法也可推广应用于其它图像的插值放大场合。附图说明图1是2倍放大的目标图像示意图；图2是2倍放大的目标图像简化示意图；图3是实验场景示意图；图4是TOF相机采集的深度图像；图5是图像平均后的深度图像；图6是本专利技术方法2倍插值后的深度图像；图7是不同插值方法8倍放大的深度图像；图中(a)本专利技术插值方法，(b)最近邻插值方法，(c)双线性插值方法，(d)双三次插值方法，每个部分边上的小图是大图中的局部放大图。具体实施方式包括下列步骤：(一)、利用图像平均法对TOF相机采集的深度图像进行噪声抑制，改善深度图像质量；(二)利用图像中的像素间距离和边缘方向信息，对低分辨率的TOF深度图像进行插值放大，提高深度图像分辨率，设深度图像插值放大为原来分辨率的N×N倍，首先进行2倍插值放大；这一过程包括两个部分：一是判断低分辨率深度图像中各像素属于边缘区域还是平滑区域；二是根据判断结果，采用不同的插值方法；图1为2倍放大后的目标图像，白色像素点来自低分辨率源图像，黑色像素点为高分辨率目标图像中的待插值像素点，本方法就是利用以(i,j)为中心的3×3窗口中9个白色像素值本文档来自技高网...

【技术保护点】
一种TOF相机的深度图像增强方法，其特征在于包括下列步骤：(一)、利用图像平均法对TOF相机采集的深度图像进行噪声抑制，改善深度图像质量；(二)利用图像中的像素间距离和边缘方向信息，对低分辨率的TOF深度图像进行插值放大，提高深度图像分辨率，设深度图像插值放大为原来分辨率的N×N倍，首先进行2倍插值放大；这一过程包括两个部分：一是判断低分辨率深度图像中各像素属于边缘区域还是平滑区域；二是根据判断结果，采用不同的插值方法，(三)当放大倍数N是2的整数次幂，即N＝2

【技术特征摘要】
1.一种TOF相机的深度图像增强方法，其特征在于包括下列步骤：(一)、利用图像平均法对TOF相机采集的深度图像进行噪声抑制，改善深度图像质量；(二)利用图像中的像素间距离和边缘方向信息，对低分辨率的TOF深度图像进行插值放大，提高深度图像分辨率，设深度图像插值放大为原来分辨率的N×N倍，首先进行2倍插值放大；这一过程包括两个部分：一是判断低分辨率深度图像中各像素属于边缘区域还是平滑区域；二是根据判断结果，采用不同的插值方法，(三)当放大倍数N是2的整数次幂，即N＝2k，k为正整数，将步骤(二)中迭代k次，即可获得相应的插值图像；当放大倍数不是2的整数次幂，即2k-1<N<2k，则先将步骤(二)中迭代k次，获得放大倍数为2k的图像，再按照公式(10)进行降采样即可获得放大倍数为N的图像；其中，g(i,j)为降采样的图像，插值放大倍数为原来TOF相机采集深度图像的N倍。2.根据权利要求1所述的一种TOF相机的深度图像增强方法，其特征在于步骤(二)中判断低分辨率深度图像中各像素是否属于边缘区域的步骤如下：以低分辨率图像像素点(i,j)为中心的3×3邻域做为边缘检测窗口，利用四个方向模板检测该像素是否属于边缘区域，并检测出边缘方向；W1、W2、W3、W4是分别检测0°、45°、90°、135°方向边缘的3×3模板，具体形式如下：检测模板与3×3边缘检测窗口的卷积值R为：Rm＝f(i-1,j-1)·Wm(1,1)+f(i-1,j)·Wm(1,2)+f(i-1,j+1)·Wm(1,3)+f(i,j-1)·Wm(2,1)+f(i,j)·Wm(2,2)+f(i,j+1)·Wm(2,3)+f(i+1,j-1)·Wm(3,1)+f(i+1,j)·Wm(3,2)+f(i+1,j+1)·Wm(3,3)m∈{1,2,3,4}(1)设定边缘检测阈值T，将|Rm|的最大值与T进行比较：当max(|Rm|)>T时，像素点(i,j)属于边缘区域，|Rm|最大值对应的方向即为边缘方向；当max(|Rm|)≤T时，该像素点属于平滑区域。3.根据权利要求1所述的一种TOF相机的深度图像增强方法，其特征在于步骤(二)中根据判断结果，采用不同的插值方法，步骤如下：如果像素点(i,j)属于平滑区域，采用如下公式计算A、B、C三个待插值像素值：

【专利技术属性】
技术研发人员：王宇，朴燕，孙荣春，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：吉林,22