基于Kinect的无畸变集成成像三维显示方法技术

本发明专利技术公开了一种基于Kinect传感器的无畸变集成成像三维显示方法，首先利用Kinect传感器获取三维场景的深度图像，并采用快速步进法对Kinect获取的深度图像进行黑洞填充；然后结合对应的彩色图像对填充后的深度图像进行联合双边滤波，得到具有连续深度变化且边缘平滑的深度图像；最后利用光场模型得到大景深复杂场景的基元图像阵列，实现无畸变的三维集成成像显示。本发明专利技术获得的基元元素图像阵列，因是在没有散射和折射影响的理想状态，其图像品质优于通过微透镜阵列获得基元图像阵列。本发明专利技术不仅可以有效克服在记录大景深复杂场景时微透镜阵列的物理局限性，而且可以实现对大景深复杂场景的无畸变三维集成成像显示。

An undistorted integrated imaging 3D display method based on Kinect

The invention discloses a distortionless integral imaging method based on Kinect sensor, the first use of Kinect depth image sensor to obtain 3D scene, depth image and using fast marching method to obtain the Kinect of black hole filling; and then combined with the color image and the corresponding joint bilateral filtering of the depth image after filling, get the depth with the continuous changes of the depth of image and edge smoothing; elemental image array and finally get the great depth of complex scenes using the light field model, 3D imaging integrated display without distortion. The elemental element image array obtained by the invention is superior to the basic image array obtained by microlens array because of its ideal state without scattering and refraction. The invention not only can effectively overcome the physical limitation of the microlens array in recording the large depth of field complex scenes, but also can realize the distortion free three-dimensional integrated imaging display for the complex scenes with large depth of field.

【技术实现步骤摘要】
基于Kinect的无畸变集成成像三维显示方法
本专利技术涉及计算机视觉、三维重建及立体显示等
，特别是一种可适应大景深、复杂场景的集成成像三维显示方法。
技术介绍
随着光电器件和视频处理技术的发展，集成成像三维显示已成为下一代真三维显示技术的研究热点。较之全息三维显示，它具有相对较小的数据量、无需相干光源并且无苛刻的环境要求等特点，已成为目前国际上的前沿三维显示方式之一，也是最有希望实现三维电视的一种裸视真三维显示方式，其实现方案有两种，一种是采用多视方案，另一种是“纹理+深度”方案，然而这两种方案都存在一些缺陷。方案一利用微透镜阵列对三维空间场景进行记录，并再现出空间场景的三维技术。由于微透镜阵列的每个透镜从不同方向记录三维场景的部分信息，因此所记录的每个基元图像具有不同的视差信息。在显示过程中，根据光路可逆原理，利用与记录微透镜阵列具有同样参数的微透镜阵列再现三维空间的三维图像。然而，由于微透镜阵列的使用，记录的基元图像具有分辨率非常低、视角狭窄及可表示的深度范围非常小等缺点，这种微透镜阵列的物理局限性将会导致三维显示的可视化降低。方案二是利用彩色图像描述3D场景的纹理信息，用深度图像描述3D场景的深度信息，然后建立光场模型，生成元素图像阵列进行3D显示。由于Kinect传感器可以同时获取较好分辨率的彩色图像与深度图像，所以近些年被广泛地应用到了集成成像技术中，这样不仅保证了拍摄的实时性，也避免了微透镜阵列的物理局限性，可以很容易获取景深较大场景和复杂场景的光场信息。然而，Kinect传感器存在着一些不可避免的问题，其中有以下两个关键问题需要解决。第一个关键问题是，由于三维场景中物体表面材质的反射、光照以及遮挡等原因，Kinect传感器获取的深度图像中存在大量黑洞。尤其是在大景深复杂背景下，因Kinect传感器的红外线传感器无法捕捉物体表面反射的光线，故形成深度图像的黑洞区域，无法获得高质连续的深度图像。第二个关键问题是，由于Kinect传感器的深度相机和彩色相机之间的固有光学畸变，导致深度图像和彩色图像之间存在边缘非校准的问题。解决上述两个关键问题是基于Kinect传感器实现无畸变的集成成像三维显示的关键所在。近年来，很多学者都提出了有关深度图像的修复算法。其中一种类似彩色图像修复算法对深度图像直接进行黑洞填补，另一种是使用滤波器达到保边去噪的效果。例如Telea等人在文献[Animageinpaintingtechniquebasedonthefastmarchingmethod.journalofgraphics,gpu,andgametools,9(1):23–34,2004.]中提出一种快速步进法可有效地修复图像中的大面积黑洞区域，但这种方法没有考虑彩色图像对深度图像修复的作用，修复后的深度图像边缘部分与彩色图像依旧存在不匹配的问题。另外，Petsching等人在文献[Digitalphotographywithflashandno-flashimagepairs.ACMTrans.Graph.,23(3):664–672,2004.]中提出联合双边滤波器，结合彩色图像对深度图像进行图像去噪和边缘平滑，然而，当黑洞区域较大时，这种方法修复得到的深度图像依旧存在黑洞，其可用性极差。所以直接利用Kinect传感器获得的彩色图像和深度图像或者是简单方法修复的深度图像，建立光场模型也是很难实现无畸变的集成成像三维显示的。
技术实现思路
为解决现有技术存在的上述问题，本专利技术要设计一种不仅可以有效克服在记录大景深复杂场景时微透镜阵列的物理局限性，而且可以实现对大景深复杂场景的无畸变三维集成成像显示的基于Kinect传感器的无畸变集成成像三维显示方法。为了实现上述目的，本专利技术的技术方案如下：基于Kinect传感器的无畸变集成成像三维显示方法，包括以下步骤：A、标定及校准Kinect传感器获取的深度图像和彩色图像通过Kinect传感器同步获取目标场景的深度图像和彩色图像，并同时使用红外补光照射标定板对Kinect传感器的深度相机和彩色相机进行标定，结合标定结果通过坐标变换，对深度图像与彩色图像进行校准和裁剪，具体方法如下：A1、定义原始深度图像中的一点为点p，其坐标为(ud,vd)，对应的深度测量值为z0，根据式(1)得到点p真实的深度值z：z＝1/(c0×z0+c1)(1)其中c0和c1是两个常数。A2、通过式(2)将深度图像中坐标系中的点p(u,v)转换到世界坐标系，得到世界坐标系中的对应点p，记其坐标为(x,y,z)。其中fx和fy为深度相机在x和y方向的焦距，cx和cy为主点偏移。A3、通过式(3)利用Kinect传感器的彩色相机的外参，在世界坐标系中的点p(x,y,z)转换到彩色相机坐标系中，得到坐标为(xc,yc,zc)的点pc，所述的外参包括旋转矩阵R和平移矩阵t；pc＝R×p+t(3)A4、利用式(4)将彩色相机坐标系中的点pc转换到彩色图像坐标系，得到坐标为(uc，vc)的点q，点q即为深度图像中的点p(u,v)在彩色图像中的对应点。通过以上的坐标变换，将深度图像和彩色图像进行校准和裁剪使得两幅图像吻合并大小相等。B、使用快速步进法和联合双边滤波进行深度图像修复首先采用快速步进法对步骤A得到的深度图像进行黑洞填充；然后结合对应的彩色图像对填充后的深度图像进行联合双边滤波，得到具有连续深度变化且边缘平滑的深度图像。具体方法如下：B1、通过快速步进法进行深度图像黑洞填充快速步进法的基本思路是，先处理待修复区域边缘上的像素点，然后层层向内推进，直到修复完所有的像素点。主要包含两个过程：B11、以一个像素点的修复描述修复模型设深度图像中的待修复区域是Ω区域，指Ω区域的边缘；要修复Ω区域中的深度，需要计算出新的深度值来代替原值。现在假设点p是要修复的深度。以点p为中心选取一个小邻域B(p)，此邻域只考虑深度值已知的点而忽略深度值未知的点。假设点q为小邻域B(p)中的一点，由点q计算点p的深度值公式如下：这里的w(p,q)就是权值函数，用来限定小邻域中各像素的贡献大小的，由式(6)得到：其中，T(p)是距离图，几何距离因子wdst(p,q)使离点p越近的像素点对点p贡献越大；方向因子wdir(p,q)使越靠近法线方向▽T(p)的像素点对点p的贡献最大；水平集距离因子wlev(p,q)使离经过点p的待修复区域的轮廓线越近的已知像素点对点p的贡献越大。B12、按序处理待修复区域中的所有像素首先，找到待修复黑洞区域的边缘并对距离图中的距离值T进行初始化，令黑洞区域处T＝∞，外部已知区域和边缘上T＝0；然后将边缘点按T值从小到大升序排序，先处理T值最小的像素，假设是点p。点p选取边缘上的任意一点；然后根据式(5)对点p进行修复，并根据式(7)更新T值；其中，且z-x＝z(i,j)-z(i-1,j),z-y＝z(i,j)-z(i,j-1)，z(i,j)为(i,j)点的深度值。最后依次处理点p的四邻域点中的黑洞点，直到深度图像中没有黑洞。B2、利用联合双边滤波对深度图像进行边缘平滑经过快速步进法修复后的深度图像虽然不存在黑洞，但是图像中物体边缘仍然不平滑，本专利技术引入联合双边滤波，将Kinect传感本文档来自技高网...

【技术保护点】
基于Kinect传感器的无畸变集成成像三维显示方法，其特征在于：包括以下步骤：A、标定及校准Kinect传感器获取的深度图像和彩色图像通过Kinect传感器同步获取目标场景的深度图像和彩色图像，并同时使用红外补光照射标定板对Kinect传感器的深度相机和彩色相机进行标定，结合标定结果通过坐标变换，对深度图像与彩色图像进行校准和裁剪，具体方法如下：A1、定义原始深度图像中的一点为点p，其坐标为(u

【技术特征摘要】
1.基于Kinect传感器的无畸变集成成像三维显示方法，其特征在于：包括以下步骤：A、标定及校准Kinect传感器获取的深度图像和彩色图像通过Kinect传感器同步获取目标场景的深度图像和彩色图像，并同时使用红外补光照射标定板对Kinect传感器的深度相机和彩色相机进行标定，结合标定结果通过坐标变换，对深度图像与彩色图像进行校准和裁剪，具体方法如下：A1、定义原始深度图像中的一点为点p，其坐标为(ud,vd)，对应的深度测量值为z0，根据式(1)得到点p真实的深度值z：z＝1/(c0×z0+c1)(1)其中c0和c1是两个常数；A2、通过式(2)将深度图像中坐标系中的点p(u,v)转换到世界坐标系，得到世界坐标系中的对应点p，记其坐标为(x,y,z)；其中fx和fy为深度相机在x和y方向的焦距，cx和cy为主点偏移；A3、通过式(3)利用Kinect传感器的彩色相机的外参，在世界坐标系中的点p(x,y,z)转换到彩色相机坐标系中，得到坐标为(xc,yc,zc)的点pc，所述的外参包括旋转矩阵R和平移矩阵t；pc＝R×p+t(3)A4、利用式(4)将彩色相机坐标系中的点pc转换到彩色图像坐标系，得到坐标为(uc,vc)的点q，点q即为深度图像中的点p(u,v)在彩色图像中的对应点；通过以上的坐标变换，将深度图像和彩色图像进行校准和裁剪使得两幅图像吻合并大小相等；B、使用快速步进法和联合双边滤波进行深度图像修复首先采用快速步进法对步骤A得到的深度图像进行黑洞填充；然后结合对应的彩色图像对填充后的深度图像进行联合双边滤波，得到具有连续深度变化且边缘平滑的深度图像；具体方法如下：B1、通过快速步进法进行深度图像黑洞填充快速步进法的基本思路是，先处理待修复区域边缘上的像素点，然后层层向内推进，直到修复完所有的像素点；主要包含两个过程：B11、以一个像素点的修复描述修复模型设深度图像中的待修复区域是Ω区域，指Ω区域的边缘；要修复Ω区域中的深度，需要计算出新的深度值来代替原值；现在假设点p是要修复的深度；以点p为中心选取一个小邻域B(p)，此邻域只考虑深度值已知的点而忽略深度值未知的点；假设点q为小邻域B(p)中的一点，由点q计算点p的深度值公式如下：这里的w(p,q)就是权值函数，用来限定小邻域中各像素的贡献大小的，由式(6)得到：其中，T(p)是距离图，几何距离因子wdst(p,q)使离点p越近的像素点对点p贡献越大；方向因子wdir(p,q)使越靠近法线方向▽T(p)的像素点对点p的贡献最大；水平集距离因子wlev(p,q)使离经过点p的待修复区域的轮廓线越近的已知像素点对点p的贡献越大；B12、按序处理待修复区域中的所有像素首先，找到待修复黑洞区域的边缘并对距离图中的距离值T进行初始化，令黑洞区域处T＝∞，外部已知区域和边缘上T＝0；然后将边缘点按T值从小到大升序排序，先处理T值最小的像素，假设是点p；点p选取边缘上的任意一点；然后根据式(5)对点p进行修复，并根据式(7)更新T值；其中，|▽T|＝max(z-x,-z+x,0)2+max(z-y,-z+y,0)2且z-x＝z(i,j)-z(i-1,j),z-y＝z(i,...

【专利技术属性】
技术研发人员：朴永日，张淼，王晓慧，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁,21