一种基于Kinect相机的多视点深度视频复原方法技术

本发明专利技术公开了一种基于Kinect相机的多视点深度视频复原方法，属于图像处理和计算机视觉领域。搭建多视点Kinect相机成像系统进行多视点深度视频采集，建立深度计算重建模型，并构建高性能求解算法以获得高质量多视点深度视频。系统容易构建，用Kinect相机即可完成多视点深度视频的复原；程序简单，易于实现；利用采集到的彩色纹理图像、多视点图像、和视频帧间信息建立多视点深度视频计算重建模型，使得恢复结果更加精确；利用求导的方式推导出定点迭代滤波算法，避免了采用最小二乘求解大规模矩阵求逆的问题，算法运行速度快，迭代次数少。

【技术实现步骤摘要】

本专利技术属于图像处理和计算机视觉领域，涉及采用多视点空域-时域信息对Kinect深度相机的深度图建模，并推导定点迭代滤波优化算法。具体涉及一种基于Kinect相机的多视点深度视频复原方法。
技术介绍
现阶段，利用二维(2D)图像来表达场景已经不能满足人们的视觉要求，而具有“真实感”和“沉浸感”的三维电视技术(3DTV)已经成为新的发展方向。3DTV技术大多以多路不同视点的视频为输入，需要多视点视频的采集、处理、压缩、传输等一系列技术作为支撑。为获得舒适的视觉效果，不仅要求每一路视点的视频具有较高的空时分辨率，同时也要求视点的分布比较稠密。多摄像机系统采集与表示方式所需传输和存储的庞大数据量成3DTV系统推向应用的主要瓶颈。针对上述问题，目前国内外均采用双路视频加深度信息的表示方式，即除普通彩色视频之外还配以相应视点的深度图序列，从而可以由少数几个视点的视频通过虚拟视点绘制方法合成稠密的多视点视频。这种表示方式避免了多视点视频固有的庞大数据量的问题。所以，深度图的获取方式，以及得到的深度的完整性和准确性成为了3DTV技术的关键。目前，微软研发的第二代Kinect深度相机是市面上深度精度最高的设备。但是，它的深度成像质量还难以满足应用需求：Kinect深度相机的深度分辨率低于主流工业相机的空间分辨率，且在深度跳跃区域(例如物体的边缘与轮廓)产生很多空洞。这些深度成像的缺陷给实际应用带来了很大的障碍。现有方法通常采用联合纹理深度滤波的方式来提高深度质量。该方法利用彩色纹理图和深度图的结构相关性进行空间滤波权重预测，并利用光流估计和图像块相似度匹配寻找时域帧间像素的匹配并计算出时域滤波权重，最后在低分辨率的深度视频上进行三维(空域+时域)滤波。此方法可以在保证深度恢复质量同时，消除了深度视频在时域的闪烁问题(Min,D.,Lu,J.,Do,M.:Depth video enhancement based on joint global mode filtering.IEEE TIP 21(3),2012,1176-1190)；但是，局部的滤波方式没有利用图像的全局信息，使得系数预测变得困难，而且采用简单的光流和块匹配方法不能保证视频中运动区域的物体在深度边缘处维持锋利。一些研究人员利用自回归模型对深度图进行全局建模，采用非局部相关性进行系数预测，并利用最小二乘求解得到深度单帧图像复原结果(J.Yang,X.Ye,K.Li,C.Hou,and Y.Wang,“Color-guided depthrecovery from rgb-d data using an adaptive autoregressive model.”IEEETIP,vol.23,no.8,pp.3443–3458,2014)；但是，算法速度慢，对于多视点深度视频的复原并没有给出相应的解决方案。
技术实现思路
本专利技术旨在克服现有技术的不足，提供了一种基于Kinect相机的多视点深度视频复原方法，即搭建多视点Kinect相机成像系统进行多视点深度视频采集，建立深度计算重建模型，并构建高性能求解算法以获得高质量多视点深度视频。本专利技术的具体技术方案为，一种基于Kinect相机的多视点深度视频复原方法，包括下列步骤：1)标定每个Kinect相机的内部参数和外部参数；内部参数包括焦距、光心；外部参数包括旋转、平移；将多视点的低分辨率深度视频扭转到同一相机的彩色视角下，得到多视点的初始低质量深度视频；2)构建数据项：以概率方式融合多视点的初始低质量深度视频的深度信息构建数据项；3)构建平滑项：应用步骤1)中当前相机的高分辨率彩色视频，得到相邻帧间像素的时域对应关系，并计算帧内像素间的空域相似度，以概率方式融合初始低质量深度视频的时域和空域信息构建平滑项；4)联合数据项和平滑项建立能量方程，应用定点迭代滤波算法进行求解，得到高质量多视点深度视频。数据项的建立，具体包括以下步骤：2-1)对于第i个Kinect相机Ki采集并扭转视角得到的初始低质量深度图计算每个像素p对应的融合权重公式如下： h p i = 0 D p i ~ = 0 exp ( - d / σ ) D p i ~ ≠ 0 ]]>式中，exp(·)为指数函数，d为相邻相机彩色摄像头光心间的距离，σ为指数函数的调控参数，取值范围为4.0～6.0；为像素p的深度值；2-2)结合2-1)中得到的融合权重hi，以概率方式融合采集的初始低质量深度图建立数据项，公式如下： E d a t a ( D ) = Σ i Σ p h p i ( D p - D p i ~ ) 2 ]]>式中，Edata(·)为数据项的能量函数，D为待求的当前深度帧，Dp为当前深度帧D在p点的像素值。平滑项的建立，具体包括以下步骤：3-1)利用彩色图像本文档来自技高网...

【技术保护点】
一种基于Kinect相机的多视点深度视频复原方法，其特征在于，包括下列步骤：1)标定每个Kinect相机的内部参数和外部参数；将多视点的低分辨率深度视频扭转到同一相机的彩色视角下，得到多视点的初始低质量深度视频；2)构建数据项：以概率方式融合多视点的初始低质量深度视频的深度信息构建数据项；3)构建平滑项：应用步骤1)中当前相机的高分辨率彩色视频，得到相邻帧间像素的时域对应关系，并计算帧内像素间的空域相似度，以概率方式融合初始低质量深度视频的时域和空域信息构建平滑项；4)联合数据项和平滑项建立能量方程，应用定点迭代滤波算法进行求解，得到高质量多视点深度视频。

【技术特征摘要】
1.一种基于Kinect相机的多视点深度视频复原方法，其特征在于，包括下列步骤：1)标定每个Kinect相机的内部参数和外部参数；将多视点的低分辨率深度视频扭转到同一相机的彩色视角下，得到多视点的初始低质量深度视频；2)构建数据项：以概率方式融合多视点的初始低质量深度视频的深度信息构建数据项；3)构建平滑项：应用步骤1)中当前相机的高分辨率彩色视频，得到相邻帧间像素的时域对应关系，并计算帧内像素间的空域相似度，以概率方式融合初始低质量深度视频的时域和空域信息构建平滑项；4)联合数据项和平滑项建立能量方程，应用定点迭代滤波算法进行求解，得到高质量多视点深度视频。2.根据权利要求1所述的一种基于Kinect相机的多视点深度视频复原方法，其特征在于，步骤2)中数据项的建立，具体包括以下步骤：2-1)对于第i个Kinect相机Ki采集并扭转视角得到的初始低质量深度图计算每个像素p对应的融合权重公式如下： h p i = 0 D p i ~ = 0 exp ( - d / σ ) D p i ~ ≠ 0 ]]>式中，exp(·)为指数函数，d为相邻相机彩色摄像头光心间的距离，σ为指数函数的调控参数，取值范围为4.0～6.0；为像素p的深度值；2-2)结合2-1)中得到的融合权重hi，以概率方式融合采集的初始低质量深度图建立数据项，公式如下： E d a t a ( D ) = Σ i Σ p h p i ( D p - D p i ~ ) 2 ]]>式中，Edata(·)为数据项的能量函数，D为待求的当前深度帧，Dp为当前深度帧D在p点的像素值。3.根据权利要求2所述的一种基于Kinect相机的多视点深度视频复原方法，其特征在于，步骤3)中平滑项的建立，具体包括以下步骤：3-1)利用彩色图像I，对其中的每一点像素p，采用Lucas-Kanade光流算法粗略寻找相邻帧中的对应像素3-2)采用Approximate K-Nearest Neighbors结构在像素周围邻域内寻找最优的匹配像素点pt，邻域大小为ω×ω；匹配相似度的计算方式如下公式所示： S ( P p , P p t ) = Σ q ∈ N ( p ) , q t ∈ N ( p t ) | I q - I q t t | ]]>式中，Pp为以像素p为中心的图像块，为以像素pt为中心的图像块，q和qt分别为p和pt邻域N(p)和N(pt)中的像素，图像块大小和邻域大小均为ω1×ω1；Iq和为像素q和qt对应的彩色值；3-3)利用求得的匹配相似度计算时域相似度权重公式如下： ω p , p t = 1 N exp S ( P p , P p t ) σ p ]]>式中，N为归一化因子，等于邻域权重之和；σp为指数函数的调控参数；3-4)利用当前帧的彩色图，采用非均值局部滤波的方式计算空域相似度权重3-5)结合3-3)和3-4)中得到的时域相似度权重空域相似度权重以概率方式融合视频相邻的深度帧信息构建平滑项，公式如下： E s m o o t h ( D ) = Σ p ( D p - Σ t ω p , p t Σ q t ∈ N ( p t ) ω p t , q t D q t t ) 2 ]]>式中，Esmooth(·)为平滑项的能量函数，t为当前帧的相邻帧，为第t帧在像素qt上的深度值，N(pt)为像素pt的邻域，大小为ω2×ω2。4.根据权利要求3所述的一种基于Kinect相机的多视点深度视频复原方法，其特征在于，步骤4)具体包括以下步骤：4-1)引入平衡因子λ将数据项和平滑项结合为如下能量方程： m i n D E d a t a ( D ) + λE s m o o t h ( D ) ]]>式中，min为求取能量方程的最小值；4-2)对4-1)中的能量方程进行求导并置零，方程如下： ∂ E ∂ D p = ∂ E d a t a ∂ D p + ∂ E s m o o t h ∂ D p = 0 ]]>利用求导来求得最优的深度值结果： D p = Σ i h p i D p i ~ + λΣ t ω p , p t ( Σ q t ...

【专利技术属性】
技术研发人员：叶昕辰，李豪杰，樊鑫，罗钟铉，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：辽宁;21