一种Kinect v2深度图像无效点修复方法技术

本发明专利技术提供一种Kinect v2深度图像无效点修复方法。本发明专利技术方法，包括：S1：通过Kinect v2相机分别捕获同一场景中的多模态图像；S2:通过张正友相机标定方法完成Kinect v2中彩色相机和深度相机的内外参数的标定，进而完成彩色图像和原始深度图像的配准；S3：通过遍历原始深度图像完成原始深度图像中无效点的标记，统计无效点八邻域内有效深度值出现的频率，计算该频数下有效深度值的标准差，进而完成无效点填充优先级的评估；S4：计算无效点对应彩色图像中的像素点相似度最高的像素坐标，根据无效点填充的优先级修复所述像素坐标对应的深度图像无效点。本发明专利技术不仅能够修复原始深度图像中的无效点，而且能够提高修复结果的可靠性，可在图像处理领域广泛推广。

【技术实现步骤摘要】
一种Kinectv2深度图像无效点修复方法
本专利技术涉及图像处理领域，尤其涉及一种Kinectv2深度相机获取的深度图像中无效点修复方法。
技术介绍
深度相机作为一款新的传感器，它已被广泛应用于人机交互游戏、智能移动机器人、增强现实及三维模型重建等各个领域。其中最流行的是微软发布的Kinect系列的最新版本—Kinectv2。它同时集成了分辨率为1920*1080的彩色摄像机，高精度的红外光投射仪以及分辨率为512*424的深度成像仪。KinectV2使用TOF技术测量场景中物体的深度，该技术通过测量红外光发射和接受的时间差来计算相机平面和物体间的距离。相比于其他深度相机，尽管Kinectv2捕获的深度图像在精度与鲁棒性上有相对较高的可靠性，但它仍然存在一些局限性。根据Kinectv2的深度测量机制，Kinectv2获取的深度图像可能会含有三种不同类型的无效点(深度值为零的像素点)。(1)由于KinectV2深度相机视野扩大，造成返回的红外光强度减弱，进而导致深度成像仪无法捕获到返回的红外光，产生第一类无效点。(2)由于场景的遮挡，深度成像仪无法捕获到红外光，产生第二类无效点。(3)由于物体表面的反射率太低或深度相机与物体相距太近或太远，造成深度成像仪无法计算发射红外光与接受红外光之间的相位差，产生第三类无效点。由于深度图像中无效点的存在，在一定程度上降低了人机交互的真实感，三维重建模型的精度等问题，这一问题引起了国内外学者的广泛研究，并提出了很多关于深度图像修复的方法。这些方法基本可以分为两类：一类是基于彩色图像引导的修复方法；另一类是基于深度图像像素分布的修复方法。但现有技术的方法或多或少都存在不能大面积修复遮挡造成的无效点、不能很好地修复深度图像视野周围出现的无效点、不能很好地修复因深度相机视野扩大引起的无效点等弊端。
技术实现思路
根据上述提出的技术问题，而提供一种修复效果可靠的Kinectv2深度图像无效点修复方法。本专利技术采用的技术手段如下：一种Kinectv2深度图像无效点修复方法，包括如下步骤：S1：通过Kinectv2相机分别捕获同一场景中的多模态图像，所述多模态图像为彩色图像和原始深度图像；S2:通过张正友相机标定方法完成Kinectv2中彩色相机和深度相机的内外参数的标定，从而计算出彩色相机和深度相机坐标系之间的旋转矩阵和平移向量，进而完成彩色图像和原始深度图像的配准；S3：通过遍历原始深度图像完成深度图像中无效点的标记，计算无效点八邻域内有效深度值的频率，并计算该频率下有效深度值的标准差，进而完成无效点填充优先级的评估；S4：通过原始深度图像中的无效点索引对应的彩色图像像素点的像素值，同时索引无效点八邻域内有效深度值点对应的彩色图像像素点的真实像素值，进而计算无效点对应彩色图像中的像素点相似度最高的像素坐标，根据无效点填充的优先级修复所述像素坐标对应的深度图像无效点。进一步地，S1具体包括如下步骤：S101:搭建多模态图像采集系统；S102:同时启动Kinectv2中的彩色视频流和深度视频流，获取同一场景中的彩色和深度图像。进一步地，S2具体包括如下步骤：S201:通过Kinectv2相机同时获取同一时刻，同一位置的彩色和深度棋盘格图像；S202:利用Opencv3中张正友标定函数，分别完成彩色和深度相机的内外参数的标定，即计算彩色和深度相机的内参矩阵(Kc,Kd)和彩色相机的外参矩阵(Rc,Tc)、深度相机的外参矩阵(Rd,Td)；S203：根据相机成像原理，将图像坐标系与相机坐标系通过如下方程式进行转换：其中pc和pd分别表示彩色和深度图像中一点，Pc,Pd分别表示相应的彩色相机和深度相机坐标系下的对应点；S204：根据相机模型，任意两个坐标系之间的相对位置关系都可以通过旋转矩阵R和平移向量T描述，通过如下方程式进行转换：Pc＝RPd+T(3)其中公式(2)分别表示彩色相机坐标系，深度相机坐标系与世界坐标系之间的变换关系，公式(3)表示深度相机坐标系与彩色相机坐标系之间的关系，Pw表示世界坐标系下的任意一点，通过公式(1)，(2)，分别得到旋转矩阵R和平移向量T如下：通过公式(1)，(3)，(4)得出彩色图像与深度图像之间配准关系如下：通过公式(5),可以获取深度图像对应的彩色图像，即完成彩色和深度图像的配准及对齐。进一步地，S3具体包括如下步骤：S301：通过遍历原始深度图像中所有深度值为零的点完成深度图像中无效点的标记，具体表现为：通过二维向量保存无效点的坐标值；S302：通过无效点的标记坐标，计算无效点八邻域内有效深度值的概率p(d(s)|{d(s′)|s′∈Ωs&d(s′)＞0})，为了简化系统的时间复杂度，通过如下公式计算其等价的有效深度值出现的频率nv(s)，nv(s)＝N/Ωs(6)其中，N为无效点八邻域的有效深度值的个数，Ωs为无效深度点的八邻域。在频率nv(s)的基础上，通过如下公式计算无效点八邻域内有效深度值的标准差σd(s)：其中其中，d(s)表示深度图像中任意无效深度点s的深度像素值，d(s′)表示s八邻域内有效深度值点s′的深度像素值，ψs＝{s′|s′∈Ωs,d(s′)＞0}表示无效深度点s八邻域内有效深度值的集合，μd(s)表示无效深度点s八邻域内有效深度值的均值；S303：计算已标记的无效点八邻域内有效深度值出现的频率nv(s)，根据nv(s)和标准差σd(s)，通过如下公式计算无效点的优先级评估函数R(s)：其中，1/Cσ是归一化参数，该参数能够使σd(s)/Cσ处于[0,1]。首先,根据优先级评估函数R(s)，深度图像中的全部无效点都将按照从高到低分配修复秩序，然后，当优先级高的无效点被修复后，将改变其邻域无效点的优先级秩序，这意味着仅有很少无效点的优先级需要更新，这在一定程度上减少了系统的时间复杂度。进一步地，S4具体包括如下步骤：S401：利用Opencv3中的cvtColor函数将与深度图像对齐的RGB空间的彩色图像变换到Lab色彩空间；S402：根据S201-S204计算的彩色相机和深度相机的内参矩阵(Kc,Kd)及两相机之间的旋转矩阵R和平移向量T，得到深度图像中任一有效深度值对应的原始彩色图像的像素坐标的关系如下：其中(x,y)表示原始彩色图像中坐标，(u,v)表示原始深度图像中的坐标，Zc表示彩色相机与物体表面之间的距离，d表示深度相机与物体表面之间的距离；S403：假设无效点八邻域内任一有效深度值为该无效点的修复深度值，即：d(s)＝di(s′)，通过公式(10)分别计算出其对应原始彩色图像中的像素坐标，从而索引其对应的彩色像素值ci(s)，将ci(s)从RGB色彩空间变换到Lab色彩空间，分别在对齐的彩色图像上索引无效点八邻域内有效深度值点对应彩色图像中的真实彩色像素值ci(s′)，通过相似度度量关系，计算与无效点s对应彩色图像中的像素点相似度最高的像素坐标，相似度度量关系如下：其中ψs＝{s′|s′∈Ωs,d(s′)＞0}表示无效深度点s八邻域内有效深度值的集合，ci(s)[L],ci(s)[a],ci(s)[b]分别表示彩色像素值ci(s)在L,a,b三个通道上的像素值，ci(s′)[L],ci(s′)本文档来自技高网...

【技术保护点】
1.一种Kinect v2深度图像无效点修复方法，其特征在于，包括如下步骤：S1：通过Kinect v2相机分别捕获同一场景中的多模态图像，所述多模态图像为彩色图像和原始深度图像；S2:通过张正友相机标定方法完成Kinect v2中彩色相机和深度相机的内外参数的标定，从而计算出彩色相机和深度相机坐标系之间的旋转矩阵和平移向量，进而完成彩色图像和原始深度图像的配准；S3：通过遍历原始深度图像完成原始深度图像中无效点的标记，统计无效点八邻域内有效深度值的出现的频率，计算该频率下有效深度值的标准差，进而完成无效点填充优先级的评估；S4：通过原始深度图像中的无效点索引对应的彩色图像像素点的像素值，同时索引无效点八邻域内有效深度值点对应的彩色图像像素点的真实像素值，进而计算无效点对应彩色图像中的像素点相似度最高的像素坐标，根据无效点填充的优先级修复所述像素坐标对应的深度图像无效点。

【技术特征摘要】
1.一种Kinectv2深度图像无效点修复方法，其特征在于，包括如下步骤：S1：通过Kinectv2相机分别捕获同一场景中的多模态图像，所述多模态图像为彩色图像和原始深度图像；S2:通过张正友相机标定方法完成Kinectv2中彩色相机和深度相机的内外参数的标定，从而计算出彩色相机和深度相机坐标系之间的旋转矩阵和平移向量，进而完成彩色图像和原始深度图像的配准；S3：通过遍历原始深度图像完成原始深度图像中无效点的标记，统计无效点八邻域内有效深度值的出现的频率，计算该频率下有效深度值的标准差，进而完成无效点填充优先级的评估；S4：通过原始深度图像中的无效点索引对应的彩色图像像素点的像素值，同时索引无效点八邻域内有效深度值点对应的彩色图像像素点的真实像素值，进而计算无效点对应彩色图像中的像素点相似度最高的像素坐标，根据无效点填充的优先级修复所述像素坐标对应的深度图像无效点。2.根据权利要求1所述的Kinectv2深度图像无效点修复方法，其特征在于，S1具体包括如下步骤：S101:搭建多模态图像采集系统；S102:同时启动Kinectv2中的彩色视频流和深度视频流，获取同一场景中的彩色和深度图像。3.根据权利要求2所述的Kinectv2深度图像无效点修复方法，其特征在于，S2具体包括如下步骤：S201:通过Kinectv2相机同时获取同一时刻，同一位置的彩色和深度棋盘格图像；S202:利用Opencv3中张正友标定函数，分别完成彩色和深度相机的内外参数的标定，即计算彩色和深度相机的内参矩阵(Kc,Kd)和彩色相机的外参矩阵(Rc,Tc)、深度相机的外参矩阵(Rd,Td)；S203：根据相机成像原理，将图像坐标系与相机坐标系通过如下方程式进行转换：其中pc和pd分别表示彩色和深度图像中一点，Pc,Pd分别表示相应的彩色相机和深度相机坐标系下的对应点；S204：根据相机模型，任意两个坐标系之间的相对位置关系都可以通过旋转矩阵R和平移向量T描述，通过如下方程式进行转换：Pc＝RPd+T(3)其中公式(2)分别表示彩色相机坐标系，深度相机坐标系与世界坐标系之间的变换关系，公式(3)表示深度相机坐标系与彩色相机坐标系之间的关系，Pw表示世界坐标系下的任意一点，通过公式(1)，(2)，分别得到旋转矩阵R和平移向量T如下：通过公式(1)，(3)，(4)得出彩色图像与深度图像之间配准关系如下：通过公式(5)，获取深度图像对应的彩色图像，即完成彩色和深度图像的配准及对齐。4.根据权利要求3所述的Kinectv2深度图像无效点修复方法，其特征在于，S3具体包括如下步骤：S301：通过遍历原始深度图像中所有深度值为零的点完成深度图像中无效点的标记，具体表现为：通过二维向量保存无效点的坐标值；S302：通过...

【专利技术属性】
技术研发人员：陈东岳，熊新立，张武卫，贾同，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21