一种基于Kinect的增强现实三维注册方法技术

本发明专利技术公开一种基于Kinect的增强现实三维注册方法，采用融合RGB‑D信息的深度图像修复方法，解决了由深度图中空洞、抖动以及边缘不稳定等问题造成的标定和图像对齐误差，为后续三维注册的精确度提供了保证；采用基于深度直方图的近景模式自动判断方法，非近景模式下，采用基于Fast ICP的三维注册方法计算摄像机位姿；近景模式下，采用融合Fast ICP(Fast Iterative Closest Point)和ORB(Oriented FAST and Rotated BRIEF)的三维注册方法计算摄像机位姿，解决了由于硬件限制造成的注册失败问题，不论是非近景模式还是近景模式都能获得精确、稳定的三维注册结果。本发明专利技术算法复杂度低，易理解，易实现，不受光照和复杂场景的影响，满足增强现实系统实时性要求，能够解决互遮挡问题。

An Augmented Reality 3D Registration Method Based on Kinect

【技术实现步骤摘要】
一种基于Kinect的增强现实三维注册方法
本专利技术属于三维注册
，涉及一种基于Kinect的增强现实三维注册方法。
技术介绍
在增强现实系统中，进行三维注册的目的是通过对摄像机的动态跟踪，计算摄像机位姿，使得虚拟物体能够正确的叠加在真实场景中，对真实场景进行增强。为了使增强现实技术获得更广泛的应用，三维注册是必须解决的重要问题。三维注册的实时性、精确性、稳定性直接影响了增强现实系统的适用性和可信度。基于计算机视觉的虚实注册因其硬件成本低、精确性好、健壮性强等特点，已经成为当前解决AR中三维注册问题的主流方法。Kinect传感器作为一款出色的体感外部设备，能够捕获人的骨骼点信息，不受光照变化和复杂背景的干扰。将其应用于增强现实中，不但能够实现三维注册，不易受外在环境的干扰，还可为人机交互带来新的机会。但是，由于Kinect深度摄像机的成像模式容易导致获取的深度图像出现黑洞、抖动以及场景中物体轮廓不准确等问题，严重影响了后续三维注册的精确度。另外，Kinect硬件的深度检测最小范围不能低于0.4m。受此制约，当Kinect在移动的过程中，若距离场景太近，将无法获取场景深度信息，从而导致三维注册失败。吴倩等人提出一种结合彩色图像局部分割的Kinect深度图修复算法，通过空洞类型判断和局部区域分割获得空洞像素的有效支撑区域，并利用该像素的有效支撑区域对其进行深度计算。该方法提高了场景深度信息的精确度，但对同色不同距的空洞修复存在着不足。刘书曼等人针对Kinect彩色摄像头分辨率不高，远距离的增强现实会因为图像清晰度不够，影响增强现实效果的问题，利用Kinect传感器与高清摄像头的配准，解决了远距离图像清晰度问题。但是，他们的方法在近景模式下，要求人距离摄像头1～2米才能获得较好的三维注册结果。王月等人提出了一种面向AR机械装配辅助系统的三维跟踪注册方法，该方法利用基于方向向量一致性的视觉特征匹配策略，解决了在光滑、无纹理的装配环境中获取足够数量的视觉特征匹配点对的问题。同时，设计了一种点云和视觉特征匹配相结合的三维跟踪注册方法，既避免了因初始匹配数据点集不足导致的相机跟踪注册失败，又保证了相机位姿估计精度。但是这种方法只能在Kinect的有效范围内获得准确的位姿，没有解决距离的制约问题。公开号为CN105096311A的专利文件公开了一种基于的深度图修复和虚实场景结合技术，所述方法的主要步骤为：(1)采集深度图和彩色图；(2)对图像进行下采样，以保证实时的修复速度；(3)使用QuickShift算法对彩色图像进行分割；(4)利用彩色图的分割结果，对存在缺失深度数据的分割块进行处理。(5)对图像进行上采样。该方法解决了Kinect深度图的漏洞修复问题。并在此基础上，进行虚拟物体与真实物体的叠加，实现虚拟物体与真实物体之间的遮挡，从而实现增强现实互动。该方法虽然修复了深度图中的空洞，但是没有解决距离的制约对三维注册的影响问题。相关参考文献如下：[1]吴倩,史晋芳,王德娇,刘桂华.结合彩色图像局部分割的Kinect深度图修复算法[J].计算机应用研究,2017,34(12):3852-3854+3884.[2]刘书曼,葛水英,徐士彪.基于深度传感器的远距增强现实注册技术研究[J].微电子学与计算机,2017,34(05):89-94.[3]王月,张树生,白晓亮.点云和视觉特征融合的增强现实装配系统三维跟踪注册方法[J].西北工业大学学报,2019,37(01):143-151.[4]葛水英,王波.基于GPU的深度图修复和虚实场景结合技术.中国专利:CN201510328820.8,2015.06.15.
技术实现思路
本专利技术针对现有技术的不足，提出一种基于Kinect的增强现实三维注册方法，克服Kinect硬件的制约，提高三维注册的精度，扩大增强现实系统的适用范围。本专利技术的技术解决方案是：基于Kinect的增强现实三维注册方法，包括如下步骤：步骤1，对Kinect彩色摄像机和深度摄像机进行标定；步骤2，基于Kinect获得彩色图像和深度图像，生成三维点云，并将三维点云进一步转换为深度图，融合点云信息和快速步进算法(FastMarchingMethod，FMM)修复深度图；步骤3，深度图像与彩色图像对齐；步骤4，基于深度直方图的近景模式自动判断；步骤5，非近景模式下，采用基于FastICP的三维注册方法计算摄像机位姿，完成非近景模式下的三维注册；步骤6，近景模式下，采用融合FastICP和ORB的三维注册方法计算摄像机位姿，完成近景模式下的三维注册；步骤7，将虚拟物体叠加在真实场景的彩色图像中，显示虚实叠加结果。进一步的，所述步骤1的具体实现包括以下子步骤，步骤1.1，彩色摄像机标定：利用Kinect读取彩色图像数据，使用基于黑白棋盘格的视觉标定方法完成Kinect彩色摄像机的内外参数的标定，获得内参矩阵Acolor和外参矩阵Rcolor、Tcolor；步骤1.2，深度摄像机标定：利用Kinect读取红外图像数据，使用基于黑白棋盘格的视觉标定方法完成Kinect深度摄像机的内外参数的标定，获得内参矩阵Adepth和外参矩阵Rdepth、Tdepth。进一步的，所述步骤2的具体实现包括以下子步骤：步骤2.1，利用Kinect实时获取真实场景的彩色图像Ic和深度图像Id，生成三维点云；步骤2.2，将三维点云转换成深度图I′d，具体实施方法为，假设P(x，y，z)是三维点云中的一点，利用下式计算出其对应于深度图像I′d中的点p(u，v，d)的坐标：上式中，u,v是深度图像中每个像素点的横坐标和纵坐标，d是深度数据，fx、fy是摄像机在X、Y轴上的焦距，cx、cy描述了摄像机的光圈中心，s是深度缩放因子；步骤2.3，遍历I′d中的像素点，将深度值不为零的点设置为可靠区域，具体实施方法是：首先，创建与深度图像Id大小相同的待修复图像repairImg；然后，遍历repairImg中的每个像素点，查找其对应于I′d中的像素点的深度值d；若d大于零，则代表点云信息完好，将该像素区域设置为可靠区域；若d等于零，则代表点云信息缺失，将该像素区域设置为不可靠区域；步骤2.4，对原始深度图像Id进行过滤，具体实施方法是：对于可靠区域内的像素点，将深度图像I′d中对应的深度值拷贝到待修复图像repairImg中；对于不可靠区域内的像素点，则将原始深度图像Id中对应的像素值拷贝到待修复图像repairImg中，由此获得物体边缘清晰且无抖动的平滑的深度图像；步骤2.5，利用FMM算法进一步修复深度图中的空洞，具体实施方法是：首先，对空洞的边缘进行膨胀处理，获得一条窄边；然后，将窄边附近区域分为三部分：窄边上、窄边外(图像未损坏部分)以及窄边内(待修复空洞)；设T为空洞边缘上某一像素与窄边之间的距离，将边缘上所有像素的T值按照升序方式存储到队列NarrowBand中，依次进行处理，方法是假设起始点为P，先处理点P的四邻域点，如果其类型为在空洞中，则重新计算像素值，修改其类型为在窄边内，并将其加入NarrowBand，依次处理NarrowBand中存放的每个像素，直到修补完成。进一步的，所述步骤3的具体实现包括以下子步骤，步骤3.1本文档来自技高网...

【技术保护点】
1.一种基于Kinect的增强现实三维注册方法，其特征在于，包括如下步骤：步骤1，对Kinect彩色摄像机和深度摄像机进行标定；步骤2，基于Kinect获得彩色图像和深度图像，生成三维点云，并将三维点云进一步转换为深度图，融合点云信息和快速步进算法(Fast Marching Method，FMM)修复深度图；步骤3，深度图像与彩色图像对齐；步骤4，基于深度直方图的近景模式自动判断；步骤5，非近景模式下，采用基于Fast ICP的三维注册方法计算摄像机位姿，完成非近景模式下的三维注册；步骤6，近景模式下，采用融合Fast ICP和ORB的三维注册方法计算摄像机位姿，完成近景模式下的三维注册；步骤7，将虚拟物体叠加在真实场景的彩色图像中，显示虚实叠加结果。

【技术特征摘要】
1.一种基于Kinect的增强现实三维注册方法，其特征在于，包括如下步骤：步骤1，对Kinect彩色摄像机和深度摄像机进行标定；步骤2，基于Kinect获得彩色图像和深度图像，生成三维点云，并将三维点云进一步转换为深度图，融合点云信息和快速步进算法(FastMarchingMethod，FMM)修复深度图；步骤3，深度图像与彩色图像对齐；步骤4，基于深度直方图的近景模式自动判断；步骤5，非近景模式下，采用基于FastICP的三维注册方法计算摄像机位姿，完成非近景模式下的三维注册；步骤6，近景模式下，采用融合FastICP和ORB的三维注册方法计算摄像机位姿，完成近景模式下的三维注册；步骤7，将虚拟物体叠加在真实场景的彩色图像中，显示虚实叠加结果。2.如权利要求1所述的一种基于Kinect的增强现实三维注册方法，其特征在于：所述步骤1的具体实现包括以下子步骤，步骤1.1，彩色摄像机标定：利用Kinect读取彩色图像数据，使用基于黑白棋盘格的视觉标定方法完成Kinect彩色摄像机的内外参数的标定，获得内参矩阵Acolor和外参矩阵Rcolor、Tcolor；步骤1.2，深度摄像机标定：利用Kinect读取红外图像数据，使用基于黑白棋盘格的视觉标定方法完成Kinect深度摄像机的内外参数的标定，获得内参矩阵Adepth和外参矩阵Rdepth、Tdepth。3.如权利要求1或2所述的一种基于Kinect的增强现实三维注册方法，其特征在于：所述步骤2的具体实现包括以下子步骤：步骤2.1，利用Kinect实时获取真实场景的彩色图像Ic和深度图像Id，生成三维点云；步骤2.2，将三维点云转换成深度图I′d，具体实施方法为，假设P(x，y，z)是三维点云中的一点，利用下式计算出其对应于深度图像I′d中的点p(u，v，d)的坐标：上式中，u,v是深度图像中每个像素点的横坐标和纵坐标，d是深度数据，fx、fy是摄像机在X、Y轴上的焦距，cx、cy描述了摄像机的光圈中心，s是深度缩放因子；步骤2.3，遍历I′d中的像素点，将深度值不为零的点设置为可靠区域，具体实施方法是：首先，创建与深度图像Id大小相同的待修复图像repairImg；然后，遍历repairImg中的每个像素点，查找其对应于I′d中的像素点的深度值d；若d大于零，则代表点云信息完好，将该像素区域设置为可靠区域；若d等于零，则代表点云信息缺失，将该像素区域设置为不可靠区域；步骤2.4，对原始深度图像Id进行过滤，具体实施方法是：对于可靠区域内的像素点，将深度图像I′d中对应的深度值拷贝到待修复图像repairImg中；对于不可靠区域内的像素点，则将原始深度图像Id中对应的像素值拷贝到待修复图像repairImg中，由此获得物体边缘清晰且无抖动的平滑的深度图像；步骤2.5，利用FMM算法进一步修复深度图中的空洞，具体实施方法是：首先，对空洞的边缘进行膨胀处理，获得一条窄边；然后，将窄边附近区域分为三部分：窄边上、窄边外(图像未损坏部分)以及窄边内(待修复空洞)；设T为空洞边缘上某一像素与窄边之间的距离，将边缘上所有像素的T值按照升序方式存储到队列NarrowBand中，依次进行处理，方法是假设起始点为P，先处理点P的四邻域点，如果其类型为在空洞中，则重新计算像素值，修改其类型为在窄边内，并将其加入NarrowBand，依次处理NarrowBand中存放的每个像素，直到修补完成。4.如权利要求2所述的一种基于Kinect的增强现实三维注册方法，其特征在于：所述步骤3的具体实现包括以下子步骤，步骤3.1，构建深度摄像机坐标系与彩色摄像机坐标系的变换关系，求取两个摄像机的相对位姿，利用下式求取深度摄像机和彩色摄像机间的旋转关系R和平移关系T：步骤3.2，利用两个摄像机的相对位姿关系构建彩色图像上的点与深度图像上对应点的变换关系，具体实施方法是：利用标定求得的彩色摄像机和深度摄像机的内参和外参以及位姿映射变换关系R和T，利用下式将深度图像上的点P...

【专利技术属性】
技术研发人员：田元，周幂，李方迪，王学璠，
申请(专利权)人：华中师范大学，
类型：发明
国别省市：湖北,42