基于ToF深度相机的三维注册方法，步骤如下：(1)搭建一个由ToF深度相机和彩色相机构成的双目相机系统，并且完成系统的标定；(2)完成对ToF相机获取深度图的异常点剔除和随机噪声的剔除，提高深度数据的精确度；(3)将ToF相机获取的深度图投影到彩色相机视野下，建立起深度图像和彩色图像的对应关系。使用Camshift算法完成对实时视频流中标志物的跟踪，根据投影后的深度图计算出标志物的在空间中的三维位置和朝向。
【技术实现步骤摘要】
本专利技术属于计算机虚拟现实和计算机图形图像学
，具体地说是利用ToF 深度相机和彩色相机构建的双目相机系统完成对真实环境深度信息和颜色信息的采集，用于增强现实的关键技术三维注册的实现。
技术介绍
增强现实(Augmented Reality,简称AR)通过对真实环境和虚拟环境的一致性表示、呈现及相互作用等关键技术，减轻场景构建和处理负担，在虚拟世界、现实世界和用户间搭建起信息回路，进一步增强人对环境的参与和感受程度。增强现实首先需要解决的关键问题是获取的真实环境视频流中对象与计算机生成的虚拟对象间配准也称三维注册问题，三维注册的实时性和精度直接影响增强现实系统的适用性和可信度。基于视觉的三维注册方法是目前常用的三维注册方法。基于视觉的三维注册技术可分为基于标识(Marker)的三维注册技术和基于自然特征的三维注册技术。文献 I-Shahzad Malik0Robust Registration of Virtual Objects for Real-Time Augmented Reality。Master thesis，Carleton University, Ottawa, Ontario，Canada，2002 基于标识的注册技术在真实的环境中放置标识作为跟踪的基准，通过对含有标识的图像进行处理，结合计算机视觉原理，实现对摄像机的跟踪。这种必须在真实环境中放置人为设计的精确标志物的方法，一定程度上影响了增强现实技术的应用。文献2-Simon, G. Fitzgibbon, A. W. Zisserman, A. Augmented Reality Camera Tracking with Homographies Augmented Reality,2000. (ISAR 2000). Proceedings. IEEEand ACM International Symposium, 2000. 120-128提出了基于自然特征的三维注册技术，直接以真实场景中存在的易识别的物体充当标志物，提取基准点。该方法需要真实环境中具有丰富的纹理信息，对于颜色单一、 无纹理的区域适用性差，虽然利用空间结构信息的立体匹配技术能够准确找到匹配点，但该方法计算复杂度高。目前广泛应用的基于激光测距原理的深度图像获取设备，如莱卡 Scanstation3000以及美能达910等设备,在获取深度信息时采用逐点扫描方法,适用于静态场景的深度信息获取，难以满足实时性要求。
技术实现思路
本专利技术要解决的技术问题克服现有技术的不足，提供一种实时、准确的三维注册方法。本专利技术采用的技术方案，其特点在于步骤如下(I)双目系统的搭建和系统的标定；(2) ToF相机深度图的处理；(3)利用建立起深度图像和彩色图像的对应关系求出相机的位置和姿态。3所述的步骤(I)中双目系统的搭建和系统标定方法为搭建一个有ToF深度相机和工业相机组成的双目相机系统。其中ToF相机获得真实环境的深度信息，工业相机获得真实环境的颜色信息。使用基于黑白棋盘格的标定方法完成对工业相机和ToF深度相机内参数的标定；使用双目立体标定的方法完成对两个相机位置关系的标定。为了完成ToF相机系统误差的校正，利用双目相机系统中的彩色相机求取一系列参考数据，并且根据两个相机的位置关系转换到ToF视野下，使用B样条曲线插值出误差曲线，完成系统误差校正。所述步骤⑵中ToF相机深度图的处理方法ToF相机获取的深度图包含异常点和随机噪声，这使得直接使用ToF获取的深度图会影响三维注册的精度。真实环境中的物体具有分段光滑，深度值发生突变的区域颜色值也会发生突变的特点，利用这一特点设计了深度图的异常点剔除算法和改进的双边滤波算法，实现对ToF深度图的处理。所述步骤(3)中建立彩色图像和深度图像对应关系的原理为将ToF相机获取的深度图利用相机标定中获取的ToF相机的内参数恢复出三维点云数据。根据相机标定步骤中获取的两个相机的位置关系和彩色相机的内参数，将三维点云数据投影到彩色相机图像空间中，这样就建立起彩色图像和深度图像的对应关系。所述步骤(3)中，使用Camshift算法完成实时视频流中标志物的跟踪方法在视频图像中选取要跟踪的物体，计算出该物体的颜色特征，跟踪图像空间中具有该特征的物体并且实时给出该物体在图像空间的矩形范围。所述步骤(3)中的利用深度图像计算相机位置和姿态的方法为跟踪步骤中实时给出被跟踪区域在图像空间中的范围，根据彩色图像和深度图像的对应关系获得被跟踪物体的三维数据，使用最小二乘法拟合一个空间的平面，该平面的位置和法向量分别表示相机和跟踪区域的相对位置和朝向。本专利技术与现有技术相比的优点在于(I)实时性好。本方法使用的ToF相机和彩色相机的帧速都可以达到每秒50帧以上，经过数据处理的步骤后可以达到每秒30帧左右。(2)适用性强。本方法不需要人为制作的精确的标定物，也不需要真实环境中有丰富的纹理信息。附图说明图I为实现三维注册技术的系统的框架图。具体实施例方式本专利技术的具体步骤如下I.双目系统的搭建和系统的标定将T0F(Time-Of-Flight)相机和工业相机水平放置在相机三脚架的快装板上使得两个相机的视野有尽可能大的重叠区域，工业相机需要选取视场角跟ToF相机接近的型号。使用基于黑白棋盘格的视觉标定方法完成ToF相机和工业相机的内外参数的标定。使用双目立体标定方法完成两个相机之间位置的标定。同时利用双目相机系统中的彩色相机完成参考数据的采集，使用B样条插值的方法插值出系统误差曲线，使用该曲线完成对ToF 相机系统误差的校正。2. ToF相机深度图的处理ToF相机捕获的真实场景深度数据包含有异常点和随机噪声。因此ToF给出的原始深度图像不能直接使用，需要经过进一步处理才能应用到增强现实系统中。室内场景物体具有分段光滑、深度连续的区域颜色也连续的特性，因此可以利用双目系统中工业相机获取的颜色信息来优化ToF相机获取的深度图像。设计的深度图中包含的异常点剔除算法如下所示权利要求1.，其特征在于步骤如下(1)搭建双目系统并对该系统进行标定；(2)进行ToF相机深度图的处理；(3)利用建立起深度图像和彩色图像的对应关系求出相机的位置和姿态。2.根据权利要求I所述，其特征在于所述的步骤(I)中搭建双目系统并对该系统进行标定方法为搭建一个有ToF深度相机和工业相机组成的双目相机系统；其中ToF相机获得真实环境的深度信息，工业相机获得真实环境的颜色信息，使用基于黑白棋盘格的标定方法完成对工业相机和ToF深度相机内参数的标定； 使用双目立体标定的方法完成对两个相机位置关系的标定，为了完成ToF相机系统误差的校正，使用双目相机系统中的彩色相机利用计算机视觉的方法计算相机到标定物的距离作为参考数据，并且根据两个相机的位置关系转换到ToF视野下，使用B样条曲线插值出误差曲线，完成系统误差校正。3.根据权利要求I所述，其特征在于所述步骤(2) 中进行ToF相机深度图的处理方法包括深度图的异常点剔除和随机噪声去除两个过程，异常点剔除根据深度图像中每个像素与周围像素的关系计算每个像素的可靠性，去除可靠性低的像素；随机噪声去除是利用改进的双边滤波算法，具体为对要处理的深度数据以及彩色相机获本文档来自技高网...
【技术保护点】
【技术特征摘要】
【专利技术属性】
技术研发人员：沈旭昆，赵凌，赵沁平，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。