一种将视觉注册和机械注册相结合的混合三维注册方法技术

本发明专利技术提供一种将视觉注册和机械注册相结合的混合三维注册方法，该方法的核心是将摄像机坐标系转换到Naturalpoint坐标系，再利用左右手坐标系之间的转换和视口与摄像机之间的转换，计算出摄像机坐标系与红外marker坐标系之间的转换从而将虚拟物体注册到场景中。本发明专利技术避免了传统方法中对视觉marker的实时跟踪，在相对较大的空间中对摄像机进行注册，抗遮挡效果好，并且注册流程需要人工参与的部分少，适合快速的生成实时场景，可以满足工业级三维注册对精度和速度的要求。

【技术实现步骤摘要】

本专利技术涉及三维注册
，具体涉及，其利用Naturalpoint输出6D0F信息的方法从摄像机和红外marker之间的转换矩阵来获得摄像机的实时外部参数，用于三维模型在增强现实环境中的实时三维注ΠΠ/ttr O
技术介绍
在增强现实中，用户可以获得一种混合的场景，该场景将真实的背景图像和虚拟的三维模型叠加到一起。三维注册技术是增强现实的关键技术之一。它获取摄像机的位置 和姿态并计算虚拟物体在投影平面上的映射位置，这样虚拟物体就会被实时地显示到显示器的正确位置。常见的三维注册方法主要是基于视觉的三维注册方法和机械式三维注册方法。基于视觉的三维注册方法包含两类，一种是基于marker的三维注册，另一种是基于自然特征点的三维注册。文献 l_Real-time 3D registration of stereo-vision basedrange images usingGPU. In Applications of Computer Vision (WACV), 2009 Workshopon, pages 1-6, dec. 2009介绍了一种结合GPU的视觉式三维注册方法,该方法通过对预先设置好的marker拍照，通过分析每一帧图像来获取摄像机相对于世界坐标系的姿态，以此定位摄像机的位置。这种方法计算速度较快，可以满足实时性的要求，但是需要对整个marker进行拍摄，否则无法计算出摄像机的姿态，因此这种注册方法容易受遮挡的影响。文献 2-Registration for Stereo Vision-basedAugmented Reality Based on ExtendibleTracking of Markers and NaturalFeatures. IEEE. 2002:1045-1048 使用自然特征点和预定义基准marker结合的方法来注册三维物体，首先估计真实世界和虚拟场景之间的投影矩阵，同时从初始化图像中检测和跟踪自然特征点，当整个marker出现在图像帧时，自然特征点用来修正投影矩阵。这种方法结合了自然特征点和marker，自然特征点可以对marker的易遮挡做出补偿,而marker可以对自然特征点的跟踪精度较差做出补偿。另一种三维注册方法为机械式三维注册方法，这种方法稳定，不易受遮挡的影响，可以跟踪注册多个位置，适用于较大区域内的三维立体注册。同时这种方法的缺陷是不易融入增强现实系统中，需要借助其他方法将其坐标系统一到世界坐标系中。文献2-HybridInertial andVision Tracking for Augmented Reality Registration提出了一种将惯导跟踪和视觉式注册相结合的三维注册方法。
技术实现思路
本专利技术的技术解决问题克服现有技术的不足，提供，该方法在实时运行时，不需要额外的标定marker，不需要额外的相机对标定marker进行实时摄像，综合视觉注册的精确性和机械注册的快速性，同时避免视觉注册易被遮挡和机械注册难以融入系统的缺点，在场景中快速移动头盔显示器的情况下，依然可以快速精准地定位物体。本专利技术的技术解决方案，其步骤如下( I)标定摄像机的内部参数；(2)摄像机对多marker标定板拍照得到原始图像,去除图像头信息得到图像raw数据，定义多marker配置文件,使用ARToolkitPlus计算摄像机相对于多marker坐标系的外部参数A ；(3)计算Naturalpoint输出矩阵Np,首先计算绕x/y/z三个坐标轴方向的旋转矩阵，然后计算平移矩阵t，按照特定顺序相乘即得矩阵Np ；(4)确定视口坐标系和摄像机坐标系之间的转换矩阵P，该矩阵随着不同的绘制引 擎和摄像机而不同；(5)由于无法测量摄像机坐标系相对于世界坐标系的转换关系，需要借助红外小球确定红外小球坐标系与摄像机坐标系之间的转换矩阵T,将红外marker和摄像机绑定，这样矩阵T固定，可作为初始值载入系统。所述步骤(I)中，标定摄像机时使用两种不同的方法，第一种方法为opencv的标定方法得到结果R1，第二种方法为matlab的标定方法得到结果R2，当二者误差小于阈值η时，即I R1-R2 I〈η时，将R2作为标定结果，否则舍弃此次标定，重新标定。所述步骤(2)中计算摄像机相对于世界坐标系的外部参数时，使用多marker矩阵来定义待跟踪平面，同时定义每一个marker中心的坐标，利用步骤(I)中计算出的摄像机内部参数，使用ARToolkitPlus开源工具计算摄像机的外部参数,其中，多marker矩阵遵循右手坐标系，按照常用图片格式规定X和y方向，X方向规定有3个矩阵块，z方向规定有4个矩阵块，每一个矩阵块的中心位置参考多marker板的中心。所述步骤(3)中，Natualpoint的原始坐标系为左手坐标系，需要调整x/y/z方向的三个旋转矩阵的相乘次序，使输出矩阵Np符合右手坐标系。所述步骤(4 )中,确定的绘制引擎对应确定的视口朝向,确定的摄像机对应确定的摄像机朝向，确定二者之间的转换矩阵P时，视口坐标系和摄像机坐标系之间的I轴和z轴相反，X轴相同。所述步骤(5)中，计算摄像机和红外marker之间的转换矩阵T的计算公式为T = P*A*Np。所述的计算Naturalpoint输出矩阵的过程为 根据Naturalpoint输出的位移x/y/z,计算位移矩阵t权利要求1.，其特征在于该方法步骤如下 步骤(I)、标定摄像机的内部参数； 步骤(2)、摄像机捕获多marker标定板的一巾贞图像,去除原始头信息得到图像的raw数据，定义多marker配置文件,使用ARToolkitPlus开源工具计算摄像机相对于多marker坐标系的外部参数A ； 步骤(3)、计算Naturalpoint输出矩阵Np,首先计算绕x/y/z三个坐标轴方向的旋转矩阵，然后计算平移矩阵t，按照特定顺序相乘即得矩阵Np ； 步骤(4)、确定视口坐标系和摄像机坐标系之间的转换矩阵P，该矩阵随着不同的绘制引擎和摄像机而不同； 步骤(5)、由于无法测量摄像机坐标系相对于世界坐标系的转换关系，需要借助红外小球确定红外小球坐标系与摄像机坐标系之间的转换矩阵T,将红外marker和摄像机绑定，这样矩阵T固定，可作为初始值载入系统。2.根据权利要求I所述的，其特征在于所述步骤(I)中，标定摄像机时使用两种不同的方法，第一种方法为opencv的标定方法得到结果Rl，第二种方法为matlab的标定方法得到结果R2，当二者误差小于阈值η时，即I R1-R2 I〈η时，将R2作为标定结果，否则舍弃此次标定，重新标定。3.根据权利要求I所述的，其特征在于所述步骤(2)中计算摄像机相对于世界坐标系的外部参数时，使用多marker矩阵来定义待跟踪平面，同时定义每一个marker中心的坐标，利用步骤(I)中计算出的摄像机内部参数，使用ARToolkitPlus开源工具计算摄像机的外部参数,其中，多marker矩阵遵循右手坐标系，按照常用图片格式规定X和y方向，X方向规定有3个矩阵块，z方向规定有4个矩阵块，每一个矩阵块的中心位置参考多marker板的中心。4.根据权利要求I所述的，其特征在于所述步骤(3本文档来自技高网...

【技术保护点】
一种将视觉注册和机械注册相结合的混合三维注册方法，其特征在于：该方法步骤如下：步骤（1）、标定摄像机的内部参数；步骤（2）、摄像机捕获多marker标定板的一帧图像，去除原始头信息得到图像的raw数据，定义多marker配置文件，使用ARToolkitPlus开源工具计算摄像机相对于多marker坐标系的外部参数A；步骤（3）、计算Naturalpoint输出矩阵Np，首先计算绕x/y/z三个坐标轴方向的旋转矩阵，然后计算平移矩阵t，按照特定顺序相乘即得矩阵Np；步骤（4）、确定视口坐标系和摄像机坐标系之间的转换矩阵P，该矩阵随着不同的绘制引擎和摄像机而不同；步骤（5）、由于无法测量摄像机坐标系相对于世界坐标系的转换关系，需要借助红外小球确定红外小球坐标系与摄像机坐标系之间的转换矩阵T，将红外marker和摄像机绑定，这样矩阵T固定，可作为初始值载入系统。

【技术特征摘要】

【专利技术属性】
技术研发人员：沈旭昆，郝爽，赵凌，张凤全，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：