基于光学追踪器和AR眼镜的虚实融合标定方法、系统技术方案

本发明专利技术涉及一种基于光学追踪器和AR眼镜的虚实融合标定方法、系统，该方法包括：在AR眼镜虚拟场景中设计虚拟标记物；在真实场景中放置光学追踪器所探测的真实标记物；采用AR眼镜的相机拍摄同时包含虚拟标记物和真实标记物的标定图像；利用AR眼镜的相机坐标系为转换媒介，基于拍摄的标定图像求解AR眼镜构建的虚拟空间坐标系与光学追踪器所在的世界坐标系的转换关系，完成标定。与现有技术相比，本发明专利技术具有操作便利，耗时较短，对用户更友好的优点。对用户更友好的优点。对用户更友好的优点。

Virtual reality fusion calibration method and system based on optical tracker and AR glasses

【技术实现步骤摘要】
基于光学追踪器和AR眼镜的虚实融合标定方法、系统


[0001]本专利技术涉及增强现实
，尤其是涉及一种基于光学追踪器和AR眼镜的虚实融合标定方法、系统。

技术介绍

[0002]增强现实(Augmented Reality，AR)技术已经是计算机应用领域的热点之一。增强现实技术也被称为扩增现实，AR增强现实技术是将真实世界信息和虚拟世界信息综合在一起的较新的
技术实现思路
，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，将虚拟信息内容显示到真实世界中加以有效应用。增强现实技术将计算机生成的虚拟模型叠加到现实场景中实现三维虚实融合显示，增强使用者对现实场景的感知。凭借这一优势，增强现实在教育行业，工业生产，医学领域等具有很大的应用前景。
[0003]AR眼镜是AR
知名的产品代表，AR眼镜能够做到在空间中投影虚拟物体，同时不影响用户观察真实环境，给用户一种和真实环境交互的体验。AR眼镜是增强现实技术在可穿戴式计算机领域的一种应用产品，作为增强现实的重要媒介，近年来取得了很大的发展，并不断走向用户，例如微软的HoloLens眼镜等。
[0004]当用户在使用AR眼镜时，希望将虚拟模型以某种姿态较精确地显示在真实场景的某个位置时就需要一种可靠的虚实标定方法，将虚拟空间与真实场景联系起来。目前，较多的增强现实标定方法都存在操作不方便，耗时长，难度高等问题。这一系列问题都在一定程度上影响了增强现实技术的广泛应用。

技术实现思路

[0005]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于光学追踪器和AR眼镜的虚实融合标定方法、系统，具有操作便利，耗时较短，对用户更友好的特点。
[0006]本专利技术的目的可以通过以下技术方案来实现：
[0007]一种基于光学追踪器和AR眼镜的虚实融合标定方法，该方法包括：
[0008]在AR眼镜虚拟场景中设计虚拟标记物；
[0009]在真实场景中放置光学追踪器所探测的真实标记物；
[0010]采用AR眼镜的相机拍摄同时包含虚拟标记物和真实标记物的标定图像；
[0011]利用AR眼镜的相机坐标系为转换媒介，基于拍摄的标定图像求解AR眼镜构建的虚拟空间坐标系与光学追踪器所在的世界坐标系的转换关系，完成标定。
[0012]优选地，所述的虚拟标记物和真实标记物均分别包括若干标定点。
[0013]优选地，基于拍摄的标定图像进行标定的具体步骤包括：
[0014]从标定图像中获取虚拟标记物的标定点的像素坐标P
virtual2D
以及真实标记物的标定点的像素坐标P
real2D
；
[0015]获取虚拟标记物的标定点在AR眼镜构建的虚拟空间坐标系中的虚拟三维坐标
P
virtual3D
，以及光学追踪器所探测的真实标记物的标定点在世界坐标系中的三维坐标P
real3D
；
[0016]基于P
real3D
和P
real2D
得到AR眼镜的相机坐标系与光学追踪器所在的世界坐标系的转换矩阵
[0017]基于P
virtual3D
和P
virtual2D
得到AR眼镜的相机坐标系与AR眼镜构建的虚拟空间坐标系的转换矩阵
[0018]基于转换矩阵和得到AR眼镜构建的虚拟空间坐标系与光学追踪器所在的世界坐标系的转换矩阵
[0019]优选地，所述的虚拟标记物为构建在AR眼镜虚拟场景中的包含多个标志点的物件，各个标志点的中心为所述的虚拟标记物的标定点。
[0020]优选地，所述的真实标记物包括光学追踪器能够检测到三维坐标的多个标志球体，各个标志球的中心为所述的真实标记物的标定点。
[0021]优选地，在采用该方法进行虚实融合标定前，需要对AR眼镜的相机的内部参数进行标定。
[0022]一种虚实融合标定系统，包括：
[0023]设置在AR眼镜虚拟场景中设计虚拟标记物；
[0024]设置在真实场景中用于光学追踪器探测的真实标记物；
[0025]控制器：用于控制AR眼镜的相机拍摄同时包含虚拟标记物和真实标记物的标定图像；
[0026]处理器：利用AR眼镜的相机坐标系为转换媒介，基于拍摄的标定图像求解AR眼镜构建的虚拟空间坐标系与光学追踪器所在的世界坐标系的转换关系，完成标定。
[0027]优选地，所述的处理器用于执行存储在存储介质中的计算机程序，用于实现所述的基于拍摄的标定图像进行标定的具体步骤。
[0028]与现有技术相比，本专利技术具有如下优点：
[0029](1)本专利技术利用AR眼镜的相机坐标系为转换媒介，仅需拍摄一张照片后通过算法自动完成虚实融合标定，耗时短，难度低，对用户更友好；
[0030](2)本专利技术虚拟标记物和真实标记物均分别包括若干标定点，从而提高后续坐标转换的精度，进而提高虚实融合标定的精度，保证高精度的虚实融合显示。
附图说明
[0031]图1为本专利技术一种基于光学追踪器和AR眼镜的虚实融合标定方法的实施流程框图；
[0032]图2为本专利技术坐标系转换示意图。
具体实施方式
[0033]下面结合附图和具体实施例对本专利技术进行详细说明。注意，以下的实施方式的说明只是实质上的例示，本专利技术并不意在对其适用物或其用途进行限定，且本专利技术并不限定于以下的实施方式。
[0034]实施例
[0035]如图1所示，本实施例提供一种基于光学追踪器和AR眼镜的虚实融合标定方法，该方法包括：
[0036]在AR眼镜虚拟场景中设计虚拟标记物；
[0037]在真实场景中放置光学追踪器所探测的真实标记物；
[0038]采用AR眼镜的相机拍摄同时包含虚拟标记物和真实标记物的标定图像；
[0039]利用AR眼镜的相机坐标系为转换媒介，基于拍摄的标定图像求解AR眼镜构建的虚拟空间坐标系与光学追踪器所在的世界坐标系的转换关系，完成标定。
[0040]需要说明的是：对AR眼镜的相机的内部参数进行标定，每个设备只需标定一次即可。
[0041]虚拟标记物和真实标记物均分别包括若干标定点，其中：虚拟标记物为构建在AR眼镜虚拟场景中的包含多个标志点的物件，各个标志点的中心为虚拟标记物的标定点；真实标记物包括光学追踪器能够检测到三维坐标的多个标志球体，各个标志球的中心为真实标记物的标定点。
[0042]本实施例中，虚拟标记物可以是多个小球，多个标记点，多边形或棋盘格等包含不少于4个标志点的物件，并记录下标志点组在AR眼镜构建的虚拟空间坐标系中的虚拟三维坐标P
virtual3D
。真实标记物上安装的标志球个数需不小于4个，标志球之间相对位置的设计需遵循光学追踪器(Optical Tracker)官方文档的要求，通过其所提供的算法，可以检测到每个标志本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于光学追踪器和AR眼镜的虚实融合标定方法，其特征在于，该方法包括：在AR眼镜虚拟场景中设计虚拟标记物；在真实场景中放置光学追踪器所探测的真实标记物；采用AR眼镜的相机拍摄同时包含虚拟标记物和真实标记物的标定图像；利用AR眼镜的相机坐标系为转换媒介，基于拍摄的标定图像求解AR眼镜构建的虚拟空间坐标系与光学追踪器所在的世界坐标系的转换关系，完成标定。2.根据权利要求1所述的一种基于光学追踪器和AR眼镜的虚实融合标定方法，其特征在于，所述的虚拟标记物和真实标记物均分别包括若干标定点。3.根据权利要求1所述的一种基于光学追踪器和AR眼镜的虚实融合标定方法，其特征在于，基于拍摄的标定图像进行标定的具体步骤包括：从标定图像中获取虚拟标记物的标定点的像素坐标P
virtual2D
以及真实标记物的标定点的像素坐标P
real2D
；获取虚拟标记物的标定点在AR眼镜构建的虚拟空间坐标系中的虚拟三维坐标P
virtual3D
，以及光学追踪器所探测的真实标记物的标定点在世界坐标系中的三维坐标P
real3D
；基于P
real3D
和P
real2D
得到AR眼镜的相机坐标系与光学追踪器所在的世界坐标系的转换矩阵基于P
virtual3D
和P
virtual2D<...

【专利技术属性】
技术研发人员：万新军，沈李正一，董韶，方之强，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：