基于HoloLens眼镜的空间定位方法技术

本发明专利技术涉及一种基于HoloLens眼镜的空间定位方法，包括以任意一个标志球为坐标原点，建立工具坐标系；求HoloLenstool到NDI Spectra设备的旋转矩阵；利用UDP通讯读取HoloLens内的World to Local旋转矩阵；利用改进的手眼标定算法求出HoloLens到HoloLenstool的旋转矩阵；观测空间中任意位置的物体上设置的Marker到NDI Spectra设备的旋转矩阵，以及工具坐标系到NDI Spectra设备的旋转矩阵；求出现实中含Marker的物体到Hololens的空间位置关系。本发明专利技术实现HoloLens在空间中精确位置摆放模型，实现了HoloLens本身坐标系和真实环境世界坐标系之间的结合，使得Hololens获得空间指定位置Marker在Hololens坐标系的空间位置关系。

Spatial positioning method based on hololens glasses

【技术实现步骤摘要】
基于HoloLens眼镜的空间定位方法
本专利技术涉及空间标定领域，具体地说是一种基于HoloLens眼镜的空间定位方法。
技术介绍
混合现实技术(MR)是虚拟现实技术的进一步发展，该技术通过在现实场景呈现虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。微软公司的Hololens是其知名的产品代表，Hololens能够做到在空间中投影虚拟物体，同时不影响用户观察真实环境，给用户一种和真实环境交互的体验，但是Hololens缺乏和空间中物体间位置关系的联系，缺乏给用户一个更好的交互体验的途径。
技术实现思路
针对现有技术的不足，本专利技术提供一种基于HoloLens眼镜的空间定位方法，解决Hololens缺乏和空间中物体间位置关系联系的问题。本专利技术为实现上述目的所采用的技术方案是：一种基于HoloLens眼镜的空间定位方法，在所述HoloLens上设置标定件，该标定件至少包括3个共面的标志球；方法包括以下步骤：步骤1：以任意一个标志球为坐标原点，建立工具坐标系HoloLenstool；步骤2：求HoloLenstool到NDISpectra设备的旋转矩阵PHololenstooltoNDI；步骤3：利用UDP通讯读取HoloLens内的WorldtoLocal旋转矩阵PWorldtoLocal；步骤4：利用改进的手眼标定算法求出HoloLens到HoloLenstool的旋转矩阵PHololenstoHololenstool；步骤5：观测空间中任意位置的物体上设置的Marker到NDISpectra设备的旋转矩阵PMarkertoNDI，以及工具坐标系HoloLenstool到NDISpectra设备的旋转矩阵PHololenstooltoNDI；步骤6：求出现实中含Marker的物体到Hololens的空间位置关系。任意两个相邻的标志球之间的距离作为标志距离，且每两个标志距离之间的差值大于2cm。所述工具坐标系HoloLenstool为：选取任意三个标志球，以其中一个标志球作为坐标系原点，该点与其他两点所在平面为XY平面，该点到左侧点连线方向为X轴正方向，利用正交基求出垂直于该XY平面的Z轴正方向，然后反求出Y轴正方向。所述利用改进的手眼标定算法求出HoloLens到HoloLenstool的旋转矩阵PHololenstoHololenstool包括以下过程：通过Hololens内的WorldtoLocal旋转矩阵PWorldtoLocal和工具坐标系Hololenstools到NDISpectra的旋转矩阵PHololenstooltoNDI，使用机器人手眼标定公式AX＝XB的变形进行标定计算，公式如下：PWorldtoNDI＝PHololenstooltoNDI*PLocaltoHololenstool*PWorldtoLocal其中，PWorldtoNDI为Hololens的世界坐标系到NDISpectra的旋转矩阵，PLocaltoHololenstool为Hololens的局部坐标系到工具坐标系Hololenstool的旋转矩阵；要将其变形为AX＝XB需要两次以上的观测值，联立等式为：因为标定过程中NDISpctra的位置不变，Hololens程序生命周期开始后世界坐标系World原点不变，所以两组观测值中的PWorldtoNDI不变，又因为Hololens工具坐标系和Hololens主体是固连，所以PLocaltoHololenstool不变；则将等式联立可得：变形可得：该等式可视为AX＝XB的形式，利用手眼标定方法求取X，即PLocaltoHololenstool。所述手眼标定方法为：当存在多组观测值{(A1,B1),(A2,B2),(A3,B3)......(Ak,Bk)}，求解AX＝XB方程可以转化为最小化问题，其中，d表示在欧式群上的距离测度，利用李群理论知识可以将上述最小化问题转化为最小二乘拟合问题，进而求出X，其中A和B是同一次观测中的两个不同的观测量，X是待求量i为第几组，k为总观测组数。所述现实中含Marker的物体到Hololens的空间位置关系为：在空间中任意位置显示模型或者获取该位置相对Hololens的位置时，在该点设置Marker，根据NDISpectra设备采集获取的PMarkertoNDI和Hololens工具坐标系的PHololenstooltoNDI及此时Hololens内部的PWorldtoLocal，加之标定获得的PLocaltoHololenstool可以根据下面公式计算获得PMarkertoLocal，即任意位置点在Hololens下的坐标及姿态：PMarkertoLocal＝PLocaltoHololenstool-1*PHololenstooltoNDI-1*PMarkertoNDI将PMarkertoLocal转化为PMarkertoWorld，即PMarkertoWorld＝PLocaltoWorld*PMarkertoLocal其中，PMarkertoWorld为空间中含marker物体到Hololens世界坐标系的旋转矩阵，PMarkertoLocal为空间中含Marker物体到Hololens局部坐标系的旋转矩阵，PMarkertoNDI为Marker到NDISpectra设备的旋转矩阵，PHololenstooltoNDI为工具坐标系Hololenstools到NDISpectra的旋转矩阵，PWorldtoLocal为WorldtoLocal旋转矩阵PWorldtoLocal，PLocaltoHololenstool为Hololens的局部坐标系到工具坐标系Hololenstool的旋转矩阵。本专利技术具有以下有益效果及优点：1.本专利技术可以实现HoloLens与外部任意物体的空间位置标定；2.本专利技术可以使得HoloLens在空间中指定位置，指定姿态显示模型；3.本专利技术精确度达到HoloLens自身空间定位精度量级。附图说明图1是本专利技术的方法流程图；图2是Hololens工具图；图3是装有Hololens工具的Hololens示意图；图4是本专利技术的原理示意图。具体实施方式下面结合附图及实施例对本专利技术做进一步的详细说明。为使本专利技术的上述目的、特征和有点能够更加明显易懂，下面结合附图对本专利技术的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术。但本专利技术能够以很多不同于在此描述的其他方式来实施，本领域技术人员可以在不违背专利技术内涵的情况下做类似改进，因此本专利技术不受下面公开的具体实施的限制。需要说明的是，当元件被称为“设置于”另一个元件，本文档来自技高网...

【技术保护点】
1.一种基于HoloLens眼镜的空间定位方法，其特征在于：在所述HoloLens上设置标定件，该标定件至少包括3个共面的标志球；方法包括以下步骤：/n步骤1：以任意一个标志球为坐标原点，建立工具坐标系HoloLenstool；/n步骤2：求HoloLenstool到NDISpectra设备的旋转矩阵P

【技术特征摘要】
1.一种基于HoloLens眼镜的空间定位方法，其特征在于：在所述HoloLens上设置标定件，该标定件至少包括3个共面的标志球；方法包括以下步骤：
步骤1：以任意一个标志球为坐标原点，建立工具坐标系HoloLenstool；
步骤2：求HoloLenstool到NDISpectra设备的旋转矩阵PHololenstooltoNDI；
步骤3：利用UDP通讯读取HoloLens内的WorldtoLocal旋转矩阵PWorldtoLocal；
步骤4：利用改进的手眼标定算法求出HoloLens到HoloLenstool的旋转矩阵PHololenstoHololenstool；
步骤5：观测空间中任意位置的物体上设置的Marker到NDISpectra设备的旋转矩阵PMarkertoNDI，以及工具坐标系HoloLenstool到NDISpectra设备的旋转矩阵PHololenstooltoNDI；
步骤6：求出现实中含Marker的物体到Hololens的空间位置关系。


2.根据权利要求1所述的基于HoloLens眼镜的空间定位方法，其特征在于：任意两个相邻的标志球之间的距离作为标志距离，且每两个标志距离之间的差值大于2cm。


3.根据权利要求1所述的基于HoloLens眼镜的空间定位方法，其特征在于：所述工具坐标系HoloLenstool为：选取任意三个标志球，以其中一个标志球作为坐标系原点，该点与其他两点所在平面为XY平面，该点到左侧点连线方向为X轴正方向，利用正交基求出垂直于该XY平面的Z轴正方向，然后反求出Y轴正方向。


4.根据权利要求1所述的基于HoloLens眼镜的空间定位方法，其特征在于：所述利用改进的手眼标定算法求出HoloLens到HoloLenstool的旋转矩阵PHololenstoHololenstool包括以下过程：
通过Hololens内的WorldtoLocal旋转矩阵PWorldtoLocal和工具坐标系Hololenstools到NDISpectra的旋转矩阵PHololenstooltoNDI，使用机器人手眼标定公式AX＝XB的变形进行标定计算，公式如下：
PWorldtoNDI＝PHololenstooltoNDI*PLocaltoHololenstool*PWorldtoLocal
其中，PWorldtoNDI为Hololens的世界坐标系到NDISpectra的旋转矩阵，PLocaltoHololenstool为Hololens的局部坐标系到工具坐标系Hololenstool的旋转矩阵；
要将其变形为AX＝XB需要两次以上的观测值，联立等式为：






因为标定过...

【专利技术属性】
技术研发人员：宋国立，苏顺，赵忆文，赵新刚，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：辽宁;21