基于双目视觉定位的全息三维影像空间定量投影方法技术

基于双目视觉定位的全息三维影像空间定量投影方法，包括：(1)视觉标记物识别、(2)HoloLens标定、(3)HoloLens显示及(4)HoloLens标定校正四个步骤。本发明专利技术的方法适用于复杂的环境中，噪声敏感度低，对Marker具有良好的辨识度；基于机器人手眼标定原理，利用双目相机和Marker辅助标定HoloLens局部坐标系，将虚拟空间与真实空间相互联系，为定量投影全息三维影像奠定基础；全息三维影像空间投影精准，具有良好的实时性和稳定性；具有良好的移植性，应用场景广泛。应用场景广泛。应用场景广泛。

Spatial quantitative projection method of holographic 3D image based on binocular vision positioning

【技术实现步骤摘要】
基于双目视觉定位的全息三维影像空间定量投影方法


[0001]本专利技术属于增强现实
，尤其涉及一种基于双目视觉定位的全息三维影像空间定量投影方法。

技术介绍

[0002]目前市场上先进的增强现实设备是Microsoft公司推出的HoloLens设备，现有与增强现实相关的研究与应用多数都是基于HoloLens设备。HoloLens是一款混合现实头戴式显示器，是第一款运行Windows 10操作系统的全息计算设备。HoloLens基于光学透视原理，仿照人眼自然成像方式，为用户营造沉浸式的舒适观看体验。HoloLens上有多个空间摄像头和传感器元件，不断地对周围环境扫描，通过即时定位与地图构建(Simultaneous Localization and Mapping, SLAM)技术进行空间实时定位。HoloLens还具备语音、手势等多种交互功能，拥有先进的行业解决方案，并提供优秀的沉浸感体验。
[0003]开发者利用Unity等平台开发全息应用并部署于HoloLens设备中，当HoloLens启动全息应用时，会创建一个固定参考系(Stationary frame of reference)，该坐标系是虚拟场景下的世界坐标系，伴随在全息应用的整个运行生命周期中，并保持其建立之初的定义而固定在真实空间中，所有的全息影像模型的位姿描述和渲染均基于此世界坐标系。除了固定参考系外，HoloLens还会创建一个用于表征设备自身位姿的附加参考系(Attached frame of reference)，该坐标系是虚拟场景下的局部坐标系，位于设备的主摄像头附近，通过HoloLens设备中的摄像头、陀螺仪等传感元件感知设备的旋转和平移，进而实时更新固定参考系。
[0004]简单举例来说，开发全息应用时将一个3D模型导入程序中，设置其位置为(1m,1m,1m)，在HoloLens中运行该全息应用时，3D模型的全息影像将显示在相对虚拟场景世界坐标系(1m, 1m,1m)的位置，旋转姿态同理。即使用户四周走动，由于虚拟场景世界坐标系相对真实空间是固定的，所以全息影像相对真实世界的位置始终不变，仿佛全息影像放置于真实空间中一样，达到了虚实融合的效果。
[0005]但是，通常开发者无法知道虚拟场景中世界坐标系在真实空间的具体参考位置，如何将虚拟空间与真实空间准确联系起来，是空间定量投影的核心问题。尤其在涉及使用HoloLens的全息影像进行定量操作的引导时，例如增强现实手术导航、远程操作协助等，需要将全息影像与实物精准融合配准，从而实现精密操作可视化。
[0006]现有研究利用HoloLens提供的语音、手势等交互功能，人工手动调整全息影像的位置姿态，不仅操作不方便，耗费时间长，且无法保证投影精度，难以实际推广应用。

技术实现思路

[0007]针对上述不足，本专利技术提出了一种基于双目视觉定位的全息三维影像空间定量投影方法，通过双目视觉系统识别视觉标志物，并对HoloLens设备进行标定，建立双目相机坐标系与 HoloLens坐标系之间的映射关系，然后在双目相机坐标系所表征的真实空间中指
定位置和姿态，本方法可以将HoloLens产生的全息三维影像准确定量地投影在对应位置，可以应用于手术导航等领域。
[0008]本专利技术的实施例提供一种基于双目视觉定位的全息三维影像空间定量投影方法，所述方法包括：(1)视觉标记物识别、(2)HoloLens标定、(3)HoloLens显示及(4)HoloLens标定校正四个步骤。
[0009]根据本专利技术的一种实施方式，例如，所述(1)视觉标记物识别包括：
[0010]空间立体定位需要选择合适的特征点组成视觉标记物，所述视觉标记物简称Marker， Marker一般采用采用辨识度高、易于制作且抗干扰能力强的X角点作为特征点；
[0011]利用双目相机获取X角点的三维位置信息，采用至少三个不共线X角点组成一个Marker，建立一个三维空间坐标系，进而表征真实空间中目标的位置和姿态信息；优选的，采用4个不共线X角点组成一个Marker；
[0012]注册Marker模板，对于每一个Marker，其X角点数量及X角点间的相对位置始终固定，利用这一特点，在注册Marker时定义其坐标系并将此时各角点在此坐标系下的坐标保存下来，在后续再识别时，可以通过匹配先前注册的Marker模板，继续按照初始定义的坐标系描述 Marker的位姿；
[0013]首先获取各X角点相对于双目相机坐标系的坐标位置，指定4个X角点组成的四边形重心为原点O，对点坐标相减获得的向量进行正交化及求外积，获得Marker坐标系三个坐标轴正方向的向量及对三个向量进行单位化，并将Marker坐标系相对于双目相机坐标系的转换关系记为则有：
[0014][0015]设X角点在双目相机坐标系的坐标为p
c
，在Marker坐标系下的坐标为p
m
，则二者转化关系为：将所有X角点坐标从双目相机坐标系转化到Marker坐标系，保存为Marker模板；
[0016]对Marker进行识别，步骤如下：首先，获取所有X角点相对于双目相机坐标系的坐标位置；使用求出的三维坐标，对X角点两两之间计算距离；计算模板中前三个点两两之间的距离；在由X角点距离组成的集合中寻找与模板三个距离中任意两个匹配的元素，得出对应的三个候选X角点；依据已有的候选X角点求解剩余的角点，并验证所求得的所有角点是否完全与 Marker模板一致；其中，在距离匹配的过程中，考虑实际可能存在的多种误差，只要距离之差小于设定阈值，即认为二者匹配成功；
[0017]成功识别出Marker后，计算Marker位姿，记实际Marker坐标系相对于Marker模板的位姿矩阵为记为：
[0018][0019]假设Marker含有N个X角点，分别构造3
×
N矩阵X＝(x1,...,x
N
)与 Y＝(y1,...,y
N
)，其中，x1,...,x
N
分别表示Marker模板下N个X角点的坐标， y1,...,y
N
分别表示与模板成
功匹配的N个X角点在双目相机坐标系的坐标，则Marker位姿的确定需要求解R、t，使得对于任意i∈(1,N)，均满足：
[0020]y
i
＝Rx
i
+t
[0021]考虑误差影响，该问题转化为最小化问题：
[0022][0023]该最小化问题是一个典型的正交普鲁克问题(Orthogonal Procrustes Problem)，采用提出的方法求解此类问题，分别计算X和Y中点的坐标的平均值和构造矩阵M，满足：其中，
[0024]对M做奇异值分解：M＝UDV
T
。
[0025]并令：
[0026][0027]其中，Det(UV
T
)是UV
T
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目视觉定位的全息三维影像空间定量投影方法，其特征在于，所述方法包括：(1)视觉标记物识别、(2)HoloLens标定、(3)HoloLens显示及(4)HoloLens标定校正四个步骤。2.根据权利要求1所述的基于双目视觉定位的全息三维影像空间定量投影方法，其特征在于，所述(1)视觉标记物识别包括：空间立体定位需要选择合适的特征点组成视觉标记物，所述视觉标记物简称Marker，Marker一般采用采用辨识度高、易于制作且抗干扰能力强的X角点作为特征点；利用双目相机获取X角点的三维位置信息，采用至少三个不共线X角点组成一个Marker，建立一个三维空间坐标系，进而表征真实空间中目标的位置和姿态信息；优选的，采用4个不共线X角点组成一个Marker；注册Marker模板，对于每一个Marker，其X角点数量及X角点间的相对位置始终固定，利用这一特点，在注册Marker时定义其坐标系并将此时各角点在此坐标系下的坐标保存下来，在后续再识别时，可以通过匹配先前注册的Marker模板，继续按照初始定义的坐标系描述Marker的位姿；首先获取各X角点相对于双目相机坐标系的坐标位置，指定4个X角点组成的四边形重心为原点O，对点坐标相减获得的向量进行正交化及求外积，获得Marker坐标系三个坐标轴正方向的向量及对三个向量进行单位化，并将Marker坐标系相对于双目相机坐标系的转换关系记为则有：设X角点在双目相机坐标系的坐标为p
c
，在Marker坐标系下的坐标为p
m
，则二者转化关系为：将所有X角点坐标从双目相机坐标系转化到Marker坐标系，保存为Marker模板；对Marker进行识别，步骤如下：首先，获取所有X角点相对于双目相机坐标系的坐标位置；使用求出的三维坐标，对X角点两两之间计算距离；计算模板中前三个点两两之间的距离；在由X角点距离组成的集合中寻找与模板三个距离中任意两个匹配的元素，得出对应的三个候选X角点；依据已有的候选X角点求解剩余的角点，并验证所求得的所有角点是否完全与Marker模板一致；其中，在距离匹配的过程中，考虑实际可能存在的多种误差，只要距离之差小于设定阈值，即认为二者匹配成功；成功识别出Marker后，计算Marker位姿，记实际Marker坐标系相对于Marker模板的位姿矩阵为记为：假设Marker含有N个X角点，分别构造3
×
N矩阵X＝(x1,...,x
N
)与Y＝(y1,...,y
N
)，其中，
x1,...,x
N
分别表示Marker模板下N个X角点的坐标，y1,...,y
N
分别表示与模板成功匹配的N个X角点在双目相机坐标系的坐标，则Marker位姿的确定需要求解R、t，使得对于任意i∈(1,N)，均满足：y
i
＝Rx
i
+t考虑误差影响，该问题转化为最小化问题：该最小化问题是一个典型的正交普鲁克问题(Orthogonal Procrustes Problem)，采用提出的方法求解此类问题，分别计算X和Y中点的坐标的平均值和构造矩阵M，满足：其中，对M做奇异值分解：M＝UDV
T
，并令：其中，Det(UV
T
)是UV
T
的行列式，则可以计算得出：R＝USV
T
，最终，Marker在双目相机坐标系下的位姿矩阵为：即完成了Marker的位姿计算。3.根据权利要求1或2所述的基于双目视觉定位的全息三维影像空间定量投影方法，其特征在于，所述(2)HoloLens标定包括：采用双目相机和视觉标记物Marker辅助标定HoloLens的局部坐标系与HoloLens上固定的视觉Marker坐标系之间的关系，HoloLens虚拟场景中的世界坐标系和局部坐标系分别记为C
HG
和C
HL
，由双目相机表征真实空间中的坐标系，记为C
C
，HoloLens设备上固定一个由4个X角点组成的Marker，记为C
HM
。HoloLens标定包括数据采集和数据处理两部分，数据采集时，固定双目相机，并与计算机相连，将HoloLens静置于双目相机视野下，利用步骤(1)中的方法计算出HoloLens上Marker坐标系相对于双目相机坐标系的位姿，记为同时计算机通过无线网络与HoloLens通信，从设备程序接口中获取HoloLens全息应用虚拟场景中局部坐标系C
HL
相对于世界坐标系C
HG
的位姿，记为改变HoloLens在双目相机视野下的位姿，重复以上步骤，获取多组位姿数据，其中记标定需要解算的Marker坐标系相对于HoloLens局部坐标系的位姿为双目相机坐标系相对于虚拟世界坐标系的位姿为数据采集完成后，进行数据处理，对于任意一组位姿数据i∈(1,N)，均满足：
多组等式联立可以将当作中间变量消去，对于i,j∈(1,N)且i≠j，满足：...

【专利技术属性】
技术研发人员：王君臣，朱辉，宋友，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：