使用6DOF姿态信息对准来自分离相机的图像制造技术

公开了用于使由被物理安装到HMD的集成相机生成的图像与由从HMD物理卸载的分离相机生成的图像对准的技术。生成3D特征图并且与分离相机共享。集成相机和分离相机两者都使用3D特征图来重新定位其自己并且确定其各自的6DOF姿态。HMD接收分离相机的环境的图像和分离相机的6DOF姿态。访问环境的深度图。通过重新投影分离相机的图像的视角以与集成相机的视角对准，并且通过将重新投影的分离相机的图像叠加到集成相机的图像上，来生成叠加图像。来生成叠加图像。来生成叠加图像。

【技术实现步骤摘要】
【国外来华专利技术】使用6DOF姿态信息对准来自分离相机的图像

技术介绍

[0001]混合现实(MR)系统，包括虚拟现实(VR)和增强现实(AR)系统，因其能够为用户创造真正独有的体验而受到广泛关注。可供参考的是，常规的VR系统通过将其用户的视野仅限制在虚拟环境中来创造完全沉浸式的体验。这常常是通过使用头戴式设备(HMD)来实现的，其完全阻止了现实世界的任何视野。因此，用户完全沉浸在虚拟环境内。相比之下，常规的AR系统通过可视化地呈现被放置在现实世界中或者与现实世界交互的虚拟对象来创建增强现实体验。
[0002]如在本文中所使用的，VR和AR系统被可互换地描述和引用。除非另有说明，否则在本文中的描述同样适用于所有类型的MR系统，其(如上文详细描述的)包括AR系统、VR现实系统和/或能够显示虚拟内容的任何其他类似系统。
[0003]MR系统也可以采用不同类型的相机以便向用户显示内容，诸如以直通图像的形式。直通图像或视图能够辅助用户在过渡到MR环境中和/或在MR环境内导航时避免迷失方向和/或安全危险。MR系统能够以多种方式呈现相机捕获的视图。然而，使用由面向世界的相机捕获的图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种头戴式设备(HMD)，被配置为使由被物理安装到所述HMD的集成相机生成的图像与由从所述HMD物理卸载的分离相机生成的图像对准并且稳定，所述HMD包括：一个或多个处理器；以及一个或多个计算机可读硬件存储设备，其存储指令，所述指令能由所述一个或多个处理器执行以使得所述HMD至少用于：生成所述HMD和所述分离相机两者都在其中操作的环境的三维(3D)特征图；与所述分离相机共享所述3D特征图；使用所述3D特征图以基于由所述集成相机生成的第一图像来重新定位所述集成相机的位置框架，从而确定所述集成相机的6自由度(6DOF)姿态；使得所述分离相机使用所述3D特征图以基于由所述分离相机生成的第二图像来重新定位所述分离相机的位置框架，从而确定所述分离相机的6DOF姿态；从所述分离相机接收(i)所述环境的所述第二图像和(ii)所述分离相机的6DOF姿态；访问所述环境的深度图；以及通过重新投影所述第二图像的视角以与所述第一图像的视角对准并且通过将经重新投影的第二图像的至少一部分叠加到所述第一图像上来生成叠加图像，其中，(i)所述集成相机的6DOF姿态、(ii)所述分离相机的6DOF姿态、以及(iii)所述深度图被用于执行所述重新投影。2.根据权利要求1所述的HMD，其中，所述指令能执行以进一步使得所述HMD显示所述叠加图像，其中，所述集成相机和所述分离相机中的一个或多个是被配置为执行重新定位的头部跟踪相机。3.根据权利要求1所述的HMD，其中，所述深度图是针对每个相机帧的一像素深度测量结果。4.根据权利要求1所述的HMD，其中，重新投影所述第二图像的视角以与所述第一图像的视角对准补偿了所述分离相机与所述集成相机分开的距离。5.根据权利要求1所述的HMD，其中，所述集成相机是从包括可见光相机、微光相机或热成像相机的相机组中选择的一个相机，并且其中，所述分离相机也是从所述相机组中选择的一个相机。6.根据权利要求1所述的HMD，其中，所述分离相机与所述集成相机分开至多1.5米的距离。7.根据权利要求1所述的HMD，其中，使得所述分离相机使用所述3D特征图来重新定位所述分离相机的位置框架包括执行同时定位和映射(SLAM)操作以确定在所述分离相机与所述集成相机之间的相对位置。8.根据权利要求1所述的HMD，其中，所述分离相机和所述...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：