具有基于WIFI/GPS的地图合并的交叉现实系统技术方案

交叉现实系统接收跟踪地图中的跟踪信息以及与跟踪地图的至少一部分相关联的第一位置元数据。至少部分地基于与跟踪地图的至少一部分相关联的第一位置元数据和与规范地图的子部分相关联的第二位置元数据之间的对应关系来确定规范地图的子部分。规范地图的子部分可以与跟踪地图的至少一部分合并成合并地图。交叉现实系统可以通过至少使用来自一个或多个图像的姿势信息来进一步生成跟踪地图，并且可以至少通过使用规范地图中的持久坐标系和与跟踪地图中表示的位置相关联的位置元数据来将跟踪地图定位到规范地图。来将跟踪地图定位到规范地图。来将跟踪地图定位到规范地图。

【技术实现步骤摘要】
【国外来华专利技术】具有基于WIFI/GPS的地图合并的交叉现实系统


[0001]本申请总体上涉及交叉现实系统。

技术介绍

[0002]计算机可以控制人类用户界面以创建X现实(XR或交叉现实)环境，在该环境中，由计算机生成用户所感知的一些或全部XR环境。这些XR环境可以是虚拟现实(VR)、增强现实(AR)和混合现实(MR)环境，其中的一些或所有XR环境可以由计算机部分使用描述环境的数据来生成。例如，该数据可以描述虚拟对象，该虚拟对象可以以用户的感觉或感知为物理世界的一部分的方式渲染，并且可以与虚拟对象进行交互。由于数据是通过用户接口设备(诸如例如头戴式显示设备)渲染和呈现的，因此用户可以体验这些虚拟对象。数据可以显示给用户看，或者可以控制被播放给用户听的音频，或者可以控制触觉(或触知)界面，从而使用户能够体验到用户感觉或感知为感觉到虚拟对象的触摸感觉。
[0003]XR系统可以被用于跨科学可视化、医学培训、工程设计和原型、远程操纵和远程呈现以及个人娱乐领域的许多应用。与VR相比，AR和MR包括与物理世界的真实对象相关的一个或多个虚拟对象。虚拟对象与真实对象交互的体验显著地增强了用户使用XR系统的乐趣，并且也为呈现有关如何改变物理世界的现实且易于理解的信息的各种应用打开了大门。
[0004]为了现实地渲染虚拟内容，XR系统可以建立围绕系统的用户的物理世界的表示。例如，此表示可以通过对利用可穿戴设备上的传感器获取的图像进行处理来构建，其中的可穿戴设备形成XR系统的一部分。在这样的系统中，用户可以通过环顾用户打算在其中使用XR系统的房间或其他物理环境，直到系统获得足够的信息来构建该环境的表示，来执行初始化例程。随着系统运行且用户在环境中移动或移动到其他环境，可穿戴设备上的传感器可以获取其他信息以扩展或更新物理世界的表示。

技术实现思路

[0005]本申请的一些方面涉及用于提供扩展现实(交叉现实或XR)场景的方法和装置。如本文所描述的技术可以一起、单独或以任何适合的组合使用。
[0006]本申请的进一步方面涉及一种计算设备，该计算设备被配置为用于交叉现实系统中，在交叉现实系统中，在三维(3D)环境中操作的便携式设备渲染虚拟内容。该计算设备包括：至少一个处理器；连接到所述至少一个处理器的计算机可读介质，所述计算机可读介质在其中存储有表示规范地图的信息；被配置为在由所述至少一个处理器执行时执行方法的计算机可执行指令。该方法包括：从所述便携式设备接收表示由所述便携式设备生成的跟踪地图的信息以及与所述跟踪地图的至少一部分相关联的位置元数据；至少部分地基于与所述跟踪地图的至少一部分相关联的所述位置元数据与与所述规范地图的所选子部分相关联的位置元数据之间的对应关系来选择所述规范地图的子部分；将所述规范地图的所选子部分与所述跟踪地图合并以获得合并地图；以及将所述合并地图与所述规范地图整合。
[0007]在一些实施例中，将所述规范地图的所选子部分与所述跟踪地图合并包括：标识所述跟踪地图的所述至少一部分中的第一多个特征；标识所述规范地图的所选子部分中的第二多个特征；以及标识将所述第一多个特征与所述第二多个特征对齐的变换。
[0008]在一些实施例中，将所述规范地图的所选子部分与所述跟踪地图合并还包括：计算所标识的变换以将所述第一多个特征与所述第二多个特征对齐。
[0009]在一些实施例中，将所述合并地图与所述规范地图整合包括：用所述合并地图替换所述规范地图的所选子部分。
[0010]在一些实施例中，将所述合并地图与所述规范地图整合包括：基于所述合并地图，扩展所述规范地图的所选子部分。
[0011]在一些实施例中，从所述便携式设备接收与所述跟踪地图的至少一部分相关联的所述位置元数据包括：从所述便携式设备接收指示所述便携式设备在所述3D环境内的先前位置的全球定位系统(GPS)位置信息。
[0012]在一些实施例中，接收与所述跟踪地图的至少一部分相关联的所述位置元数据包括：接收与所述跟踪地图的图块(tile)相关联的位置元数据。
[0013]在一些实施例中，接收与所述跟踪地图的至少一部分相关联的所述位置元数据包括：接收与所述跟踪地图的持久姿势相关联的位置元数据。
[0014]在一些实施例中，从所述便携式设备接收与所述跟踪地图的至少一部分相关联的所述位置元数据包括：从所述便携式设备接收指示所述便携式设备相对于多个无线网络接入点的先前位置的无线位置信息。
[0015]在一些实施例中，所述方法还包括：将所整合的规范地图存储在所述计算机可读介质中。
[0016]在一些实施例中，所述便携式设备是第一便携式设备，并且所述方法还包括：基于所整合的地图来定位第二便携式设备。
[0017]本申请的进一步方面涉及一种便携式计算设备，该便携式计算设备被配置为用于交叉现实系统中，在交叉现实系统中，在三维(3D)环境中操作的多个便携式设备渲染虚拟内容。该计算设备包括：至少一个图像传感器；至少一个处理器；被配置为在由所述至少一个处理器执行时执行方法的计算机可执行指令。方法包括：构建由所述第一便携式设备生成的跟踪地图；将位置元数据与所述跟踪地图的多个位置相关联；将所述跟踪地图和相关联的位置元数据发送到联网服务用于地图合并过程。
[0018]在一些实施例中，所述跟踪地图包括：多个持久姿势；以及将位置元数据与所述跟踪地图的位置相关联包括：将位置元数据与所述多个持久姿势中的持久姿势相关联。
[0019]在一些实施例中，所述跟踪地图包括：多个图块；以及将位置元数据与所述跟踪地图的位置相关联包括：将位置元数据与所述多个图块中的图块相关联。
[0020]在一些实施例中，所述位置元数据包括：与所述跟踪地图的所述多个位置的第一部分相关联的第一类型位置元数据和与所述跟踪地图的所述多个位置的第二部分相关联的第二类型元数据；以及所述第一类型位置元数据包括指示所述第一便携式设备相对于多个无线网络接入点的先前位置的无线位置元数据；以及所述第二类型位置元数据包括指示所述第二便携式设备的先前GPS位置的地理位置元数据。
[0021]在一些实施例中，计算机可执行指令还被配置为：将无线位置元数据转换为地理
位置元数据；以及将位置元数据与所述跟踪地图的所述多个位置相关联包括：将所述地理位置元数据与所述多个位置中的至少一个相关联。
[0022]在一些实施例中，将无线位置元数据转换为地理位置元数据包括：调用可公开访问的应用编程接口(API)。
[0023]本申请的进一步方面涉及一种计算设备，该计算设备被配置为用于交叉现实系统中，在该交叉现实系统中，在三维(3D)环境中操作的便携式设备渲染虚拟内容。该计算设备包括：至少一个处理器；连接到所述至少一个处理器的计算机可读介质，所述计算机可读介质在其中存储有表示规范地图的信息以及与所述规范地图相关联的位置元数据；被配置为在由所述至少一个处理器执行时执行方法的计算机可执行指令。该方法包括：从所述便携式设备接收表示由所述便携式设备生成的跟踪地图的信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种被配置用于渲染用于扩展现实的虚拟内容的便携式计算设备，包括：至少一个处理器；非暂时性计算机可读存储介质，其可操作地被耦接到所述至少一个处理器并在其中存储规范地图和指令序列，所述指令序列在由所述至少一个处理器执行时使得所述至少一个处理器执行一组动作，所述一组动作包括：从所述便携式计算设备接收跟踪地图中的跟踪信息和与所述跟踪地图的至少一部分相关联的第一位置元数据；至少部分地基于与所述跟踪地图的所述至少一部分相关联的所述第一位置元数据和与所述规范地图的子部分相关联的第二位置元数据之间的对应关系，确定所述规范地图的所述子部分；以及将所述规范地图的所述子部分与所述跟踪地图的所述至少一部分合并为合并地图。2.根据权利要求1所述的便携式计算机设备，其中，将所述规范地图的所述子部分与所述跟踪地图合并包括：标识所述跟踪地图的所述至少一部分中的第一多个特征；标识所述规范地图的所选子部分中的第二多个特征；以及标识将所述第一多个特征与所述第二多个特征分别对齐的变换。3.根据权利要求2所述的便携式计算机设备，其中，将所述规范地图的所述子部分与所述跟踪地图的所述至少一部分合并还包括：标识属于所述跟踪地图的图像帧和所述规范地图的所述子部分中的持久坐标系。4.根据权利要求1所述的计算设备，还包括：将所述合并地图与所述规范地图整合，其中，将所述合并地图与所述规范地图整合包括：用所述合并地图替换所述规范地图的所选子部分，或者至少部分地基于所述合并地图来扩展所述规范地图的所选子部分。5.根据权利要求1所述的计算机设备，其中，确定所述规范地图的所述子部分包括：根据与所述跟踪地图相关联的图像帧确定第一姿势信息；至少部分地基于所述第一姿势信息，从所述规范地图中标识持久坐标系；以及至少部分地基于所述持久坐标系，确定所述规范地图的所述子部分。6.根据权利要求1所述的计算机设备，其中，从所述便携式设备接收与所述跟踪地图的至少一部分相关联的所述位置元数据包括：从所述便携式设备接收指示所述便携式设备在3D环境内的先前位置的全球定位系统(GPS)位置信息。7.根据权利要求1所述的计算机设备，还包括：将所述跟踪地图的所述至少一部分定位到所述便携式计算设备，定位所述跟踪地图的所述至少一部分包括：根据与所述跟踪地图相关联的图像帧，确定第一姿势信息；至少部分地基于所述第一姿势信息，从所述规范地图中的多个持久坐标系中标识持久坐标系；以及至少部分地基于所述规范地图中的所述持久坐标系和所述跟踪地图中的所述第一姿势信息，将所述跟踪地图的所述至少一部分定位到所述便携式计算设备。8.根据权利要求1所述的计算机设备，还包括：接收与所述跟踪地图中的多个图块中的图块相关联的位置元数据，其中，与所述跟踪地图的所述至少一部分相关联的所述位置元
数据进一步与所述跟踪地图中的持久姿势相关联。9.根据权利要求1所述的计算机设备，其中，所述跟踪信息或与所述跟踪地图的所述至少一部分相关联的所述第一位置元数据包括指示所述便携式计算设备或不同的便携式计算设备相对于一个或多个无线网络接入点的先前位置的无线网络信息。10.根据权利要求1所述的计算机设备，还包括：至少部分地基于所述跟踪地图，由所述便携式计算设备或远程服务器计算机用相应的排名对多个规范地图进行排名，，其中，对应的规范地图的相应的排名指示所述对应的规范地图与所述跟踪地图之间的对应关系。11.根据权利要求1所述的计算机设备，还包括：在所述便携式计算设备处生成所述规范地图，生成所述规范地图包括：从图像帧中标识对象或所述对象的特征作为持久姿势；将所述姿势变换为持久坐标系；以及将所述持久坐标系存储在所述规范地图中，其中，所述持久坐标系包括所述变换或与所述变换相关联。12.根据权利要求11所述的计算机设备，其中，所述一组动作还包括：至少通过用所述规范地图定位由所述便携式计算设备创建的所述跟踪地图，将所述规范地图提升为提升地图，其中，所述规范地图包括表示对象或所述对象的特征的持久坐标系，所述跟踪地图包括持久姿势数据，并且所述规范地图继承所述跟踪地图的一个或多个属性。13.一种用于渲染用于扩展现实的虚拟内容的方法，包括：标识规范地图；从便携式计算设备接收跟踪地图中的跟踪信息和与所述跟踪地图的至少一部分相关联的第一位置元数据；至少部分地基于与所述跟踪地图的所述至少一部分相关联的所述第一位置元数据和与所述规范地图的子部分相关联的第二位置元数据之间的对应关系，确定所述规范地图的所述子部分；以及将所述规范地图的所述子部分与所述跟踪地图的所述至少一部分合并为合并地图。14.根据权利要求13所述的方法，其中，将所述规范地图的所述子部分与所述跟踪地图合并包括：标识所述跟踪地图的所述至少一部分中的第一多个特征；标识所述规范地图的所选子部分中的第二多个特征；以及标识将所述第一多个特征与所述第二多个特征分别对齐的变换。15.根据权利要求13所述的方法，其中...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：