支持多设备类型的交叉现实系统技术方案

交叉现实系统使多种类型的设备中的任何一种都能够有效且准确地访问先前存储的地图并渲染与这些地图相关地指定的虚拟内容。交叉现实系统可以包括基于云的定位服务，该服务响应来自设备的请求以相对于存储地图进行定位。具有针对增强现实操作进行配置的本机硬件和软件的任何类型的设备都可以通过合并在设备的本机AR框架与基于云的定位服务之间进行接口连接的部件，被配置为与交叉现实系统一起工作。这些部件可以以定位服务识别的格式呈现关于设备的位置信息。此外，这些部件可以过滤或以其他方式处理本机AR框架提供的感知数据，以提高定位的准确性。提高定位的准确性。提高定位的准确性。

【技术实现步骤摘要】
【国外来华专利技术】支持多设备类型的交叉现实系统
[0001]相关申请的交叉引用
[0002]本申请根据35 U.S.C.第119(e)条要求于2019年10月15日提交的题为“CROSS REALITY SYSTEM SUPPORTING MULTIPLE DEVICE TYPES(支持多设备类型的交叉现实系统)”的美国临时专利申请序列号62/915,575的权益，其全部内容通过引用并入本文。


[0003]本申请总体上涉及交叉现实系统。

技术介绍

[0004]计算机可以控制人类用户界面以创建交叉现实(XR)环境，在该环境中，由计算机生成用户所感知的一些或全部XR环境。这些XR环境可以是虚拟现实(VR)、增强现实(AR)和混合现实(MR)环境，其中的一些或所有XR环境可以由计算机部分使用描述环境的数据来生成。例如，该数据可以描述虚拟对象，该虚拟对象可以以用户的感觉或感知为物理世界的一部分的方式渲染，并且可以与虚拟对象进行交互。由于数据是通过用户接口设备(诸如例如头戴式显示设备)渲染和呈现的，因此用户可以体验这些虚拟对象。数据可以显示给用户看，或者可以控制被播放给用户听的音频，或者可以控制触觉(或触知)界面，从而使用户能够体验到用户感觉或感知为感觉到虚拟对象的触摸感觉。
[0005]XR系统可以被用于跨科学可视化、医学培训、工程设计和原型、远程操纵和远程呈现以及个人娱乐领域的许多应用。与VR相比，AR和MR包括与物理世界的真实对象相关的一个或多个虚拟对象。虚拟对象与真实对象交互的体验显著地增强了用户使用XR系统的乐趣，并且也为呈现有关如何改变物理世界的现实且易于理解的信息的各种应用打开了大门。
[0006]为了现实地渲染虚拟内容，XR系统可以建立围绕系统的用户的物理世界的表示。例如，此表示可以通过对利用可穿戴设备上的传感器获取的图像进行处理来构建，其中的可穿戴设备形成XR系统的一部分。在这样的系统中，用户可以通过环顾用户打算在其中使用XR系统的房间或其他物理环境，直到系统获得足够的信息来构建该环境的表示，来执行初始化例程。随着系统运行且用户在环境中移动或移动到其他环境，可穿戴设备上的传感器可以获取其他信息以扩展或更新物理世界的表示。

技术实现思路

[0007]本申请的方面涉及用于提供交叉现实(XR)场景的方法和装置。如本文所述的技术可以一起、单独或以任何合适的组合使用。
[0008]一些方面针对一种在交叉现实系统中操作第一类型的便携式电子设备的方法，在所述交叉系统中，多种类型的设备经由至少一个网络与远程定位服务交互。所述便携式电子设备被配置为捕获图像。所述方法包括以下动作：用所述便携式电子设备上的传感器来捕获多个图像，其中，所述多个图像包括描绘在捕获时所述便携式电子设备的三维3D环境
的像素；修改所述多个图像以相对于用第二类型的电子设备所捕获的图像中的像素的值来归一化所述多个图像中的所述像素的值；在多个经修改的图像的至少一个子集中选择像素的集群作为所述3D环境中的特征的代表；根据所选择的像素的集群生成特征描述符；以及使所述特征描述符经由所述网络被发送到所述远程定位服务。
[0009]根据一些实施例，修改所述多个图像以相对于用第二类型的电子设备所捕获的图像中的像素的值来归一化所述多个图像中的所述像素的值包括：修改由所述传感器所捕获的所述多个图像的所述像素的亮度值。
[0010]根据一些实施例，修改所述多个图像以相对于用第二类型的电子设备所捕获的图像中的像素的值来归一化所述多个图像中的所述像素的值包括：对所述多个图像应用伽马校正。
[0011]根据一些实施例，修改所述多个图像以相对于用第二类型的电子设备所捕获的图像中的像素的值来归一化所述多个图像中的所述像素的值还包括：对所述多个图像应用去噪操作。
[0012]根据一些实施例，在多个经修改的图像的至少一个子集中选择像素的集群作为所述3D环境中的特征的代表还包括：对所述多个图像应用镜头阴影校正操作。
[0013]根据一些实施例，所述便携式电子设备是智能电话，以及所述传感器是所述智能电话上的相机。
[0014]根据一些实施例，在多个经修改的图像的至少一个子集中选择像素的集群作为所述3D环境中的特征的代表包括：在所述多个经修改的图像的所述子集中选择像素的集群，其中，至少部分地通过基于在所述图像中检测到的运动模糊而滤除所述多个经修改的图像中的图像来形成所述子集。
[0015]根据一些实施例，所述便携式电子设备是手持设备，以及所述第二类型是包括头戴式显示器的可穿戴设备，所述头戴式显示器包括安装在其上的多个相机。
[0016]根据一些实施例，根据所选择的像素的集群生成特征描述符包括：生成与所述特征描述符相关联的位置信息。
[0017]根据一些实施例，所述方法还包括以下动作：从所述远程定位服务获得关于所述3D环境的已存储空间信息的已存储坐标框架与本地坐标框架之间的变换。
[0018]一些方面针对一种交叉现实系统中的第一类型的便携式电子设备，在所述交叉现实系统中，多种类型的设备经由至少一个网络与远程定位服务交互。所述便携式电子设备被配置为捕获图像并包括：传感器，其被配置为捕获多个图像，以及至少一个处理器，其被配置为执行计算机可执行指令。所述计算机可执行指令包括用于以下操作的指令：用所述便携式电子设备上的所述传感器来捕获所述多个图像，其中，所述多个图像包括描绘在捕获时所述便携式电子设备的三维3D环境的像素；修改所述多个图像以相对于用第二类型的电子设备所捕获的图像中的像素的值来归一化所述多个图像中的所述像素的值；在多个经修改的图像的至少一个子集中选择像素的集群作为所述3D环境中的特征的代表；根据所选择的像素的集群生成特征描述符；以及使所述特征描述符经由所述网络被发送到所述远程定位服务。
[0019]根据一些实施例，修改所述多个图像以相对于用第二类型的电子设备所捕获的图像中的像素的值来归一化所述多个图像中的所述像素的值包括：修改由所述传感器所捕获
的所述多个图像的所述像素的亮度值。
[0020]根据一些实施例，修改所述多个图像以相对于用第二类型的电子设备所捕获的图像中的像素的值来归一化所述多个图像中的所述像素的值包括：对所述多个图像应用伽马校正。
[0021]根据一些实施例，修改所述多个图像以相对于用第二类型的电子设备所捕获的图像中的像素的值来归一化所述多个图像中的所述像素的值还包括：对所述多个图像应用去噪操作。
[0022]根据一些实施例，在多个经修改的图像的至少一个子集中选择像素的集群作为所述3D环境中的特征的代表还包括：对所述多个图像应用镜头阴影校正操作。
[0023]根据一些实施例，所述便携式电子设备是智能电话，以及所述传感器是所述智能电话上的相机，以及在多个经修改的图像的至少一个子集中选择像素的集群作为所述3D环境中的特征的代表包括：在所述多个经修改的图像的所述子集中选择像素的集群，其中，至少部分地通过基于在所述图像中检测到的运动模糊而滤除所述多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种在交叉现实系统中操作第一类型的便携式电子设备的方法，在所述交叉系统中，多种类型的设备经由至少一个网络与远程定位服务交互，所述便携式电子设备被配置为捕获图像，所述方法包括以下动作：用所述便携式电子设备上的传感器来捕获多个图像，其中，所述多个图像包括描绘在捕获时所述便携式电子设备的三维3D环境的像素；修改所述多个图像以相对于用第二类型的电子设备所捕获的图像中的像素的值来归一化所述多个图像中的所述像素的值；在多个经修改的图像的至少一个子集中选择像素的集群作为所述3D环境中的特征的代表；根据所选择的像素的集群生成特征描述符；以及使所述特征描述符经由所述网络被发送到所述远程定位服务。2.根据权利要求1所述的方法，其中，修改所述多个图像以相对于用第二类型的电子设备所捕获的图像中的像素的值来归一化所述多个图像中的所述像素的值包括：修改由所述传感器所捕获的所述多个图像的所述像素的亮度值。3.根据权利要求2所述的方法，其中，修改所述多个图像以相对于用第二类型的电子设备所捕获的图像中的像素的值来归一化所述多个图像中的所述像素的值包括：对所述多个图像应用伽马校正。4.根据权利要求3所述的方法，其中，修改所述多个图像以相对于用第二类型的电子设备所捕获的图像中的像素的值来归一化所述多个图像中的所述像素的值还包括：对所述多个图像应用去噪操作。5.根据权利要求3所述的方法，其中，在多个经修改的图像的至少一个子集中选择像素的集群作为所述3D环境中的特征的代表还包括：对所述多个图像应用镜头阴影校正操作。6.根据权利要求1所述的方法，其中：所述便携式电子设备是智能电话，以及所述传感器是所述智能电话上的相机。7.根据权利要求6所述的方法，其中：在多个经修改的图像的至少一个子集中选择像素的集群作为所述3D环境中的特征的代表包括：在所述多个经修改的图像的所述子集中选择像素的集群，其中，至少部分地通过基于在所述图像中检测到的运动模糊而滤除所述多个经修改的图像中的图像来形成所述子集。8.根据权利要求1所述的方法，其中：所述便携式电子设备是手持设备；以及所述第二类型是包括头戴式显示器的可穿戴设备，所述头戴式显示器包括安装在其上的多个相机。9.根据权利要求1所述的方法，其中，根据所选择的像素的集群生成特征描述符包括：生成与所述特征描述符相关联的位置信息。10.根据权利要求1所述的方法，还包括以下动作：从所述远程定位服务获得关于所述3D环境的已存储空间信息的已存储坐标框架与本地坐标框架之间的变换。11.一种交叉现实系统中的第一类型的便携式电子设备，在所述交叉现实系统中，多种
类型的设备经由至少一个网络与远程定位服务交互，所述便携式电子设备被配置为捕获图像，包括：传感器，其被配置为捕获多个图像；至少一个处理器，其被配置为执行计算机可执行指令，其中，所述计算机可执行指令包括用于以下操作的指令：用所述便携式电子设备上的所述传感器来捕获所述多个图像，其中，所述多个图像包括描绘在捕获时所述便携式电子设备的三维3D环境的像素；修改所述多个图像以相对于用第二类型的电子设备所捕获的图像中的像素的值来归一化所述多个图像中的所述像素的值；在多个经修改的图像的至少一个子集中选择像素的集群作为所述3D环境中的特征的代表；根据所选择的像素的集群生成特征描述符；以及使所述特征描述符经由所述网络被发送到所述远程定位服务。12.根据权利要求11所述的便携式电子设备，其中，修改所述多个图像以相对于用第二类型的电子设备所捕获的图像中的像素的值来归一化所述多个图像中的所述像素的值包括：修改由所述传感器所捕获的所述多个图像的所述像素的亮度值。13.根据权利要求12所述的便携式电子设备，其中，修改所述多个图像以相对于用第二类型的电子设备所捕获的图像中的像素的值来归一化所述多个图像中的所述像素的值包括：对所述多个图像应用伽马校正。14.根据权利要求13所述的便携式电子设备，其中，修改所述多个图像以相对于用第二类型的电子设备所捕获的图像中的像素的值来归一化所述多个图像中的所述像素的值还包括：对所述多个图像应用去噪操作。15.根据权利要求13所述的便携式电子设备，其中，在多个经修改的图像的至少一个子集中选择像素的集群作为所述3D环境中的特征的代表还包括：对所述多个图像应用镜头阴影校正操作。16.根据权利要求11所述的便携式电子设备，其中，所述便携式电子设备是智能电话，以及所述传感器是所述智能电话上的相机，以及其中：在多个经修改的图像的至少一个子集中选择像素的集群作为所述3D环境中的特征的代表包括：在所述多个经修改的图像的所述子集中选择像素的集群，其中，至少部分地通过基于在所述图像中检测到的运动模糊而滤除所述多个经修改的图像中的图像来形成所述子集。17.根据权利要求11所述的便携式电子设备，其中：所述便携式电子设备是手持设备；以及所述第二类型是包括头戴式显示器的可穿戴设备，所述头戴式显示器包括安装在其上的多个相机。18.根据权利要求11所述的便携式电子设备，其中，根据所选择的像素的集群生成特征描述符包括：生成与所述特征描述符相关联的位置信息。19.根据权利要求11所述的便携式电子设备，其中，所述方法还包括以下动作：从所述远程定位服务获得关于所述3D环境的已存储空间信息的已存储坐标框架与本
地坐标框架之间的变换。20.一种存储计算机可执行指令的计算机可读介质，所述计算机可执行指令被配置为在由至少一个处理器执行时执行一种用于在交叉现实系统中操作第一类型的便携式电子设备的方法，在所述交叉显示系统中，多种类型的设备经由至少一个网络与远程定位服务交互，所述便携式电子设备被配置为捕获图像，所述方法包括以下动作：用所述便携式电子设备上的传感器来捕获多个图像，其中，所述多个图像包括描绘在捕获时所述便携式电子设备的三维3D环境的像素；修改所述多个图像以相对于用第二类型的电子设备所捕获的图像中的像素的值来归一化所述多个图像中的所述像素的值；在多个经修改的图像的至少一个子集中选择像素的集群作为所述3D环境中的特征的代表；根据所选择的像素的集群生成特征描述符；以及使所述特征描述符经由所述网络被发送到所述远程定位服务。21.一种在交叉现实系统中操作第一类型的便携式电子设备的方法，在所述交叉现实系统中，多种类型的设备经由至少一个网络与远程定位服务交互，所述便携式电子设备被配置为捕获图像，所述方法包括以下动作：用所述便携式电子设备上的传感器来捕获多个图像，其中，所捕获的图像包括描绘在捕获时所述便携式电子设备的三维3D环境的多个像素；通过滤除图像来选择所述多个图像的子集；在所述多个图像的所述子集中选择像素的集群，其中，所选择的像素的集群是所述3D环境中的特征的代表；根据所选择的像素的集群生成特征描述符；以及使所述特征描述符经由所述网络被发送到所述远程定位服务。22.根据权利要求21所述的方法，其中，通过滤除图像来选择所述多个图像的子集包括：滤除在其中检测到运动模糊超过阈值的图像。23.根据权利要求21所述的方法，其中，通过滤除图像来选择所述多个图像的子集包括：滤除在其中检测到过度亮度的图像。24.根据权利要求21所述的方法，其中，通过滤除图像来选择所述多个图像的子集包括：如果确定所述图像不适合定位，则丢弃所述图像。25.一种操作多个便携式设备以在三维3D环境中渲染虚拟内容的方法，所述方法包括用包括所述多个便携式设备中的便携式设备的一个或多个处理器来执行以下动作：基于所述便携式设备上的一个或多个传感器的输出，在所述便携式设...

【专利技术属性】
技术研发人员：X，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：