用于大规模增强现实的位置映射制造技术

一种增强现实，执行以下操作，包括：访问包括图像数据、位置数据和取向数据的数据对象；对数据对象应用变换以产生经校正的数据对象；基于经校正的数据对象生成点云；至少基于数据对象的位置数据将点云分配给位置；检测处于该位置的客户端设备；以及响应于检测到处于该位置的客户端设备，将点云加载至客户端设备。将点云加载至客户端设备。将点云加载至客户端设备。

【技术实现步骤摘要】
【国外来华专利技术】用于大规模增强现实的位置映射
[0001]优先权要求
[0002]本申请要求于2020年3月27日提交的美国专利申请第16/833,160号的优先权，该美国专利申请通过引用整体并入本文。


[0003]本公开内容的实施方式总体上涉及移动计算技术，并且更具体地但不作为限制地涉及用于在客户端设备处呈现增强现实(augmented
‑
reality，AR)内容的系统。

技术介绍

[0004]增强现实是其中通过计算机生成的感知信息来增强存在于现实世界中的对象的现实世界环境的交互体验，有时跨多个感知模态，包括视觉、听觉、触觉、体感和嗅觉。增强现实的主要价值是数字世界的组成部分融入人对现实世界的感知中的方式，而不是作为数据的简单显示，而是通过作为环境的自然部分感知的沉浸感的集成。
附图说明
[0005]为了容易地标识对任何特定元件或动作的讨论，附图标记中的一个或多个最高位数字指代该元件被首次引入时所在的图号。
[0006]图1是示出根据一些实施方式的用于通过网络来交换数据(例如，消息和相关内容)的示例消息传送系统的框图，其中，该消息传送系统包括增强现实系统。
[0007]图2是示出根据示例实施方式的关于消息传送系统的另外的细节的框图。
[0008]图3是示出根据某些示例实施方式的增强现实系统的各种模块的框图。
[0009]图4是描绘根据某些示例实施方式的生成点云的方法的流程图。
[0010]图5是描绘根据某些示例实施方式的生成点云的方法的流程图。
[0011]图6是描绘根据某些示例实施方式的在客户端设备处加载点云的一部分的方法的流程图。
[0012]图7是描绘根据某些示例实施方式的选择点云的一部分的方法的示图。
[0013]图8是示出可以与本文中描述的各种硬件架构结合使用并且可以用于实现各种实施方式的代表性软件架构的框图。
[0014]图9是示出根据一些示例实施方式的能够从机器可读介质(例如，机器可读存储介质)读取指令并执行本文所讨论的方法中的任何一种或更多种方法的机器的部件的框图。
具体实施方式
[0015]如上所述，增强现实(AR)是其中通过计算机生成的感知信息来增强存在于现实世界中的对象的现实世界环境的交互体验。一些AR系统使用点云来生成和呈现AR内容，其中点云是空间中的数据点的组，其测量表面特征和它们周围的对象的外表面。
[0016]由于实际生成点云所需的数据量，点云的使用通常限于小区域。例如，限定单个房
间中的表面特征的点云的创建可以是相对直接的，而表示地区或城市的表面特征的点云的创建在当前系统下由于多种原因在逻辑上是不可能的。收集生成这种大的点云所需的数据本质上是繁重并且耗时的，并且需要大量的组织和分析。此外，由这样的系统生成的结果点云将非常大并且在计算上要求高，这使得其在用于在包括移动设备的客户端设备处显示AR内容时是低效且不切实际的。
[0017]因此，在某些示例实施方式中，公开了一种AR系统，该AR系统执行以下操作，包括：访问包括图像数据、位置数据和取向数据的数据对象；对数据对象应用变换以产生经校正的数据对象；
[0018]基于经校正的数据对象生成点云；
[0019]至少基于数据对象的位置数据将点云分配给位置；检测处于所述位置的客户端设备；以及响应于检测到处于所述位置的客户端设备，将点云加载至客户端设备。
[0020]在一些示例实施方式中，数据对象可以包括由多个客户端设备收集并基于与图像和视频对应的位置数据来在数据库内被编制索引的图像和视频。AR系统可以访问数据库并且基于来自从多个客户端设备收集的图像和视频的图像数据和位置数据来生成给定位置的点云。
[0021]在一些示例实施方式中，数据对象可以包括从全向摄像装置(360摄像装置)收集的图像和视频，其中360摄像装置具有覆盖大致整个球体或水平面中的至少整个圆的视场。在这样的实施方式中，可以从360摄像装置收集图像和视频，其中图像和视频包括时间戳和位置数据。
[0022]在一些示例实施方式中，为了生成点云，AR系统可以访问包括视频帧的组的视频数据，其中每个视频帧包括时间戳、位置数据、取向数据和图像数据。AR系统可以输出视频帧的组的一部分，并且基于视频帧的组的一部分生成点云。为了基于数据对象生成点云，在某些实施方式中，AR系统可以对数据对象执行变换，其中变换包括线性校正。
[0023]在一些实施方式中，在客户端设备处加载点云可以包括识别要在客户端设备处加载的点云的一部分的操作。例如，如上所述，使用点云在大环境中呈现AR内容的技术问题是大规模点云的计算需求。因此，在某些实施方式中，AR系统可以基于一个或更多个上下文(contextual)条件或因素来识别要在客户端设备处加载的点云的一部分。
[0024]在一些实施方式中，上下文因素可以包括客户端设备的位置，其中客户端设备的位置和取向限定客户端设备的视点。AR系统可以确定哪些界标和表面特征从客户端设备的视点是可见的，并且基于从客户端设备的视点可见的界标和表面特征来识别点云的一部分。
[0025]在一些实施方式中，上下文因素可以包括一天中的时间。在这样的实施方式中，数据对象可以包括以下图像和视频：所述图像和视频包括指示图像和视频被收集的一天中的时间的时间戳。因此，点云可以包括多个点，其中单个表面特征可以由多于一个点表示，并且每个点可以基于一天中的不同时间。例如，给定的表面特征或界标可以具有表示在一天中的第一时间(即早晨)的表面特征或界标的第一组点，以及表示在一天中的第二时间(即晚上)的表面特征或界标的第二组点。因此，AR系统可以基于时间性考量来识别点云的一部分，时间性考量包括客户端设备在给定位置处时或客户端设备请求AR内容时一天中的时间。
[0026]在一些实施方式中，上下文因素可以包括客户端设备本身的属性，包括客户端设备的存储器或存储装置容量、以及客户端设备的网络连接速度。因此，可以基于客户端设备的设备属性来确定点云的一部分的最优大小，并且可以基于该最优大小来选择点云的一部分。
[0027]图1是示出用于通过网络来交换数据(例如，消息和相关联的内容)的示例消息传送系统100的框图。消息传送系统100包括一个或更多个客户端设备102，客户端设备102托管包括消息传送客户端应用104的多个应用。每个消息传送客户端应用104经由网络106(例如，因特网)通信地耦接至消息传送客户端应用104和消息传送服务器系统108的其他实例。
[0028]因此，每个消息传送客户端应用104能够经由网络106与另一消息传送客户端应用104以及与消息传送服务器系统108进行通信并交换数据。在消息传送客户端应用104之间以及消息传送客户端应用104与消息传送服务器系统108之间交换的数据包括功能(例如，调用功能的命令)以及有效载荷数据(例如，文本、音频、视频或其他多媒体数据)。
[0029]消息传送服务器系统108经由网络1本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：访问包括图像数据、位置数据和取向数据的数据对象；对所述数据对象应用变换以产生经校正的数据对象；基于所述经校正的数据对象生成点云；至少基于所述数据对象的位置数据将所述点云分配给位置；检测处于所述位置的客户端设备；以及响应于检测到处于所述位置的客户端设备，将所述点云加载至所述客户端设备。2.根据权利要求1所述的方法，其中，所述数据对象包括视频帧，并且访问所述视频帧包括：访问包括视频帧的组的视频数据；以及输出所述视频帧的组的一部分，所述视频帧的组的所述一部分包括所述视频帧。3.根据权利要求1所述的方法，其中，所述应用变换包括：对所述数据对象执行线性校正。4.根据权利要求1所述的方法，其中，所述数据对象包括360摄像装置数据。5.根据权利要求1所述的方法，其中，检测处于所述位置的客户端设备包括：从所述客户端设备接收包括所述位置的标识的请求。6.根据权利要求1所述的方法，其中，所述方法还包括：使得基于所述点云在所述客户端设备处显示媒体内容。7.根据权利要求1所述的方法，其中，将所述点云加载至所述客户端设备包括：确定与所述客户端设备相关联的上下文条件；基于所述上下文条件识别所述点云的一部分；以及在所述客户端设备处加载所述点云的所述一部分。8.根据权利要求7所述的方法，其中，所述上下文条件包括与所述客户端设备相关联的网络的连接速度。9.根据权利要求7所述的方法，其中，所述上下文条件包括一天中的时间。10.根据权利要求7所述的方法，其中，所述上下文条件包括用户简档数据。11.根据权利要求1所述的方法，其中，将所述点云加载至所述客户端设备包括：基于所述数据对象的所述图像数据来识别界标；基于所述界标来识别所述点云的一部分；以及在所述客户端设备处加载所述点云的所述一部分。12.一种系统，包括：存储器；以及至少一个硬件处理器，其耦接至所述存储器并且包括使所述系统执行操作的指令，所述操作包括：访问包括图像数据、位置数据和取向数据的数据...

【专利技术属性】
技术研发人员：理查德，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：