增强现实系统技术方案

本公开涉及一种增强现实方法，在该方法中收集关于现实世界对象、结构或环境的视觉信息，并对视觉信息执行变形操作以生成虚拟内容，虚拟内容可替代或附加到现实世界的对象、结构或环境的实时捕获的图像内容来显示。一些特定实施例涉及共享视觉环境数据和/或表征客户端设备之间的变形操作的信息。户端设备之间的变形操作的信息。户端设备之间的变形操作的信息。

【技术实现步骤摘要】
【国外来华专利技术】增强现实系统
[0001]优先权要求
[0002]本申请是2019年2月1日提交的序列号为16/265,382的美国申请的延续并要求其优先权，该申请的全部内容通过引用并入本文。

技术介绍

[0003]增强现实(AR)是指使用计算机生成的增强功能以实时或接近实时的方式将新信息添加到图像中。例如，在设备的显示器上输出的墙壁的视频图像可以用不存在于墙壁上的显示细节来增强，但是这些细节通过增强现实系统生成为看起来好像它们在墙壁上。此类系统需要图像捕获信息的复杂混合，该信息与增强现实信息集成并匹配，增强现实信息以尝试从图像捕获设备确定的视角无缝呈现最终图像的方式被添加到捕获场景。
附图说明
[0004]附图中的各个附图仅示出了本公开的示例实施例并且不应被视为限制其范围。
[0005]为了容易地识别对任何特定元素或动作的讨论，参考数字中的一个或多个最高有效数字是指首先引入该元素的附图编号。
[0006]图1A是示出用于在网络上交换数据(例如，消息和相关联的内容)的示例消息系统的框图。
[0007]图1B是示出托管在诸如图1A中的应用服务器的应用服务器中的某些应用和子系统的进一步细节的框图。
[0008]图2是示出根据示例实施例的客户端设备的某些操作的示意图。
[0009]图3是示出根据某些示例实施例的用于在客户端设备处生成纹理贴图(texture map)和3D网格的示例性技术的示意图。
[0010]图4是示出用于跟踪客户端设备的定位变化的示例性技术的示意图。
[0011]图5示出了根据某些示例实施例的在3D网格上的转换的应用。
[0012]图6A和图6B示出了根据某些示例实施例的在设备中的所捕获的图像视图和增强的图像视图的显示。
[0013]图7A和图7B示出了根据本专利技术的某些实施例的转换效果。
[0014]图8A和图8B示出了根据本专利技术的其他实施例的转换效果。
[0015]图9是说明代表性软件架构的框图，其可与本文所述的各种硬件架构结合使用。
[0016]图10是示出根据一些示例实施例的能够从机器可读介质(例如，机器可读存储介质)读取指令并执行在此讨论的任何一种或多种方法的机器的组件的框图。
具体实施方式
[0017]词汇表
[0018]在此上下文中，“客户端设备”是指与通信网络接口连接以从一个或多个服务器系统或其他客户端设备获取资源的任何机器。客户端设备可以是但不限于：移动电话、台式计
算机、笔记本电脑、便携式数字助理(PDA)、智能电话、平板电脑、超级本、上网本、笔记本电脑、多处理器系统、基于微处理器的或可编程的消费电子产品、游戏机、机顶盒或用户可用来接入网络的任何其他通信设备。
[0019]在此上下文中，“通信网络”是指网络的一个或多个部分，其可以是自组网、内联网、外联网、虚拟专用网(VPN)、局域网(LAN)、无线局域网(WLAN)、广域网(WAN)、无线广域网(WWAN)、城域网(MAN)、互联网、互联网的一部分、公共电话交换网(PSTN)的一部分、老式电话服务(POTS)网络、蜂窝电话网络、无线网络、网络、另一类型的网络，或两个或多个此类网络的组合。例如，网络或网络的一部分可包括无线或蜂窝网络，并且耦接可以是码分多址(CDMA)连接、全球移动通信系统(GSM)连接或另一类型的蜂窝或无线耦接。在此示例中，耦接可实现多种类型的数据传输技术中的任何一种，例如单载波无线电传输技术(1xRTT)、演进数据优化(EVDO)技术、通用分组无线电服务(GPRS)技术、增强型数据速率GSM演进(EDGE)技术、包括3G的第三代合作伙伴计划(3GPP)、第四代无线(4G)网络、通用移动电信系统(UMTS)、高速分组接入(HSPA)、全球微波接入互操作性(WiMAX)、长期演进(LTE)标准、由各种标准制定组织定义的其他标准、其他远程协议，或其他数据传输技术。
[0020]在此上下文中，“短暂消息”是指在时间限制的持续时间内可访问的消息。短暂消息可以是文本、图像、增强现实内容、视频等。短暂消息的访问时间可由消息发送器设置。替代地，访问时间可以是默认设置，也可以是接收方指定的设置。不管设置技术如何，消息都是暂时的。
[0021]在此上下文中，“载波信号”是指能够存储、编码或携带指令以由机器执行的任何无形介质，并且包括数字或模拟通信信号或其他无形介质以促进这种指令的通信。指令可使用传输介质通过网络接口设备以及使用多个众所周知的传输协议中的任何一个在网络上发送或接收。
[0022]本文中的“机器可读介质”是指能够临时或永久地存储指令和数据的组件、设备或其他非暂时性的有形介质，并且可以包括但不限于：随机存取存储器(RAM)、只读存储器(ROM)、缓冲存储器、闪存、光学介质、磁性介质、高速缓存、其他类型的存储装置(例如，可擦除可编程只读存储器(EEPROM))和/或其任何合适的组合。术语“机器可读介质”应该被认为包括能够存储指令的单个介质或多个介质(例如，集中式或分布式数据库，或相关联的缓存和服务器)。术语“机器可读介质”还应被理解为包括能够存储由机器执行的指令(例如，代码)使得指令在由机器的一个或多个处理器执行时使得机器执行本文描述的任何一种或多种方法的任何介质或多种介质的组合。因此，“机器可读介质”指的是单个存储装置或设备，以及包括多个存储装置或设备的“基于云的”存储系统或存储网络。除非由术语“非暂时性”限定，否则术语“机器可读介质”还应包括载波信号和其他能够暂时或永久存储指令和数据的暂时性介质。
[0023]在此上下文中，术语“组件”是指具有边界的设备、物理实体或逻辑，该边界由提供对特定处理或控制功能的分区或模块化的功能或子例程调用、分支点、应用程序接口(API)或其他技术来定义。组件可通过它们与其他组件的接口进行组合以执行机器过程。组件可以是被设计为与其他组件以及通常执行相关功能的特定功能的程序的一部分一起使用的经封装的功能硬件单元。组件可构成软件组件(例如体现在机器可读介质上的代码)或硬件组件。“硬件组件”是能够执行某些操作的有形单元，并且可以以某种物理方式被配置或设
置。在各种示例实施例中，一个或多个计算机系统(例如独立计算机系统、客户端计算机系统，或服务器计算机系统)或计算机系统的一个或多个硬件组件(例如处理器或一组处理器)可以由软件(例如应用或应用部分)配置为操作以执行本文所述的某些操作的硬件组件。硬件组件也可机械地、电子地或其任何合适的组合来实现。例如，硬件组件可包括被永久性地配置为执行某些操作的专用电路或逻辑。硬件组件可以是专用处理器，例如现场可编程门阵列(FPGA)或专用集成电路(ASIC)。硬件组件还可包括可编程逻辑或电路，其由软件临时配置为执行某些操作。例如，硬件组件可包括由通用处理器或其他可编程处理器执行的软件。在由此类软件进行配置之后，硬件组件变成专门被定制以执行配置的功能的特定机器(或机器的特定组件)，并且不再是通用处理器。可以理解，机械地在专用和永久配置的电路本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在客户端设备中显示虚拟内容的计算机实现的方法，包括：在所述设备的处理器处，访问与现实世界对象或环境相对应的纹理贴图和3D网格；跟踪所述设备的定位的变化；在创造模式下，接收转换输入；通过将与所述转换输入相对应的转换应用到所述3D网格来生成虚拟内容，所述转换将所述3D网格的多个顶点映射到被转换的几何图形中的多个被转换的顶点，并根据所述映射和所述纹理贴图来用纹理数据填充所述被转换的顶点；以及处理由所述设备的图像传感器捕获的现实世界对象的至少一个当前图像，以将所述虚拟内容的视图叠加在所述当前图像上。2.根据权利要求1所述的方法，其中，访问纹理贴图和3D网格包括：由所述设备的图像传感器捕获现实世界对象的至少一个图像；基于被捕获的所述至少一个图像来确定与所述对象相对应的三维3D几何图形；处理所述至少一个图像以提取所述对象的相应图块的纹理数据；以及填充用于存储纹理数据的数据结构的至少一部分，所述数据结构将所述纹理数据映射到所述3D几何图形中的顶点，所述3D网格包括所述3D几何图形中相应顶点的3D表示，并且所述纹理贴图是被填充的数据结构。3.根据权利要求2所述的方法，还包括：通过将被填充的数据结构存储在存储介质中来缓存当前相机帧中针对所有顶点的纹理数据。4.根据权利要求3所述的方法，其中，用纹理数据填充所述被转换的顶点包括：对于每个被转换的顶点，确定所述3D网格的所述顶点在所述当前相机帧中是否可见；在所述3D网格的所述顶点在所述当前相机帧中可见的情况下，用在相应可见顶点处提取的纹理数据来填充所述被转换的顶点；以及在所述3D网格的所述顶点在所述当前相机帧中不可见的情况下，访问所述存储介质中的被填充的数据结构，获取针对顶点的被缓存的纹理数据，并用所述被缓存的纹理数据来填充所述被转换的顶点。5.根据权利要求1所述的方法，其中，访问所述纹理贴图和所述3D网格包括：确定所述设备相对于所述现实世界对象或环境的定位；以及根据所确定的定位从外部设备取得所述纹理贴图和所述3D网格，所述外部设备与所述设备通信连接。6.根据权利要求1所述的方法，其中，所述设备的定位由所述设备的定位系统来确定。7.根据权利要求6所述的方法，其中，所述定位系统至少包括耦接到所述设备的存储介质和至少一个处理器的第一定位硬件模块。8.根据权利要求7所述的方法，其中，所述第一定位硬件模块是全球定位系统GPS模块。9.根据权利要求1所述的方法，其中，跟踪所述设备的定位的变化包括：捕获所述现实世界对象的至少一个当前图像；识别所述至少一个当前图像中的特征；跟踪已识别特征的位置和取向的变化；以及
处理所检测的已识别特征的位置和取向的变化，以生成相对于所述对象的实时相机姿态。10.根据权利要求1所述的方法，其中，所述处理器是图形处理器单元GPU。11.根据权利要求1所述的方法，其中，获得第一位置估计包括接收用户输入位置估计。12.根据权利要求1所述的方法，其中，所述3D网格中的至少一个顶点映射到被转换的几何图形中的两个或更多个被转换的顶点。13.根据权利要求1所述的方法，其中，所述转换是以下中的至少一个：反射、变形、复制、或空间平移。14.根据权利要求1所述的方法，其中，获得纹理贴图和3D网格包括：从第二设备接...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：