交互增强现实系统技术方案

在此描述的示例实施例涉及一种增强现实系统，用于在客户端设备处生成和使得显示交互增强现实内容。增强现实内容。增强现实内容。

【技术实现步骤摘要】
【国外来华专利技术】交互增强现实系统
[0001]优先权要求
[0002]本申请是2019年9月10日提交的序列号为16/566,379的美国申请的延续并要求其优先权，该申请要求于2019年1月31日提交的申请号为62/799,667的美国临时申请的优先权权益，它们中的每一个通过引用全文并入在此。


[0003]本公开的实施例总体上涉及移动计算技术，并且更具体地而非限制性地涉及用于在客户端设备处生成和显示交互增强现实内容的系统。

技术介绍

[0004]增强现实(AR)是物理的现实世界环境的实时直接或间接视图，其元素由计算机生成的感觉输入来增强。
附图说明
[0005]为了容易地识别对任何特定元素或动作的讨论，参考标记中的一个或多个最高有效数字指的是该元素首次引入的附图编号。
[0006]图1是示出根据一些实施例的用于在网络上交换数据(例如，消息和相关联的内容)的示例消息传递系统的框图，其中，消息传递系统包括上下文滤镜系统。
[0007]图2是示出根据示例实施例的关于消息传递系统的进一步细节的框图。
[0008]图3是示出根据某些示例实施例的上下文滤镜系统的各个模块的框图。
[0009]图4是根据某些示例实施例的描述使得在客户端设备处显示交互AR内容的方法的流程图。
[0010]图5是根据某些示例实施例的描述使得在客户端设备处显示交互AR内容的方法的流程图。
[0011]图6是根据某些示例实施例的描述使得在客户端设备处显示交互AR内容的方法的流程图。
[0012]图7是根据某些示例实施例的描绘交互AR内容的界面流程图。
[0013]图8是根据某些示例实施例的描绘交互AR内容的界面流程图。
[0014]图9是根据某些示例实施例的描绘交互AR内容的界面图。
[0015]图10是示出了代表性软件架构的框图，该软件架构可以与本文描述的各种硬件架构结合使用，并且可以用于实现各种实施例。
[0016]图11是示出根据一些示例实施例的能够从机器可读介质(例如，机器可读存储介质)读取指令并执行本文讨论的方法中的任何一个或多个的机器的组件的框图。
具体实施方式
[0017]如上所述，AR系统在图形用户界面(GUI)内向用户提供，以显示物理现实世界环境
的实时直接或间接视图，其中，视图的元素由计算机生成的感觉输入来增强。例如，AR界面可在现实世界环境的视图的显示内的位置处呈现媒体内容，以使得媒体内容看起来与现实世界环境中的元素交互。
[0018]这里描述的示例实施例涉及一种AR系统，该AR系统用于在客户端设备处生成交互AR内容并使得显示交互AR内容。根据某些实施例，AR系统被配置为执行操作，该操作包括：在客户端设备处的图形用户界面内显示环境的呈现，其中，环境的呈现包括在该环境中的位置处的对象的显示；响应于使得显示包括对象的显示的环境的呈现而识别对象；访问与对象相关联的纹理贴图(texture map)和网格模型；基于与对象相关联的纹理贴图和网格模型来生成交互内容；基于对象的显示在环境的呈现中的位置，使得在环境的呈现中显示交互内容；接收来自客户端设备的交互输入；并且在环境的呈现内呈现交互输入的可视化，交互的可视化至少是基于交互内容。
[0019]交互AR内容可使用户能够通过在客户端设备处显示的环境的AR呈现来实时交互地延伸和弯曲一个或多个建筑物或其他现实世界对象。根据某些实施例，交互AR系统例如基于对象的位置(例如，地理定位数据)或基于对象的视觉特性，维护映射到或以其他方式链接到现实世界对象的网格模型的储存库。
[0020]在一些实施例中，网格模型可包括“帽状网格(cap mesh)”、“基础网格”和位于帽状网格和基础网格之间的可重复段。为了生成并使得显示AR内容，交互AR系统基于现实世界对象在环境的呈现中的位置，在环境的呈现中的该位置呈现基础网格，然后沿着长度和曲率可变的延伸的可能是非直的脊柱(基于用户输入)平铺(tile)可重复段，然后在脊柱的末端与末端脊柱方向对齐地渲染帽状网格。
[0021]在一些实施例中，对原始网格模型的待切割和平铺的段的选择可以是基于手动用户输入，或者在一些实施例中，可以是基于一种或多种自动段选择方法。例如，在一些实施例中，交互AR系统基于对象的属性生成具有类别的语义纹理贴图。交互AR系统然后可使用语义纹理贴图，基于在对象空间中在水平平面上并且在一些实施例中在垂直平面上连续的纹理贴图的类别，找到对象的其他相似属性。从对象的显示中选择并分段出最好的这样的行。
[0022]在原始网格模型的段被选择之后，该段可基于被延伸的脊柱的曲率和长度沿着被延伸的脊柱来平铺。在一些实施例中，在帽状网格和基础网格在几何上和视觉上都相似的情况下，交互AR系统简单地将可重复段直接堆叠在彼此的顶部以沿着脊柱填充帽状网格与基础网格之间的空间。在另外的实施例中，在帽状网格和基础网格在几何上或视觉上不相似的情况下，可重复段可沿脊柱平铺，以使得每隔一个可重复段是垂直(或在一些实施例中为水平)镜像，这样段顶部始终连接到下一段的原始顶部(被翻转的)，底部始终连接到前一段的原始底部。
[0023]在一些实施例中，脊柱的表示可包括由N个点和将这些点连接在一起的N
‑
1条线段组成的折线。交互AR系统可针对折线上的每个点计算正交标架(切线、法线和双切线)，其从折线的起点到折线的终点平滑地变化。在此类实施例中，脊柱的第一个点可能正好在基础网格的末端，并且坐标系被设置为标识(identity)，以使得第一平铺段完美地附着在基础网格上，脊柱的最后一个点是帽状网格的开始。
[0024]因此，当最终段长度变得太长以致于不能保持均匀采样时，用户可以通过将端点
进一步远离倒数第二个点并在该端添加新点来交互地延伸脊柱。用户还可以通过将端点移近倒数第二个点并在它们与倒数第二个点合并时从该端移除点来交互地缩回脊柱。在一些实施例中，交互AR系统可基于环境的呈现的属性来限制延伸或缩回的曲率，该属性包括对象在环境的呈现内的相对位置、用户对环境的呈现内的对象的视角，以及其中呈现环境的呈现的GUI的显示区域。用户还可通过拖动脊柱上的任何点来交互地弯曲整个脊柱。在此类实施例中，交互AR系统可在脊柱上运行基于隐式约束的物理模拟以响应于从客户端设备接收到的交互输入而对其进行动画处理，并且保持脊柱均匀采样并去除具有过高曲率的区域。
[0025]在一些实施例中，交互AR系统还可在没有任何直接用户交互的情况下以编程方式延伸或弯曲脊柱以自动地对延伸的对象进行动画处理。为了渲染被延伸的对象，交互AR系统计算三次样条曲线，该曲线可以平滑地在折线上插入点，然后计算需要多少可重复段才能完全覆盖基础网格与帽状网格之间的脊柱。
[0026]在一些示例实施例中，对象的识别可以是基于包括位置信息、视觉信息以及用户输入的一个或多个识别因素。在某些实施例中，AR系统可从客户端设备取得位置数据并且基于位置数据识别靠近客户端设备的一个或多本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：使得在客户端设备处的图形用户界面内显示环境的呈现，所述环境的所述呈现包括在所述环境内的位置处的对象的显示；响应于使得显示包括所述对象的所述显示的所述环境的所述呈现而识别所述对象；响应于识别所述对象而访问与所述对象相关联的纹理贴图和网格模型；基于与所述对象相关联的纹理贴图和网格模型来生成交互内容；基于所述对象在所述环境中的位置，在所述环境的所述呈现中显示所述交互内容；接收来自所述客户端设备的交互输入；以及在所述环境的所述呈现内呈现所述交互输入的可视化，所述交互输入的所述可视化至少是基于所述交互内容。2.根据权利要求1所述的方法，其中，响应于使得显示包括所述对象的所述显示的所述环境的所述呈现而识别所述对象进一步包括：访问标识所述客户端设备的位置的位置数据；以及至少基于所述客户端设备的所述位置来识别所述对象。3.根据权利要求1所述的方法，其中，响应于识别所述对象而访问与所述对象相关联的纹理贴图进一步包括：访问与所述客户端设备相关联的上下文数据；以及基于所述上下文数据来选择所述纹理贴图。4.根据权利要求3所述的方法，其中，所述上下文数据包括与所述客户端设备的用户相关联的用户简档数据。5.根据权利要求3所述的方法，其中，所述上下文数据包括时间数据。6.根据权利要求1所述的方法，其中，所述交互输入包括起点和轨迹，在所述环境的所述呈现内呈现所述交互输入的所述可视化包括：使得在所述客户端设备处的所述环境的所述呈现内的位置处显示抛物体，所述抛物体的位置是基于所述起点；基于所述轨迹计算所述抛物体的终点；确定所述抛物体的所述终点对应于所述交互内容的一部分；以及响应于确定所述抛物体的所述终点对应于所述交互内容的一部分而呈现通知。7.根据权利要求6所述的方法，其中，所述方法还包括：基于所述上下文数据来生成所述抛物体。8.根据权利要求1所述的方法，其中，所述网格模型包括在所述网格模型的第一端的基础网格、在所述网格模型的第二端的帽状网格、以及位于所述第一端和所述第一端之间的可重复段，呈现所述交互输入的所述可视化包括：基于所述对象在所述环境中的所述位置显示所述基础网格；基于所述交互输入在所述环境中显示所述帽状网格；以及将所述纹理贴图应用于位于所述基础网格和所述帽状网格之间的所述可重复段。9.一种机器可读存储介质，包括指令，所述指令在由机器的一个或多个处理器执行时使得所述机器执行操作，所述操作包括：使得在客户端设备处的图形用户界面内显示环境的呈现，所述环境的所述呈现包括在
所述环境内的位置处的对象的显示；响应于使得显示包括所述对象的所述显示的所述环境的所述呈现而识别所述对象；响应于识别所述对象而访问与所述对象相关联的纹理贴图和网格模型；基于与所述对象相关联的纹理贴图和网格模型来生成交互内容；基于所述对象在所述环境中的位置，在所述环境的所述呈现中显示所述交互内容；接收来自所述客户端设备的交互输入；以及在所述环境的所述呈现内呈现所述交互输入的可视化，所述交互输入的所述可视化至少是基于所述交互内容。10.根据权利要求9所述的机器可读存储介质，其中，响应于...

【专利技术属性】
技术研发人员：D，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：