基于上下文的虚拟对象渲染制造技术

本公开内容的各方面涉及一种包括存储至少一个程序的计算机可读存储介质的系统以及用于基于上下文信息在图像内容中描绘的现实世界环境中渲染虚拟对象的方法。选择虚拟对象模板。基于与计算设备相关联的上下文信息确定虚拟对象模板的一个或更多个风格化。通过将一个或更多个风格化应用于虚拟对象模板来生成虚拟对象。在计算设备的摄像机馈送内捕获的3D空间内渲染虚拟对象。空间内渲染虚拟对象。空间内渲染虚拟对象。

【技术实现步骤摘要】
【国外来华专利技术】基于上下文的虚拟对象渲染
[0001]优先权要求
[0002]本申请要求2020年1月20日提交的美国专利申请序列号第16/747,318号和2019年9月6日提交的美国临时申请序列号第62/897,001号的优先权，其中的每一个通过引用整体并入本文中。


[0003]本公开内容一般涉及视觉呈现，更具体地涉及基于上下文数据在摄像机馈送中描绘的现实世界环境中渲染虚拟对象。

技术介绍

[0004]虚拟渲染系统可以用于创建增强现实体验，其中三维(3D)虚拟对象图形内容似乎存在于现实世界中。许多常规的虚拟渲染系统通常渲染为所有用户所共用的基本静态模板，并且通常无法提供吸引人和有趣的增强现实体验。由于环境条件、用户动作、摄像机与正在渲染的对象之间的意外视觉中断等，这些系统还可能出现呈现问题。
附图说明
[0005]在不一定按比例绘制的附图中，相似的附图标记可以描述不同视图中的相似部件。为了容易识别对任何特定元素或行动的讨论，附图标记中的一个或多个最高位数字是指首次引入该元素的图号。在附图的图中，通过示例而非限制的方式来示出一些实施方式，在附图中：
[0006]图1是示出根据一些示例实施方式的用于基于上下文信息渲染虚拟对象的示例通信系统的系统图。
[0007]图2是示出根据示例实施方式的通信系统的更多细节的框图。
[0008]图3是示出根据示例实施方式的可以存储在消息传递服务器系统的数据库中的数据的示意图。
[0009]图4是示出根据示例实施方式的由消息传递客户端应用生成以用于进行通信的消息的结构的示意图。
[0010]图5是示出根据示例实施方式的虚拟渲染系统的各种组件的框图。
[0011]图6至图10是示出根据示例实施方式的在执行用于在3D空间中渲染虚拟对象的方法时虚拟渲染系统的示例操作的流程图。
[0012]图11是示出根据一些示例实施方式的由虚拟渲染系统基于上下文信息渲染的虚拟对象的界面图。
[0013]图12是示出根据示例实施方式的机器的组件的框图，所述机器的组件能够从机器可读介质(例如，机器可读存储介质)读取指令并执行本文中讨论的方法中的任何一个或更多个方法。
具体实施方式
[0014]以下的描述包括实施本公开内容的说明性实施方式的系统、方法、技术、指令序列和计算机器程序产品。在以下描述中，出于说明的目的，阐述了许多具体细节，以便提供对本专利技术主题的各种实施方式的理解。然而，对于本领域技术人员来说，将明显的是，可以在没有这些具体细节的情况下实践本专利技术主题的实施方式。通常，不必详细示出公知的指令实例、协议、结构和技术。
[0015]此外，本公开内容的实施方式通过创建增强现实体验来改进虚拟渲染系统的功能，所述增强现实体验利用上下文信息将虚拟对象渲染到图像数据(例如，图像和视频)中描绘的3D现实世界环境，如同对象存在于现实世界环境中一样。在渲染虚拟对象时，虚拟渲染系统使用一组规则，该组规则可以基于上下文信息中的一个或更多个上下文信号指定要渲染虚拟对象的方式。更具体地，在一些实施方式中，虚拟渲染系统使用该组规则来确定可以添加至虚拟对象模板以生成用于渲染的虚拟对象的风格化以及在渲染时虚拟对象的行为。
[0016]上下文信号可以提供关于与虚拟对象渲染相关联的移动设备周围的环境的信息。例如，上下文信息可以包括以下中的一个或更多个：用户输入数据；生物识别数据；运动数据；环境数据；定位数据；时间数据；描述事件的事件数据；描述计算设备位置的位置数据；由摄像机生成的图像数据的视觉属性；由摄像机生成的检测到对象的图像数据；由摄像机生成的检测到动作或姿势的图像数据；天气状况数据；由与计算设备通信的麦克风产生的音频数据；计算设备用户的注视；或者虚拟对象的属性。例如，一个或更多个风格化可以包括以下中的任意一个或更多个：颜色；纹理；尺寸；对象几何形状；不透明度；排版；印刷重点；装饰；或者与虚拟对象有关的附加虚拟表示。虚拟对象的行为可以对应于虚拟对象的动画移动或动作。
[0017]作为第一示例，如果周围环境是海滩，则渲染系统可以用砂状纹理渲染虚拟对象。作为第二示例，如果温度低于华氏32度，则渲染系统可以用冰柱状装饰渲染虚拟对象。作为第三示例，渲染系统可以基于检测到用户键入“爱”而渲染心形和/或微笑表情符号。作为第四示例，如果虚拟对象包括文本字符串“我生气了”，则渲染系统可能会连同烟雾和/或火焰表情符号一起渲染虚拟对象。作为第五示例，如果在摄像机馈送中描绘了一碗拉面，则虚拟渲染系统可以在基于一碗拉面的环境中的一定位置处渲染拉面猫。作为第五示例，当在米饭和拉面餐厅时，渲染系统可能会渲染包括词语“米饭和拉面”的虚拟对象。在该示例中，可以基于虚拟渲染系统基于一个或更多个生物识别信号确定用户愉快而连同樱花花瓣一起渲染文本“米饭和拉面”。
[0018]图1是示出根据一些示例实施方式的用于基于上下文信息渲染虚拟对象的示例通信系统100的系统图。例如，通信系统100可以是一种消息传递系统，其中客户端在通信系统100内传送和交换数据，其中某些数据被传送至本文中描述的可穿戴设备以及从本文中描述的可穿戴设备传送。数据可以涉及各种功能(例如，发送和接收图像内容以及文本和其他媒体通信)以及与通信系统100及其用户相关联的各方面。尽管通信系统100在本文中被示出为具有客户端服务器架构，但是其他实施方式可以包括其他网络架构，例如对等式网络环境或分布式网络环境。
[0019]如图1中所示，通信系统100包括应用服务器130。应用服务器130通常基于由接口
层124、应用逻辑层126和数据层128组成的三层架构。如相关计算机和因特网相关领域的技术人员所理解的，图1中所示的每个模块或引擎表示一组可执行软件指令以及用于执行指令的相应硬件(例如，存储器和处理器)。在各种实施方式中，附加功能模块和引擎可以与消息传递系统例如图1中所示的消息传递系统一起使用，以便于本文中没有具体描述的附加功能。此外，图1中描绘的各种功能模块和引擎可以驻留在单个服务器计算机上，或者可以以各种布置分布在几个服务器计算机上。此外，尽管应用服务器130在图1中被描绘为具有三层架构，但是本专利技术主题决不限于这样的架构。
[0020]如图1中所示，接口层124由接口模块(例如，web服务器)140组成，所述接口模块140接收来自各种客户端设备和服务器例如执行客户端应用112的客户端设备110的请求。响应于接收到的请求，接口模块140经由网络104向请求设备传送适当响应。例如，接口模块140可以接收诸如超文本传输协议(HTTP)请求或其他基于web的应用编程接口(API)请求的请求。
[0021]客户端设备110可以执行已经为特定平台开发以包括多种移动设备和特定于移动的操作系统(例如，IOS
TM
、ANDROID
TM
、PHONE)中的任何一种的一个或多个常规web浏览器应用(也称为“app”)。在示例中，客户端设备110正在执行客户端应用112。客户本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：存储器；以及至少一个硬件处理器，所述至少一个硬件处理器耦接至所述存储器并且包括虚拟渲染系统，所述虚拟渲染系统使所述系统执行包括以下的操作：选择虚拟对象模板；基于与计算设备相关联的上下文信息来确定所述虚拟对象模板的一个或更多个风格化；通过将所述一个或更多个风格化应用于所述虚拟对象模板来生成虚拟对象；以及在所述计算设备的摄像机馈送内捕获的3D空间内渲染所述虚拟对象，所述虚拟对象包括所述一个或更多个风格化。2.根据权利要求1所述的系统，其中，所述操作还包括：基于所述一个或更多个上下文信号确定所述虚拟对象的行为；其中，所述虚拟对象的渲染包括基于所述行为渲染执行一个或更多个移动或动作的所述虚拟对象。3.根据权利要求1所述的系统，其中，所述操作还包括：基于所述上下文信息检测触发事件；其中，所述虚拟对象模板的选择响应于检测到所述触发事件。4.根据权利要求3所述的系统，其中，所述虚拟对象包括与所述触发事件有关的内容。5.根据权利要求1所述的系统，其中，所述虚拟对象的选择包括：从所述计算设备获得位置数据，所述位置数据描述所述计算设备的位置；其中，所述虚拟对象模板的选择基于所述位置数据。6.根据权利要求5所述的系统，其中，所述虚拟对象模板的选择还包括：使用所述位置数据从数据库标识所述虚拟对象模板。7.根据权利要求5所述的系统，其中，所述虚拟对象模板包括与所述计算设备的位置有关的文本字符串。8.根据权利要求1所述的系统，其中，所述上下文信息包括以下中的一个或更多个：用户输入数据；生物识别数据；运动数据；环境数据；定位数据；时间数据；描述事件的事件数据；描述所述计算设备的位置的位置数据；由摄像机生成的图像数据的视觉属性；由所述摄像机生成的检测到对象的图像数据；由所述摄像机生成的检测到动作或姿势的图像数据；天气状况数据；由与所述计算设备通信的麦克风产生的音频数据；所述计算设备的用户的注视；或者所述虚拟对象的属性。9.根据权利要求1所述的系统，其中，所述一个或更多个风格化包括以下中的一个或更多个：颜色；纹理；尺寸；对象几何形状；不透明度；排版；印刷重点；装饰；或者与所述虚拟对象模板有关的附加虚拟表示。10.根据权利要求1所述的系统，其中，在所述3D空间内渲染所述虚拟对象包括：检测在所述摄像机馈送内捕获的所述3D空间中的参考表面；以及基于所检测到的参考表面将所述虚拟对象定向在所述3D空间中的所述位置处。11.根据权利要求10所述的系统，其中，将所述虚拟对象定向在所述3D空间中的所述位置处包括：
基于所检测到的参考表面将所述虚拟对象分配给所述3D空间中的所述位置；以及标识能够操作以在所述3D空间中跟踪所述虚拟对象的跟踪标记。12.根据权利要求11所述的系统，其中，所述操作还包括：由来自一组跟踪子系统之中的第一跟踪子...

【专利技术属性】
技术研发人员：塞缪尔，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：