本主题技术从可用的增强现实内容生成器中选择增强现实内容生成器的集合，所选择的增强现实内容生成器的集合包括用于应用三维(3D)效果的至少一个增强现实内容生成器。本主题技术使显示包括可选图形项的传送带界面，每个可选图形项对应于相应的增强现实内容生成器。本主题技术接收对来自可选图形项中的第一可选图形项的选择，第一可选图形项包括用于应用第一3D效果的第一增强现实内容生成器。本主题技术将与所选择的第一可选图形项对应的第一增强现实内容生成器应用于第一图像数据和第一深度数据。本主题技术生成包括向第一图像数据和第一深度数据应用的第一增强现实内容生成器的消息。生成器的消息。生成器的消息。
【技术实现步骤摘要】
【国外来华专利技术】消息传送系统中的包括3D数据的增强现实内容生成器
[0001]优先权要求
[0002]本申请要求于2020年4月13日提交的美国临时申请序列第63/009,158号的优先权权益，该美国临时申请的全部内容出于所有目的通过引用并入本文。
技术介绍
[0003]随着数字图像使用的增加、便携式计算设备的可负担性、数字存储介质的增加的容量的可用性以及网络连接的增加的带宽和可访问性，数字图像已成为越来越多人日常生活的一部分。
[0004]附图的若干个视图的简要描述
[0005]为了容易识别对任何特定元件或动作的讨论，附图标记中的一个或更多个最高位数字指代该元件被首次引入时所在的图号。
[0006]图1是根据一些示例实施方式的可以部署本公开内容的联网环境的图形表示。
[0007]图2是根据一些示例实施方式的消息传送客户端应用的图形表示。
[0008]图3是根据一些示例实施方式的如在数据库中维护的数据结构的图形表示。
[0009]图4是根据一些示例实施方式的消息的图形表示。
[0010]图5是根据一些示例实施方式的访问限制过程的流程图。
[0011]图6是示出根据一些实施方式的包括对应于给定消息的附加信息的如图4中所述的消息注释的结构的示意图。
[0012]图7是示出根据某些示例实施方式的注释系统的各种模块的框图。
[0013]图8示出了根据一些实施方式的描绘用于选择媒体叠加并将媒体叠加应用于媒体内容(例如，图像或视频)的传送带(carousel)以及在消息传送客户端应用(或消息传送系统)中呈现所应用的媒体叠加的示例用户界面。
[0014]图9示出了AR效果的示例，该AR效果示出了被渲染以在客户端设备上显示的粒子和多个帧。
[0015]图10示出了AR效果的示例，该AR效果示出了被渲染以在客户端设备上显示的相应3D变换(例如，波纹或漩涡)。
[0016]图11示出了AR效果的示例，该AR效果示出了被渲染以在客户端设备上显示的对动画3D对象的相应3D变换(例如，波纹或漩涡)。
[0017]图12是示出根据某些示例实施方式的用于提供用于选择具有3D效果的特定媒体叠加的传送带界面的方法的流程图。
[0018]图13是示出根据某些示例实施方式的用于渲染消息视图的方法的流程图。
[0019]图14是示出根据一些示例实施方式的执行用于处理图像数据和深度数据的转换通路的方法的流程图，该方法可以与用于生成3D消息的方法结合来执行。
[0020]图15是示出根据某些示例实施方式的响应于运动数据来更新消息视图的方法的流程图。
[0021]图16是示出根据一些示例实施方式的其中可以实现本公开内容的软件架构的框
图。
[0022]图17是根据一些示例实施方式的呈计算机系统形式的机器的图形表示，在该计算机系统中可以执行指令的集合以使机器执行本文中讨论的方法中任何一种或更多种。
具体实施方式
[0023]来自各种位置的兴趣广泛的用户可以捕获各种对象的数字图像，并且使其他人可经由网络(例如因特网)获得所捕获的图像。为了增强用户对数字图像的体验并提供各种特征，从而使得计算设备能够对在各种变化条件(例如，图像尺度、噪声、照明、运动或几何失真的变化)下捕获的各种对象和/或特征执行图像处理操作可能是有挑战性的并且是计算密集的。
[0024]如本文所讨论的，主题基础结构支持在整个消息传送系统的各个部件中创建和共享包括3D内容或AR效果的交互式三维(3D)媒体，本文称为消息。本文描述的基础结构使得能够跨本主题系统提供其他形式的3D且交互式的媒体，这允许跨消息传送系统以及与照片和视频消息一起共享基于深度且交互式的媒体。在本文描述的示例实施方式中，消息可以从实况摄像装置或经由存储装置(例如，其中，包括3D内容和/或AR效果的消息被存储在存储器或数据库中)进入系统。本主题系统支持运动传感器输入并且管理深度数据的发送和存储以及外部效果和资产数据的加载。
[0025]如本文所述，消息包括交互式3D图像，该交互式3D图像至少包括图像和深度数据。在示例实施方式中，除了常规的图像纹理之外，还使用本主题系统来渲染消息以使摄像装置所看到的空间细节/几何形状可视化。当观看者通过使客户端设备移动与该消息进行交互时，该运动触发被渲染的图像和几何形状的观看者视角的相应变化。
[0026]本主题技术的实施方式使得能够改进计算设备(例如，计算机、移动设备等)的功能，包括例如降低计算资源(例如，CPU、GPU、存储器)的利用率。在一个示例中，技术改进还涉及利用服务器或远程计算资源来处理和渲染AR内容，而在又一个示例中，可以通过给定的计算设备渲染AR内容，并且然后将其传播至其他计算设备以进行呈现。通过组合和利用本文描述的各种技术，与其他现有实现方式相比，可以减少使AR内容项显示的延迟(例如，AR内容在给定设备的相应显示器上被生成并随后被渲染的持续时间)，以提供更身临其境和引人入胜的用户体验。
[0027]如本文所提及的，短语“增强现实体验”、“增强现实内容项”、“增强现实内容生成器”包括或指代与如本文进一步描述的图像修改、过滤、LENSES、媒体叠加、变换等相对应的各种图像处理操作。
[0028]图1是示出用于通过网络交换数据(例如，消息和相关联的内容)的示例消息传送系统100的框图。消息传送系统100包括客户端设备102的多个实例，每个实例托管包括消息传送客户端应用104的多个应用。每个消息传送客户端应用104经由网络106(例如，因特网)通信地耦接至消息传送客户端应用104的其他实例和消息传送服务器系统108。
[0029]消息传送客户端应用104能够经由网络106与另一消息传送客户端应用104和消息传送服务器系统108进行通信和交换数据。在消息传送客户端应用104之间以及在消息传送客户端应用104与消息传送服务器系统108之间交换的数据包括函数(例如，调用函数的命令)以及有效载荷数据(例如，文本、音频、视频或其他多媒体数据)。
[0030]消息传送服务器系统108经由网络106向特定消息传送客户端应用104提供服务器侧功能。虽然消息传送系统100的某些功能在本文中被描述为由消息传送客户端应用104或由消息传送服务器系统108执行，但是在消息传送客户端应用104或消息传送服务器系统108内的某些功能的位置是设计选择。例如，在技术上可能优选的是最初在消息传送服务器系统108内部署某些技术和功能，但是后面将该技术和功能迁移至其中客户端设备102具有足够处理能力的消息传送客户端应用104。
[0031]消息传送服务器系统108支持被提供给消息传送客户端应用104的各种服务和操作。这样的操作包括向消息传送客户端应用104发送数据、从消息传送客户端应用104接收数据以及对由消息传送客户端应用104生成的数据进行处理。作为示例，该数据可以包括消息内容、客户端设备信息、地理位置信息、媒体注释和叠加、消息内容持续条件、社交本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：从多个可用的增强现实内容生成器中选择增强现实内容生成器的集合，所选择的增强现实内容生成器的集合包括用于应用三维(3D)效果的至少一个增强现实内容生成器；使得显示包括多个可选图形项的传送带界面，每个可选图形项对应于所述增强现实内容生成器的集合中的相应的增强现实内容生成器；在客户端设备处接收对来自所述多个可选图形项中的第一可选图形项的选择，所述第一可选图形项包括用于应用第一3D效果的第一增强现实内容生成器；将与所选择的第一可选图形项对应的所述第一增强现实内容生成器应用于第一图像数据和第一深度数据，所述第一图像数据和所述第一深度数据是利用摄像装置捕获的；以及生成包括向所述第一图像数据和所述第一深度数据应用的第一增强现实内容生成器的消息。2.根据权利要求1所述的方法，还包括：经由所述客户端设备的触摸屏幕接收滑动姿势；以及响应于接收到所述滑动姿势，使导航通过所述多个可选图形项。3.根据权利要求1所述的方法，其中，将所述第一增强现实内容生成器应用于所述第一图像数据生成第二图像数据。4.根据权利要求1所述的方法，还包括：通过将所述第一增强现实内容生成器应用于所述第一图像数据来渲染第二图像数据；以及使得显示经渲染的第二图像数据，所述经渲染的第二图像数据包括交互式3D效果。5.根据权利要求1所述的方法，还包括：基于所述第一图像数据生成分割掩码；将所述分割掩码应用到所述深度数据上以基于所述深度数据减少深度图中的伪影的集合；以及执行背景修复技术以从所述第一图像数据的背景中消除肖像。6.根据权利要求1所述的方法，其中，生成所述消息还包括与深度图和肖像分割掩码有关的信息。7.根据权利要求1所述的方法，其中，所述图像数据和所述深度数据由客户端设备的光学传感器捕获。8.根据权利要求1所述的方法，其中，所述3D效果包括对所述图像数据或所述深度数据的图像处理操作。9.根据权利要求1所述的方法，还包括：基于所应用的第一3D效果来渲染所述第一图像数据和所述第一深度数据的视图；从运动传感器接收运动数据；至少部分地基于所述运动数据更新所述第一图像数据和所述第一深度数据的视图；以及渲染所述第一图像数据和所述第一深度数据经更新的视图。10.根据权利要求9所述的方法，其中，所述经更新的视图和所述视图是所述应用的第
一3D效果的不同视图。11.一种系统，包括：处理器；以及存储器，包括指令，所述指令在由所述处理器执行时使所述处理器执行操作，所述操作包括：从多个可用的增强现实内容生成器中选择增强现实内容生成器的集合，所选择的增强现实内容生成器的集合包括用于应用三维(3D)效果的至少一个增强现实内容生成器；使得显示包括多个可选图形项的传送带界面，每个可选图形项对应于所述增强现实内容生成器的集合中的相应的增强现实内容生成器；在客户端设备处接收对来自所述多个可选图形项中的第一可选图形项的选择，所述第一可选图形项包括用于应用第一3D效果的第一增强现实内容生成器；将与所选择的第一可选图形项对应的所述第一增强现...
【专利技术属性】
技术研发人员：凯尔，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。