使用生物数据进行的深度估计制造技术

基于生物数据来生成深度估计的方法开始于服务器从与第一用户相关联的第一设备接收定位数据。第一设备基于对包括与第二设备相关联的第二用户的图像的数据流的分析来生成定位数据。服务器然后从第二设备接收第二用户的生物数据。生物数据基于来自包括在第二设备中的传感器或摄像装置的输出。服务器然后使用定位数据和第二用户的生物数据来确定第二用户与第一设备的距离。本文中描述了其他实施方式。式。式。

【技术实现步骤摘要】
【国外来华专利技术】使用生物数据进行的深度估计
[0001]优先权声明
[0002]本申请要求于2020年3月30日提交的美国临时申请序列号第63/002,128号的优先权权益，并且要求于2020年8月3日提交的美国专利申请序列号第16/983,751号的优先权权益，这两个美国申请通过引用整体并入本文中。

技术介绍

[0003]增强现实(Augmented
‑
Reality，AR)是对虚拟环境的修改。例如，在虚拟现实(Virtual Reality，VR)中，用户完全沉浸在虚拟世界中，而在AR中，用户则沉浸在虚拟对象与现实世界组合或叠加的世界中。AR系统旨在生成和呈现以下虚拟对象：这些虚拟对象与现实世界环境真实交互以及彼此之间进行交互。AR应用的示例可以包括单人或多人视频游戏、即时消息传送系统等。
附图说明
[0004]在附图(不一定按比例绘制)中，相似的附图标记可以在不同的视图中描述类似的部件。具有不同字母后缀的相似的附图标记可以表示类似的部件的不同实例。为了容易地识别对任何特定元件或动作的讨论，附图标记中的一个或更多个最高有效数字指代首先引入该元件的图号。在附图的各图中以示例而非限制的方式示出了一些实施方式，在附图中：
[0005]图1是根据一些示例实施方式的可以在其中部署本公开内容的联网环境的图形表示。
[0006]图2是根据一些示例实施方式的消息传送客户端应用的图形表示。
[0007]图3是根据一些示例实施方式的如在数据库中维护的数据结构的图形表示。
[0008]图4是根据一些示例实施方式的消息的图形表示。
[0009]图5是根据一个实施方式的用于基于生物数据来生成深度估计的过程500的流程图。
[0010]图6示出了根据一个实施方式的基于生物数据来生成深度估计的过程600。
[0011]图7示出了根据一个实施方式的第一用户(用户B)使用第一客户端设备102来捕获第二用户(用户A)的图像或视频的示例700。
[0012]图8示出了根据一个实施方式的使用包括在第一客户端设备102中的摄像装置捕获的图像的示例800。
[0013]图9是根据一些示例实施方式的呈计算机系统形式的机器的图形表示，在所述机器内可以执行指令的集合以使所述机器执行本文中讨论的方法中的任一种或更多种方法。
[0014]图10是示出根据示例实施方式的可以在其中实现本公开内容的软件架构的框图。
具体实施方式
[0015]以下描述包括体现本公开内容的说明性实施方式的系统、方法、技术、指令序列和计算机程序产品。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对本专利技术
主题的各种实施方式的理解。然而，对于本领域的技术人员来说将明显的是，可以在没有这些具体细节的情况下实践本专利技术主题的实施方式。一般来说，公知的指令实例、协议、结构和技术不一定详细地示出。
[0016]此外，本公开内容的实施方式通过使用关于用户的生物数据来生成用户的深度估计，来改进增强现实(AR)创建软件和系统的功能。生成AR场景的第一个挑战是确认被跟踪的用户离正在跟踪用户的客户端设备有多远。
[0017]更具体地，第一用户可以正在观看第一客户端设备上显示的包括第二用户的AR场景。为了在第一设备上生成包括第二用户的AR场景，AR系统需要确定第二用户到第一客户端设备的距离，以便在AR场景中生成和呈现与第二用户(例如，现实世界元素)真实交互的虚拟对象。
[0018]在一个实施方式中，例如，当第一客户端设备执行使得实现增强第二用户的身体或衣服的增强现实体验的骨骼跟踪时，第二客户端设备发送第二用户的用于生成深度估计(例如，第二用户到第一客户端设备的距离)的已知生物数据。
[0019]在一个实施方式中，消息传送服务器系统接收来自第一客户端设备的定位数据和来自第二客户端设备的生物数据。消息传送服务器系统基于定位数据和/或生物数据来确定用户与第一客户端设备的距离。在另一实施方式中，第二客户端设备将生物数据发送至第一客户端设备，并且第一客户端设备基于定位数据和/或生物数据来确定用户与第一客户端设备的距离。
[0020]图1是示出用于通过网络交换数据(例如，消息和相关联内容)的示例消息传送系统100的框图。消息传送系统100包括客户端设备102的多个实例，实例中的每一个托管包括消息传送客户端应用104和AR会话客户端控制器124的多个应用。每个消息传送客户端应用104经由网络106(例如，因特网)通信地耦接至消息传送客户端应用104的其他实例和消息传送服务器系统108。每个AR会话客户端控制器124经由网络106通信地耦接至AR会话客户端控制器124的其他实例和消息传送服务器系统108中的AR会话服务器控制器126。
[0021]消息传送客户端应用104能够经由网络106与另一消息传送客户端应用104以及与消息传送服务器系统108进行通信和交换数据。在消息传送客户端应用104之间以及在消息传送客户端应用104与消息传送服务器系统108之间交换的数据包括函数(例如，调用函数的命令)以及有效载荷数据(例如，文本、音频、视频或其他多媒体数据)。
[0022]消息传送服务器系统108经由网络106向特定的消息传送客户端应用104提供服务器端功能。虽然在本文中将消息传送系统100的某些功能描述为由消息传送客户端应用104或由消息传送服务器系统108执行，但是将某些功能定位在消息传送客户端应用104内或消息传送服务器系统108内是一种设计选择。例如，在技术上可能优选的是最初在消息传送服务器系统108内部署某些技术和功能，但是稍后将这些技术和功能迁移至其中客户端设备102具有足够处理能力的消息传送客户端应用104。
[0023]消息传送服务器系统108支持被提供至消息传送客户端应用104的各种服务和操作。这样的操作包括向消息传送客户端应用104发送数据、从消息传送客户端应用104接收数据以及处理由消息传送客户端应用104生成的数据。作为示例，该数据可以包括消息内容、客户端设备信息、地理位置信息、媒体注释和覆盖、消息内容持久性条件、社交网络信息和实况事件信息。通过经由消息客户端应用104的用户界面(UI)可用的功能来调用和控制
消息传送系统100内的数据交换。
[0024]AR会话客户端控制器124能够经由网络106与另一AR会话客户端控制器124和AR会话服务器控制器126进行通信和交换数据。在多个AR会话客户端控制器124之间以及在AR会话客户端控制器124与AR会话服务器控制器126之间交换的数据可以包括：定位数据、生物数据、深度估计(例如，用户与跟踪用户的客户端设备的距离)、创建共享AR会话的请求、数据流(图像或视频)中的用户标识、标识共享AR会话的会话标识符、第一设备与第二设备(例如，多个客户端设备102包括第一设备和第二设备)之间的变换(transformation)、公共坐标系、函数(例如，调用函数的命令)以及其他有效载荷数据(例如，文本、音频、本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：从与第一用户相关联的第一设备接收定位数据，所述第一设备基于对包括第二用户的图像的数据流的分析来生成所述定位数据，所述第二用户与第二设备相关联；从所述第二设备接收所述第二用户的生物数据，所述生物数据基于来自包括在所述第二设备中的传感器或摄像装置的输出；以及使用所述定位数据和所述第二用户的生物数据来确定所述第二用户与所述第一设备的距离。2.根据权利要求1所述的方法，其中，所述数据流是所述第二用户的视频，其中，所述视频由包括在所述第一设备中的摄像装置捕获。3.根据权利要求1所述的方法，其中，所述第一设备基于对所述数据流的分析来生成所述定位数据还包括：所述第一设备识别摄像装置框架中所述第二用户的骨骼的位置或姿势。4.根据权利要求1所述的方法，其中，所述第一设备基于对所述数据流的分析来生成所述定位数据还包括：所述第一设备识别摄像装置框架中所述第二用户的面部的位置或姿势。5.根据权利要求1所述的方法，其中，所述第二用户的生物数据是所述第二用户的面部的尺寸。6.根据权利要求1所述的方法，其中，所述第二用户的生物数据基于来自包括在所述第二设备中的深度传感器或双目摄像装置的输出。7.根据权利要求1所述的方法，其中，所述第一设备和所述第二设备被包括在共享增强现实(AR)会话中。8.根据权利要求7所述的方法，其中，所述共享AR会话包括实时消息传送会话。9.一种系统，包括：处理器；以及其上存储有指令的存储器，所述指令当由所述处理器执行时使所述系统执行包括以下的操作：从与第一用户相关联的第一设备接收定位数据，所述第一设备基于对包括第二用户的图像的数据流的分析来生成所述定位数据，所述第二用户与第二设备相关联；从所述第二设备接收所述第二用户的生物数据，所述生物数据基于来自包括在所述第二设备中的传感器或摄像装置的输出；以及使用所述定位数据和所述第二用户的生物数据来确定所述第二用户与所述第一设备的距离。10.根据权利要求9所述的系统，其中，所述数据流是所述第二用户的视频，其中，所述视频由包括在所述第一设备中的摄像装置捕获。11.根据权利要求9所述的...

【专利技术属性】
技术研发人员：皮尔斯，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：