用于增强现实组件的身体UI制造技术

通过配置用于显示非触摸式用户可选元素的增强现实组件来解决提供可以在不与任何特定设备进行物理接触的情况下被激活的用户界面元素的技术问题，所述非触摸式用户可选元素可以响应于检测到来自摄像装置的数字图像传感器的输出的对象与用户可选元素的碰触而被激活。增强现实组件检测非触摸式用户可选元素与来自人的图像的对象例如手部对象的碰触，并且作为响应，触发预定动作，例如开始或停止数字图像传感器的输出的录制或者捕获数字图像传感器的输出的静态图像。传感器的输出的静态图像。传感器的输出的静态图像。

【技术实现步骤摘要】
【国外来华专利技术】用于增强现实组件的身体UI
[0001]优先权要求
[0002]本申请要求于2020年12月29日提交的序列号为63/131,393的美国临时申请和于2021年2月11日提交的序列号为17/248,876的美国专利申请的优先权的权益，上述申请中的每一个通过引用整体并入本文中。


[0003]本公开内容总体上涉及促进消息收发客户端与第三方资源之间的交互。

技术介绍

[0004]允许用户在线访问内容并与内容和其他用户交互的计算机实现的程序的流行度持续增长。存在允许用户通过消息收发客户端与其他用户共享内容的各种计算机实现的应用。这样的计算机实现的应用中的一些(被称为app)可以设计成在诸如电话、平板电脑或可穿戴设备的移动设备上运行，同时具有在服务器计算机系统上提供的后端服务以执行可能需要比在客户端设备处执行的合理资源更多的资源的操作(例如，存储大量数据或执行计算上昂贵的处理)。
[0005]在客户端设备处执行的消息收发app可以提供允许用户使用客户端设备的前置摄像装置来捕获他们自己的照片或视频并将捕获的内容分享到其他设备的用户界面(UI)。由消息收发app提供的UI可以包括可以通过触摸显示用户可选元素的屏幕区域而激活的各种用户可选元素。例如，UI可以包括响应于敲击而使视频录制开始和停止的用户可选元素。
附图说明
[0006]在不一定按比例绘制的附图中，相似的附图标记可以在不同视图中描述类似的部件。为了容易地识别对任何特定元件或动作的讨论，附图标记中的一个或多个最高位数字指代该元件被首次引入时所在的图号。在附图的图中以示例而非限制的方式示出了一些实施方式，在附图中：
[0007]图1是根据一些示例的其中可以部署开发者工具系统的联网环境的图解表示。
[0008]图2是根据一些示例的具有客户端侧和服务器侧两者的功能的消息收发系统的图解表示。
[0009]图3是根据一些示例的在数据库中维护的数据结构的图解表示。
[0010]图4是根据一些示例的消息的图解表示。
[0011]图5是根据一些示例的访问限制过程的流程图。
[0012]图6是根据一些示例的用于增强用户参与增强现实(AR)技术的体验的方法的流程图。
[0013]图7是根据一些示例的具有加载的身体UI AR组件的摄像装置视图用户界面的图解表示。
[0014]图8是根据一些示例的显示被配置成使得录制视频的非触摸式用户可选元素的摄
像装置视图用户界面的图解表示。
[0015]图9是根据一些示例的显示手部对象与被配置成使得录制视频的非触摸式用户可选元素的碰触(collision)的摄像装置视图用户界面的图解表示。
[0016]图10是根据一些示例的显示被配置成使得停止录制的非触摸式用户可选元素的摄像装置视图用户界面的图解表示。
[0017]图11是根据一些示例的显示手部对象与被配置成使得停止录制的非触摸式用户可选元素的碰触的摄像装置视图用户界面的图解表示。
[0018]图12是根据一些示例的显示被配置成使得用摄像装置来捕获图像的非触摸式用户可选元素以及被配置成使得用颜色选择轮播来替换物品选择轮播的另一非触摸式用户可选元素的摄像装置视图用户界面的图解表示。
[0019]图13是根据一些示例的显示手部对象与被配置成使得用颜色选择轮播来替换物品选择轮播的非触摸式用户可选元素的碰触的摄像装置视图用户界面的图解表示。
[0020]图14是根据一些示例的显示用颜色选择轮播来替换物品选择轮播的可视化的摄像装置视图用户界面的图解表示。
[0021]图15是根据一些示例的显示替换了物品选择轮播的颜色选择轮播的摄像装置视图用户界面的图解表示。
[0022]图16是根据一些示例的人体图像和分配给身体的各个部段的锚点的图解表示。
[0023]图17是根据一些示例的呈计算机系统形式的机器的图解表示，在该计算机系统内可以执行一组指令以使该机器执行本文中所讨论的任何一种或更多种方法。
具体实施方式
[0024]本公开内容的实施方式通过增强用户参与增强现实(AR)技术的体验来改进电子消息收发软件和系统的功能。通过允许用户在不与屏幕或与另一设备物理接触的情况下与呈现在摄像装置视图屏幕上的用户可选元素互动(engage)来增强用户参与AR技术的体验。可以在未与屏幕物理接触的情况下以非触摸的方式与之互动的用户可选元素可以有益地使用，特别是在其中用户未持握客户端设备(例如电话)而是距离设备一定距离的场景中。例如，用户可能希望距离客户端设备一定距离以拍摄他们自己的全身照片或者以“试穿”各种虚拟可穿戴物品。
[0025]通过配置用于显示用户界面(UI)元素(也称为用户可选元素)的AR组件来解决提供可以在不与任何特定设备物理接触的情况下被激活的UI元素的技术问题，所述UI元素可以响应于检测到来自摄像装置的数字图像传感器的输出的对象与用户可选元素的碰触而被激活(可以执行功能)。为了本描述的目的，被配置成在摄像装置视图屏幕中显示可以响应于检测到来自摄像装置的数字图像传感器的输出的对象与用户可选元素的碰触而被激活的用户可选元素的AR组件被称为身体UI AR组件。被配置成允许借助于检测来自摄像装置的数字图像传感器的输出的对象与用户可选元素的碰触来进行非触摸式操作的一个或更多个UI元素被统称为身体UI。被配置成允许借助于检测来自摄像装置的数字图像传感器的输出的对象与用户可选元素的碰触来进行非触摸式操作的UI元素被称为非触摸式用户可选元素。下面将进一步描述的图7至图11示出了在开始和停止自拍视频的录制的上下文下以非触摸方式与用户可选元素互动的示例过程。下面将进一步描述的图12至图15示出了
在“试穿”虚拟可穿戴物品的上下文下以非触摸方式与用户可选元素互动的示例过程。在托管用于相关联的消息收发客户端的后端服务的消息收发系统中提供了包括非触摸式用户可选元素的身体UI。
[0026]托管用于相关联的消息收发客户端的后端服务的消息收发系统被配置成允许用户利用向托管消息收发客户端的客户端设备提供的摄像装置捕获图像和视频，并且允许经由网络通信与其他用户共享所捕获的内容。消息收发系统还被配置成提供可经由消息收发客户端访问的AR组件。AR组件可以用于例如通过将图片或动画叠加在所捕获的图像帧或视频帧之上或者通过添加三维(3D)效果、对象、人物和变换来修改显示在摄像装置视图屏幕上或由摄像装置捕获的内容。摄像装置视图屏幕(也被称为摄像装置视图UI)由消息收发客户端显示，并且包括摄像装置的数字图像传感器的输出、可操作以通过摄像装置捕获图像或者可操作以开始和停止视频录制的用户可选元素，并且还可以显示表示相应AR组件的一个或更多个用户可选元素。可以使用适用于app开发的编程语言(例如，JavaScript或Java)来实现AR组件。AR组件在消息收发服务器系统中由相应的AR组件标识符来标识。用户可以通过与包括在由消息收发客户端呈现的摄像装置视图UI中的用户可选元素互动来访问由本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在提供消息收发客户端的消息收发系统中，配置用于检测分配给人体图像的部段的锚点的增强现实组件；使得将所述增强现实组件加载在客户端设备处的所述消息收发客户端的摄像装置视图用户界面中，所述摄像装置视图用户界面包括所述客户端设备的摄像装置的数字图像传感器的输出，所述加载包括开始在所述摄像装置视图用户界面中检测分配给人的图像的各个部段的锚点；确定所检测到的锚点包括锚点的全身指示集；以及响应于所述确定，使得在所述摄像装置视图用户界面中显示非触摸式用户可选元素，所述非触摸式用户可选元素被配置成响应于所述非触摸式用户可选元素与来自所述人的图像的触发部段的碰触而在所述消息收发系统中触发动作。2.根据权利要求1所述的方法，其中，所述锚点的全身指示集至少包括分配给髋部对象的第一锚点和分配给肩部对象的第二锚点。3.根据权利要求1所述的方法，包括：检测所述非触摸式用户可选元素与来自所述人的图像的触发部段的碰触；以及在所述消息收发系统中执行所述动作。4.根据权利要求3所述的方法，其中，检测所述非触摸式用户可选元素与来自所述人的图像的触发部段的碰触包括检测预定持续时间的所述碰触。5.根据权利要求1所述的方法，其中，来自所述人的图像的触发部段是来自所述人的图像的手部对象。6.根据权利要求1所述的方法，其中，所述动作是开始利用所述客户端设备的摄像装置录制视频。7.根据权利要求1所述的方法，包括：在所述消息收发系统中定义所述锚点的全身指示集。8.根据权利要求1所述的方法，其中，在所述摄像装置视图用户界面中检测分配给所述人的图像的各个部段的锚点包括：执行使用训练图像集训练的机器学习模型，所述机器学习模型以人的图像作为输入并且产生一组锚点作为输出。9.根据权利要求1所述的方法，其中，在所述摄像装置视图用户界面中显示非触摸式用户可选元素包括：跟踪所述人的图像中身体部段对象的位置，并且在所述摄像装置视图用户界面中的基于所跟踪的身体部段对象的位置确定的位置处显示所述非触摸式用户可选元素。10.根据权利要求1所述的方法，包括：使用所述增强现实组件捕获内容项；以及将所捕获的内容项传送至另一客户端设备。11.一种系统，包括：一个或更多个处理器；以及包括指令的非暂态计算机可读存储介质，所述指令在由所述一个或更多个处理器执行时使所述一个或更多个处理器执行操作，所述操作包括：在提供消息收发客户端的消息收发系统中，配置用于检测分配给人体图像的部段的锚
点的增强现实组件；使得将所述增强现实组件加载在客户端设备处的所述消息收发客户端的摄像装置视图用户界面中，所述摄像装置视图用户界面包括所述客户端设备的摄像装置的数字图像传感器的输出，所述加载包括开始在所述摄...

【专利技术属性】
技术研发人员：梅哈伊洛，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：