当前位置: 首页 > 专利查询>脸谱公司专利>正文

在相机馈送中提供相应产品的数字模型制造技术

技术编号:25764615 阅读:61 留言:0更新日期:2020-09-25 21:11
本公开的一个或更多个实施例提供了一种增强现实呈现,包括结合相机流的产品的数字模型。例如,本文描述的系统和方法提供了与相应产品的数字模型相关联的行动召唤。响应于检测到对行动召唤的选择,本文描述的系统和方法提供数字模型。本文描述的系统和方法还激活网络系统应用的相机界面,并在相机界面内渲染产品的数字模型。以这种方式,该系统和方法通过在客户端设备上的增强现实呈现来提供试穿戴或以其他方式尝试产品的便携式用户体验。

【技术实现步骤摘要】
【国外来华专利技术】在相机馈送中提供相应产品的数字模型背景多媒体通信提供了越来越流行的通过通信系统进行连接的方法。例如,在通信系统曾经只限于用户通过书面电子通信进行通信的情况下,用户现在可以通过数字媒体进行电子通信,数字媒体包括从个人计算设备(例如智能电话)捕获的图像或视频。事实上,通信系统现在使用户能够广播视频流来与共同用户通信。由于在线通信的日益普及,以及通过各种通信系统的用户所分享的数字媒体的量的不断增加,通信系统为商家、营销商和其他实体提供了一个理想的论坛,以提高对产品和服务的认识并促进产品和服务的销售。然而,使用传统的通信系统提高产品认识有许多缺点和限制。例如,通过数字媒体提升认识的传统系统通常不能提供在数字媒体内描绘的商品或服务的真实感表示(realisticrepresentation)。例如,在推广一件服装时,商家和营销商通常专业地制作图像或视频,在该图像或视频中,服装由模特在受控环境中(例如,用专业摄影)描绘。虽然专业地制作图像和视频可以有效地提升关于产品的正面认识,但许多消费者在没有看到产品在一般或更真实的环境中在自己身上看起来如何的情况下,在购买服装、配饰或其他产品时会犹豫不决。一些商家和营销商提供虚拟信息亭(kiosk),使用户能够拥有在虚拟环境内虚拟地试穿服装的虚拟体验。然而,虚拟信息亭通常需要用户亲自前往商店或信息亭的其他物理位置,以便拥有试穿商家在信息亭上存储的有限选择的服装的体验。此外,虚拟信息亭包括体积庞大、价格昂贵的专用设备,这些设备基本上使虚拟体验局限于选定数量的商家和消费者。因此,提供虚拟信息亭不仅给商家带来巨大的成本,也给消费者带来不便和耗时的体验。传统系统导致这些和其他问题。简要概述本公开的一个或更多个实施例利用系统、方法和计算机可读介质来提供益处和/或解决本领域中的一个或更多个前述问题,所述系统、方法和计算机可读介质提供便携式且方便的用户体验,所述用户体验使得用户能够经由由客户端设备(例如,移动设备)提供的增强现实体验来试穿戴(tryon)、查看或以其他方式尝试(sample)产品。具体而言,如下文将进一步详细描述的,系统、方法和计算机可读介质在客户端设备的相机馈送(feed)内渲染(render)产品的数字模型,以提供使用户能够试穿戴或尝试产品的增强现实体验。如下面将进一步详细描述的,系统、方法和计算机可读介质包括促进便携式且方便的用户体验的特征,该用户体验在适用于用户的环境中提供产品的真实感表示。如下文将进一步详细描述的,本文描述的系统、方法和计算机可读介质包括通过将产品的数字模型和相机流(camerastream)进行组合来识别和提供增强现实体验。例如,如下文将进一步详细描述的,系统、方法和计算机可读介质包括检测用户对结合产品提供的行动召唤(call-to-action)的选择。响应于检测到用户对该行动召唤的选择,系统、方法和计算机可读介质促进激活客户端设备上的相机界面(camerainterface)。除了激活客户端设备的相机之外,系统、方法和计算机可读介质通过在人的实况相机流上渲染产品的数字模型来提供增强现实体验。本公开的一个或更多个实施例的附加特征和优点将在下面的描述中阐述,并且部分特征和优点将从描述中显而易见,或者可以通过这些示例实施例的实践来了解。在涉及存储介质、方法和系统的所附权利要求中具体公开了根据本专利技术的实施例,其中,在一个权利要求类别(例如存储介质)中提到的任何特征也可以在另一个权利要求类别(例如方法、系统、计算机程序产品)中被要求保护。在所附权利要求中的从属性或往回引用仅为了形式原因而被选择。然而,也可以要求保护由对任何前面权利要求的有意往回引用(特别是多项引用)而产生的任何主题,使得权利要求及其特征的任何组合被公开并可被要求保护,而不考虑在所附权利要求中选择的从属性。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合,而且还包括在权利要求中的特征的任何其他组合,其中,在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外,本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。在根据本专利技术的实施例中,一种非暂时性计算机可读介质可以在其上存储指令,该指令当由至少一个处理器执行时,可以使计算设备:检测对与产品的数字模型相关联的行动召唤的选择;激活计算设备上的网络系统应用的相机界面,其中激活相机界面包括捕获相机流并在网络系统应用的相机界面内提供相机流;和通过在网络系统应用的相机界面内结合相机流渲染产品的数字模型来生成增强现实体验。指令当由至少一个处理器执行时,可以使计算设备:在相机流内检测人的面部;在相机流内识别该面部的一个或更多个特征;和其中,结合相机流渲染产品的数字模型包括:基于该面部的所识别的一个或更多个特征在相机流内的位置,将产品的数字模型放置在相机流的一部分之上。指令当由至少一个处理器执行时,可以使计算设备:响应于检测到对行动召唤的选择,向网络系统提供对产品的数字模型的请求;和在计算设备处接收产品的数字模型。指令当由至少一个处理器执行时,可以使计算设备:在相机界面内提供效果菜单,该效果菜单包括对应于产品的数字模型的可选择图标;和通过检测对效果菜单内的可选择图标的选择,检测对与产品的数字模型相关联的行动召唤的选择。指令当由至少一个处理器执行时,可以使计算设备:检测产品在显示在计算设备的图形用户界面上的数字媒体内被描绘;确定数字媒体内描绘的产品的数字模型存在;和基于确定数字媒体内描绘的产品的数字模型存在,结合所显示的数字媒体提供行动召唤。指令当由至少一个处理器执行时,可以使计算设备:通过与产品相关联的第三方网站提供行动召唤;和通过该第三方网站检测对行动召唤的选择。指令当由至少一个处理器执行时,可以使计算设备经由与网络系统应用相关联的网络系统的共同用户的实况视频馈送并结合产品的数字模型来提供行动召唤。指令当由至少一个处理器执行时,可以使计算设备:识别与数字模型相关联的背景效果;和在网络系统应用的相机界面内,响应于识别到与数字模型相关联的背景效果,结合产品的所渲染的数字模型提供该背景效果。指令当由至少一个处理器执行时,可以使计算设备:响应于检测到对与产品的数字模型相关联的行动召唤的选择,接收多个数字模型,该多个数字模型包括产品的数字模型和对应于该产品的相关产品的附加数字模型;和在相机界面内提供与查看相关产品的数字模型相关联的可选择图标。指令当由至少一个处理器执行时,可以使计算设备:检测对与查看相关产品的数字模型相关联的可选择图标的选择;和在网络系统应用的相机界面内并结合产品的数字模型,结合相机流渲染相关产品的数字模型。在根据本专利技术的实施例中,一种方法可以包括:本文档来自技高网...

【技术保护点】
1.一种非暂时性计算机可读介质,其上存储了指令,所述指令当由至少一个处理器执行时,使计算设备:/n检测对与产品的数字模型相关联的行动召唤的选择;/n激活所述计算设备上的网络系统应用的相机界面,其中激活所述相机界面包括捕获相机流并在所述网络系统应用的相机界面内提供所述相机流;和/n通过在所述网络系统应用的相机界面内结合所述相机流渲染所述产品的数字模型来生成增强现实体验。/n

【技术特征摘要】
【国外来华专利技术】20171212 US 15/839,3391.一种非暂时性计算机可读介质,其上存储了指令,所述指令当由至少一个处理器执行时,使计算设备:
检测对与产品的数字模型相关联的行动召唤的选择;
激活所述计算设备上的网络系统应用的相机界面,其中激活所述相机界面包括捕获相机流并在所述网络系统应用的相机界面内提供所述相机流;和
通过在所述网络系统应用的相机界面内结合所述相机流渲染所述产品的数字模型来生成增强现实体验。


2.根据权利要求1所述的非暂时性计算机可读介质,其中,所述指令当由所述至少一个处理器执行时,使所述计算设备:
在所述相机流内检测人的面部;
在所述相机流内识别所述面部的一个或更多个特征;和
其中结合所述相机流渲染所述产品的数字模型包括:基于所述面部的所识别的一个或更多个特征在所述相机流内的位置,将所述产品的数字模型放置在所述相机流的一部分之上。


3.根据权利要求1所述的非暂时性计算机可读介质,其中,所述指令当由所述至少一个处理器执行时,使所述计算设备:
响应于检测到对所述行动召唤的选择,向网络系统提供对所述产品的数字模型的请求;和
在所述计算设备处接收所述产品的数字模型。


4.根据权利要求1所述的非暂时性计算机可读介质,其中,所述指令当由所述至少一个处理器执行时,使所述计算设备:
在所述相机界面内提供效果菜单,所述效果菜单包括对应于所述产品的数字模型的可选择图标;和
通过检测对所述效果菜单内的所述可选择图标的选择,检测对与所述产品的数字模型相关联的所述行动召唤的选择。


5.根据权利要求1所述的非暂时性计算机可读介质,其中,所述指令当由所述至少一个处理器执行时,使所述计算设备:
检测所述产品在显示在所述计算设备的图形用户界面上的数字媒体内被描绘;
确定所述数字媒体内描绘的所述产品的所述数字模型存在;和
基于确定所述数字媒体内描绘的所述产品的所述数字模型存在,结合所显示的数字媒体提供所述行动召唤。


6.根据权利要求1所述的非暂时性计算机可读介质,其中,所述指令当由所述至少一个处理器执行时,使所述计算设备:
通过与所述产品相关联的第三方网站提供所述行动召唤;和
通过所述第三方网站检测对所述行动召唤的选择。


7.根据权利要求1所述的非暂时性计算机可读介质,其中,所述指令当由所述至少一个处理器执行时,使所述计算设备经由与所述网络系统应用相关联的网络系统的共同用户的实况视频馈送并结合所述产品的数字模型来提供所述行动召唤。


8.根据权利要求1所述的非暂时性计算机可读介质,其中,所述指令当由所述至少一个处理器执行时,使所述计算设备:
识别与所述数字模型相关联的背景效果;和
在所述网络系统应用的相机界面内,响应于识别到与所述数字模型相关联的背景效果,结合所述产品的所渲染的数字模型提供所述背景效果。


9.根据权利要求1所述的非暂时性计算机可读介质,其中,所述指令当由所述至少一个处理器执行时,使所述计算设备:
响应于检测到对与所述产品的数字模型相关联的行动召唤的选择,接收多个数字模型,所述多个数字模型包括所述产品的数字模型和对应于所述产品的相关产品的附加数字模型;和
在所述相机界面内提供与查看所述相关产品的数字模型相关联的可选择图标。


10.根据权利要求9所述的非暂时性计算机可读介质,其中,所述指令当由所述至少一个处理器执行时,使所述计算设备:
检测对与查看所述相关产品的数字模型相关联的可选择图标的选择;和
在所述网络系统应用的相机界面内并结合所述产品的数字模型,结合所述相机流渲染所述相关产品的数字模型。


11.一种方法,包括:
由至少一个处理器生成产品的数字模型;
检测对与所述产品的数字模型相关联的行动召唤的选择;和
响应于检测到对所述行动召唤的选择,向客户端设备提供所述数字模型,使得所述客户端设备通过在网络系统应用的相机界面内渲染所述产品的数字模型,使得所述产品的数字模型出现在所述客户端设备捕获的相机流之上,来提供增强现实体验。


12.根据权利要求11所述的方法,其中,生成所述产品的数字模型包括:
生成所述产品的网格模型,所述网格模型包括与所述产品相关联的结构信息和深度信息;
生成UV图,所述UV图包括与所述产品相关联的表面外观信息;和
组合所述UV图和所述网格模型,以创建所述产品的数字模型。


13.根据权利要求12所述的方法,其中,生成所述产品的数字模型还包括将所述网格模型的点映射到在所述客户端设备捕获的相机流内检测到的面部的对应参考特征。


14.根据权利要求13所述的方法,其中,提供所述增强现实体验包括:基于检测到的面部的参考特征的识别位置和所述产品的网格模型的对应映射点,在所述相机流内的位置渲染所述产品的数字模型。


15.根据权利要求11所述的方法,还包括:
在服务器设备处从所述客户端设备接收所述相机流;
由所述至少一个处理器,通过在所述相机流内渲染所述产品的数字模型来生成所述增强现实体验;和
其中向所述客户端设备提供所述数字模型包括向所述客户端设备提供所述增强现实体验。


16.根据权利要求15所述的方法,还包括:
向与所述客户端设备的用户相关联的网络系统的共同用户的一个或更多个客户端设备广播所述增强现实体验。


17.根据权利要求11所述的方法,还包括:
从所述客户端设备接收增强视频,所述增强视频包括所述相机流和出现在所述相机流之上的所述产品的所渲染的数字模型;和
向与所述客户端设备的用户相关联的网络系统的一个或更多个共同用户的一个或更多个客户端设备广播所述增强视频。


18.一种系统,包括:
至少一个处理器;
至少一个非暂时性计算机可读存储介质,其存储指令,所述指令当被所述至少一个处理器执行时,使所述系统:
检测对与产品的数字模型相关联的行动召唤的选择;
激活所述计算设备上的网络系统应用的相机界面,其中激活所述相机界面包括捕获相机流并在所述网络系统应用的相机界面内提供所述相机流;和
通过在所述网络系统应用的相机界面内结合所述相机流渲染所述产品的数字模型来生成增强现实体验。


19.根据权利要求18所述的系统,其中,所述指令当由所述至少一个处理器执行时,使所述系统:
在所述相机流内检测人的面部;
在所述相机流内识别所述面部的一个或更多个特征;和
其中结合所述相机流渲染所述产品的数字模型包括:基于所述面部的所识别的一个或更多个特征在所述相机流内的位置,将所述产品的数字模型放置在所述相机流的一部分之上。


20.根据权利要求18所述的系统,其中,所述数字模型包括网格模型,所述网格模型包括与对象的对应参考特征相关联的顶点,并且其中,所述指令在由所述至少一个处理器执行时使所述系统:
在所述相机流内检测所述对象;
确定检测到的对象的参考特征在所述相机流内的位置;和
基于...

【专利技术属性】
技术研发人员:孙懿
申请(专利权)人:脸谱公司
类型:发明
国别省市:美国;US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1