用于消息收发系统中的增强现实体验的物理产品的标识技术方案

本主题技术接收包括物理项的表示的图像数据。本主题技术分析图像数据以确定与物理项相对应的对象。本主题技术基于所确定的对象来提取产品元数据。本主题技术向服务器发送产品元数据以确定与产品元数据相关联的第二产品元数据。本主题技术从服务器接收第二产品元数据，第二产品元数据包括与物理项相关的附加信息。本主题技术使得至少部分地基于第二产品元数据在客户端设备处显示与物理项相关的附加信息。信息。信息。

【技术实现步骤摘要】
【国外来华专利技术】用于消息收发系统中的增强现实体验的物理产品的标识
[0001]要求优先权
[0002]本申请要求以下美国临时申请的优先权的权益：于2020年4月1日提交的美国临时申请序列第63/003,395号；于2020年4月1日提交的美国临时申请序列第63/003,408号；于2020年4月1日提交的美国临时申请序列第63/003,442号；以及美国临时申请序列第63/003,464号，上述美国临时申请中的每一个的内容通过引用整体并入本文。

技术介绍

[0003]本申请总体上涉及利用电子设备来提供物理产品的增强现实体验。
附图说明
[0004]为了容易地标识对任何特定要素或动作的讨论，附图标记中的一个最高有效数字或多个最高有效数字指代该要素被首次引入时的图号。
[0005]图1是根据一些示例实施方式的在其中可以部署本公开内容的联网环境的图形表示。
[0006]图2是根据一些示例实施方式的消息收发客户端应用的图形表示。
[0007]图3是根据一些示例实施方式的如在数据库中维护的数据结构的图形表示。
[0008]图4是根据一些示例实施方式的消息的图形表示。
[0009]图5是根据一些示例实施方式的访问限制过程的流程图。
[0010]图6是示出根据一些示例实施方式的用于访问产品(例如，物理项)的产品目录服务的示例网络环境的框图，该示例网络环境包括上面在图1中讨论的消息收发系统的部分。
[0011]图7是示出根据某些示例实施方式的注释系统的各个模块的框图。
[0012]图8是示出根据一些实施方式的包括与物理项(例如，产品)的产品元数据相对应的附加信息的如图4中所描述的消息注释的结构的示意图。
[0013]图9是示出根据一些实施方式的存储在如图3中描述的产品表中的与物理项(例如，产品)的信息相对应的产品元数据的结构的示意图。
[0014]图10示出了根据各个实施方式的其中用户正在捕获具有物理标识指示符(例如，条形码)的物理项的图像并且基于所捕获的图像显示信息的示例界面。
[0015]图11示出了根据各个实施方式的其中用户正在捕获物理项的图像并且基于所捕获的图像显示信息的示例界面。
[0016]图12示出了根据各个实施方式的基于图11中描述的所识别的产品来显示信息的示例界面。
[0017]图13示出了根据一些实施方式的用于扫描用户的面部并且基于检测到的特征或面部特性来呈现各种信息的示例界面。
[0018]图14示出了根据一些实施方式的基于检测到的特征或面部特性(例如，面部形状)来呈现各种信息的示例界面。
[0019]图15示出了根据一些实施方式的呈现用于基于检测到的特征或面部特性(例如，
面部形状或皮肤类型)来应用特定产品(例如，化妆产品的色调)以提供增强现实体验的各种选项的示例界面。
[0020]图16示出了根据一些实施方式的呈现产品信息以及将产品应用于用户面部的表示以提供增强现实体验的示例界面。
[0021]图17示出了根据一些实施方式的使得能够选择用户面部的表示的一部分以进行分析以及基于所选部分来选择指示面部特性的选项的示例界面。
[0022]图18示出了根据一些实施方式的基于检测到的特征或面部特性(例如，皮肤类型)或用户的选择(例如，睫毛类型、干眼症)来呈现各种信息的示例界面。
[0023]图19示出了根据各个实施方式的其中用户正在捕获物理项(例如，化妆品调色盘)的图像并且基于所捕获的图像将增强现实内容显示到用户身体(例如，前臂)的表示的一部分上的示例界面。
[0024]图20是示出根据某些示例实施方式的响应于扫描产品(例如，美容产品)来提供所选择的信息和媒体内容的方法的流程图。
[0025]图21是示出根据某些示例实施方式的基于用户的简档信息来提供所选择的信息和媒体内容的方法的流程图。
[0026]图22是示出根据某些示例实施方式的基于分析用户面部的面部特征来提供推荐的方法的流程图。
[0027]图23是示出根据某些示例实施方式的提供与基于特定美容产品(例如，化妆品调色盘)的试色(swatching)相对应的增强现实内容的方法的流程图。
[0028]图24是示出根据一些示例实施方式的其中可以实现本公开内容的软件架构的框图。
[0029]图25是根据一些示例实施方式的呈计算机系统形式的机器的图形表示，在该计算机系统内可以执行指令集以使该机器执行讨论的方法中任何一种或更多种方法。
具体实施方式
[0030]随着数字图像使用的增加、便携式计算设备的可负担性、数字存储介质的增加的容量的可用性以及网络连接的增加的带宽和可访问性，数字图像已经成为越来越多人日常生活的一部分。来自各种位置的兴趣广泛的用户可以捕获各种对象的数字图像，并且使其他人可经由网络(例如因特网)获得所捕获的图像。为了使用增强现实来增强用户对数字图像和内容的体验，并且使得计算设备能够对在各种变化条件(例如，图像尺度、噪声、照明、运动或几何失真的变化)下捕获的各种对象或特征进行识别可能是有挑战性的并且是计算密集的。在一方面，本主题技术提供了如下改进的系统，该改进的系统用于提供产品(其可以被购买)的增强现实体验，该产品的增强现实体验然后被应用于如本文进一步描述的这样的对象(例如，用户的面部)。
[0031]在各种设置中，移动计算设备的用户经常使用并且越来越多地利用消息收发系统，以便以便利的方式提供不同类型的功能。如本文所描述的，本主题消息收发系统提供了使得能够提供产品的增强现实体验的实际应用。本主题消息收发系统执行基于产品元数据来访问与给定产品相关的附加信息的处理，同时利用本主题消息收发系统的能力。本主题消息收发系统可以在具有对象(例如用户的面部)的场景中连同提供产品信息或其他信息
一起呈现与产品有关的增强现实(AR)体验。在示例中，AR体验提供应用于对象(例如用户面部或用户身体的其他部分(例如，手臂、腿等)的表示)的AR内容，以用于在给定客户端设备上显示。这样的AR内容可以与产品相关，例如呈现美容产品将如何出现在用户面部的表示上。
[0032]同样如本文所描述的，本主题消息收发系统提供了使得能够基于由给定客户端设备(例如，移动计算设备)捕获并且被提供给本主题消息收发系统以供分析的图像数据来标识物理项或产品的实际应用。特别地，本主题消息收发系统的给定用户可以捕获包括物理标识指示符(例如，条形码)的物理项的图像或图像集合，该物理标识指示符可以标识物理项。本主题消息收发系统从物理标识指示符中提取产品元数据，并且执行处理以确定附加产品元数据，同时利用本主题消息收发系统的能力。因此，本主题技术被理解为有利地提供在呈现AR内容项方面的技术改进，以促进AR内容的自然且直观的呈现(例如，没有由于图形瓶颈和AR内容的低效处理而导致的滞后和丢帧)，并且从而增加在包括(真实)物理项和AR内容项的混合的环境中的存在感。
[0033]在示例中，技术改进还涉及利用服务器或远程本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：接收包括物理项的表示的图像数据；分析所述图像数据以确定与所述物理项相对应的对象；基于所确定的对象来提取产品元数据；向服务器发送所述产品元数据以确定与所述产品元数据相关联的第二产品元数据；从所述服务器接收所述第二产品元数据，所述第二产品元数据包括与所述物理项相关的附加信息；以及使得至少部分地基于所述第二产品元数据在客户端设备处显示与所述物理项相关的附加信息。2.根据权利要求1所述的方法，其中，分析所述图像数据以识别所述对象还包括：分析所述物理项的标识指示符；确定所述物理项的标识指示符是否包括条形码的表示；以及响应于确定所述物理项的标识指示符包括所述条形码的表示，从所述条形码的表示中提取产品元数据。3.根据权利要求2所述的方法，其中，确定所述物理项的标识指示符是否包括所述条形码的表示还包括：执行识别操作以识别与所述物理项相关联的条形码的表示。4.根据权利要求2所述的方法，其中，所述标识指示符还包括与所述物理项相对应的通用产品代码(UPC)的表示。5.根据权利要求1所述的方法，其中，分析所述图像数据以确定与所述物理项相对应的对象还包括：执行对象识别算法以标识所述对象。6.根据权利要求5所述的方法，其中，基于所确定的对象来提取所述产品元数据还包括：将所标识的对象与对象的库进行比较，来自所述对象的库中的每个对象包括具有与产品相对应的产品信息的相关联元数据；至少部分地基于置信度得分高于阈值来确定所标识的对象与来自所述对象的库的特定对象相匹配；以及提供所述特定对象的相关联元数据。7.根据权利要求1所述的方法，其中，所述第二产品元数据包括来自外部源的媒体内容，所述外部源不同于所述客户端设备所利用的消息收发平台。8.根据权利要求1所述的方法，其中，所述物理项包括美容产品。9.根据权利要求8所述的方法，还包括：使得在所述客户端设备处显示用于购买所述美容产品的可选图形项。10.根据权利要求9所述的方法，其中，所述附加信息包括与所述美容产品的类似产品集合相关的信息以及与所述美容产品相关联的成分列表。11.一种系统，包括：处理器；以及包括指令的存储器，所述指令在由所述处理器执行时使所述处理器执行操作，所述操
作包括：接收包括物理项的表示的图像数据；分析所述图像数据以确定与所述物理项相对应的对象；基于所确定的对象来提取产品元数据；向服务器发送所述产品元数据以确定与所述产品元数据相关联的第二产品元数据；从所述服务器接收所述第二产品元数据，所述第二产品元数据包括与所述物理项相关的附加信息；以及使得至少部分地基于所述第二产品元数据在客户端设备处显示与所述物理项相关的附加信息。12.根据权利要求11所述的系统，其中，分析所述图像数据以识别所述对象还使所述处理器执行另外的操作，所述另外的操作包括：分析所述物理项的标识指示符；确定所述物理项的标识指示符是否包括条形码的表示；以及响应于确定所述物理项的标识指示符包括所述条形码的表示，从所述条形码的表示中提取产品元数据。13.根据权利要求12所述的系统，其中，确定所述物理项的标识指示符是否包括所述条形码的表示还使所述处理器执行包括以下的另外的操作：执行识别操作以识别与所述物理项相关联的条形码的表示。14.根据权利要求12所述的系统，其中，所述标识指示符还包括与所述物理项相对应的通用产品代码(UPC)的表示。15.根据权利要求11所述的系统，其中，分析所述图像数据以确定与所述物理项相对应的对象还使得所述处理器执行另外的操作，所述另外的操作包括：执行对象识别算法以标识所述对象。16.根据权利要求15所述的系统，其中，基于所确定的对象来提取所述产品元数据还使所述处理器执行包括以下的另外的操作：将所标识的对象与对象的库进行比较，来自所述对象的库中的每个对象包括具有与产品相对应的产品信息的相关联元数据；至少部分地基于置信度得分高于阈值来确定所标识的对象与来自所述对象的库的特定对象相匹配；以及提供所述特定对象的相关联元数据。17.根据权利要求11所述的系统，其中，所述第二产品元数据包括来自外部源的媒体内容，所述外部源不同于所述客户端设备所利用的消息收发平台。18.根据权利要求11所述的系统，其中，所述物理项包括美容产品。19.根据权利要求18所述的系统，其中，所述存储器包括另外的指令，所述另外的指令还使所述处理器执行另外的操作，所述另外的操作包括：使得在所述客户端设备处显示用于购买所述美容产品的可选图形项。20.一种包括指令的非暂态计算机可读介质，所述指令在由计算设备执行时使所述计算设备执行操作，所述操作包括：接收包括物理项的表示的图像数据；
分析所述图像数据以确定与所述物理项相对应的对象；基于所确定的对象来提取产品元数据；向服务器发送所述产品元数据以确定与所述产品元数据相关联的第二产品元数据；从所述服务器接收所述第二产品元数据，所述第二产品元数据包括与所述物理项相关的附加信息；以及使得至少部分地基于所述第二产品元数据在客户端设备处显示与所述物理项相关的附加信息。21.一种方法，包括：确定与消息收发系统的用户相关联的专业级别，所述专业级别至少部分地基于特定产品类别中的用户活动；至少部分地基于所确定的专业级别，选择与特定产品相对应的媒体内容；以及使得在客户端设备处显示所选择的与所述特定产品相关的媒体内容。22.根据权利要求21所述的方法，其中，确定与所述用户相关联的专业级别基于与所述用户相关联的简档信息。23.根据权利要求22所述的方法，其中，所述简档信息包括所述用户的活动的历史信息。24.根据权利要求23所述的方法，其中，选择与所述特定产品相对应的媒体内容还包括：至少部分地基于所述用户的活动的历史信息来标识媒体内容集合；针对所述媒体内容集合中的每个媒体内容来确定相关联的专业级别的相应指示符；以及从具有所述相关联的专业级别的媒体内容集合中选择与所述专业级别相对应的特定媒体内容。25.根据权利要求24所述的方法，其中，所选择的特定媒体包括至少一个视频或增强现实内容生成器。26.根据权利要求21所述的方法，其中，所选择的媒体内容由与所述客户端设备和消息收发系统分开的外部源提供。27.根据权利要求21所述的方法，其中，确定与消息收发系统的用户相关联的专业级别还包括：确定与所述用户的用户活动相关联的得分值集合的总和；基于所述总和，在多个不同级别之中确定特定级别以与所述用户相关联，所述特定级别对应于所述专业级别。28.根据权利要求21所述的方法，其中，所述专业级别对应于特定产品段。29.根据权利要求21所述的方法，还包括：在界面中接收从所选择的媒体内容中对特定媒体内容的选择。30.根据权利要求21所述的方法，其中，所述专业级别与角色相关联。31.一种系统，包括：处理器；以及包括指令的存储器，所述指令在由所述处理器执行时使所述处理器执行操作，所述操
作包括：确定与消息收发系统的用户相关联的专业级别，所述专业级别至少部分地基于特定产品类别中的用户活动；至少部分地基于所确定的专业级别，选择与特定产品相对应的媒体内容；以及使得在客户端设备处显示所选择的与所述特定产品相关的媒体内容。32.根据权利要求31所述的系统，其中，确定与所述用户相关联的专业级别基于与所述用户相关联的简档信息。33.根据权利要求32所述的系统，其中，所述简档信息包括所述用户的活动的历史信息。34.根据权利要求33所述的系统，其中，选择与所述特定产品相对应的媒体内容还使所述处理器执行另外的操作，所述另外的操作包括：至少部分地基于所述用户的活动的历史信息来标识媒体内容集合；针对所述媒体内容集合中的每个媒体内容来确定相关联的专业级别的相应指示符；以及从具有所述相关联的专业级别的媒体内容集合中选择与所述专业级别相对应的特定媒体内容。35.根据权利要求34所述的系统，其中，所选择的特定媒体包括至少一个视频或增强现实内容生成器。36.根据权利要求34所述的系统，其中，所选择的媒体内容由与所述客户端设备和消息收发系统分开的外部源提供。37.根据权利要求31所述的系统，其中，确定与消息收发系统的用户相关联的专业级别还使所述处理器执行另外的操作，所述另外的操作包括：确定与所述用户的用户活动相关联的得分值集合的总和；基于所述总和，在多个不同级别之中确定特定级别以与所述用户相关联，所述特定级别对应于所述专业级别。38.根据权利要求31所述的系统，其中，所述专业级别对应于特定产品段。39.根据权利要求31所述的系统，其中，所述存储器包括另外的指令，所述另外的指令还使所述处理器执行另外的操作，所述另外的操作包括：在界面中接收从所选择的媒体内容中对特定媒体内容的选择...

【专利技术属性】
技术研发人员：吉恩，
申请(专利权)人：斯纳普公司，
类型：发明
国别省市：