用于基于可视元素的物品推荐的设备及方法技术

一种用于基于可视元素的物品推荐的方法、设备和非暂时性计算机可读介质。所述方法包括：通过一个或多个处理器根据物品的物品图像确定可视元素；通过一个或多个处理器至少基于可视元素的一部分生成物品的元素描述符；以及通过一个或多个处理器计算元素描述符与一个或多个其他物品的一个或多个其他元素描述符之间的相容性值。之间的相容性值。之间的相容性值。

【技术实现步骤摘要】
用于基于可视元素的物品推荐的设备及方法
[0001]交叉引用
[0002]在本公开的说明书中引述和讨论了一些参考文献，其可以包括专利、专利申请和各种出版物。对这些参考文献的引述和/或讨论仅被提供用于阐明本公开的描述，而不是承认任何这样的参考文献是本文描述的公开内容的“现有技术”。本说明书中引用和讨论的全部参考文献均以引用方式整体并入本文中，其程度如同每篇参考文献单独通过引用并入的程度相同。


[0003]本公开总体上涉及计算机视觉领域，更具体地涉及用于基于可视元素的产品推荐的系统、设备及方法。

技术介绍

[0004]出于总体呈现本公开的上下文的目的而提供本文的
技术介绍
描述。既不明确地承认也不暗示地承认当前列名的专利技术人的在
技术介绍
部分中描述的范围内的工作、以及在提交时可能不是作为现有技术的描述的各方面为本专利技术的现有技术。
[0005]随着电子商务的快速发展和在线购物的兴起，可视时尚分析已在计算机视觉中引起了浓厚兴趣。最近已经开发出许多方法来解决时尚相容性和时尚推荐方面的问题。用于学习时尚相容性的主流方法之一是经由度量学习来实现的，度量学习是通过选择共同购买的物品和套装数据集并且计算所选物品之间的距离来实现的。为了度量物品之间的相容性，McAuley等人[1]提出了一种学习由预先训练的卷积神经网络(CNN)提取的图像特征之间的关系的方法。通过使用孪生网络(Siamese network)，这种用于相容性学习的特征提取技术得到了改进[2，3]。这些方法可以通过仅提供正样本和负样本对来学习复杂的关系。然而，它们不足以表示时尚物品之间的相容性。它们的策略将所有时尚物品映射到一个公共空间，其似乎没有足够的灵活性来评估任意一对物品之间的距离。
[0006]另一方面，另一种方法涉及通过将套装中的物品视为序列来学习相容性。这些研究的问题在于无法应用确定套装品味的时尚风格，因为这些研究仅关注局部成对关系。
[0007]存在第三种方法，其试图捕获潜在的时尚风格，将套装考虑为时尚物品的组合。时尚风格通常表示对套装进行组织的不同原理。为了实现高级的时尚推荐系统，这些方法不仅关注估计个人喜好，而且还关注解释时尚风格。Takagi等人[4]收集和学习被标注为典型时尚风格的快照图像。然而，一些套装具有模糊的风格并且无法进行分类。
[0008]因此，本领域存在未解决的需求，需要解决上述缺陷和不足。

技术实现思路

[0009]在一些方面中，本公开涉及用于针对时尚物品提供推荐的系统。在某些实施例中，系统中的嵌入空间不是通过CNN直接从物品图像导出的。相反，我们首先提取鲁棒的时尚元素，这些元素(在时尚物品之中)既具有代表性又具有多样性。物品的集合中的(套装内的)
这些元素用于学习相容性。在某些实施例中，新颖的特性在于单个物品可以由各种可视元素组成，并且它们的组合可以形成不同的时尚风格。当与不同的物品结合时，目标物品在定义整体时尚风格以及整体相容性方面可以起不同作用。换言之，在本公开中，当目标物品用于与衣服的不同集合进行搭配时，会注意该目标物品中的不同的可视元素。
[0010]在一些方面中，本公开涉及用于基于可视元素的物品推荐的方法。该方法包括：通过一个或多个处理器根据物品的物品图像确定可视元素；通过一个或多个处理器至少基于可视元素的一部分生成物品的元素描述符；以及通过一个或多个处理器计算元素描述符与一个或多个其他物品的一个或多个其他元素描述符之间的相容性值。
[0011]在一些实施例中，该方法还包括：通过一个或多个处理器将相容性值与相容性阈值进行比较。
[0012]在一些实施例中，该方法还包括：通过一个或多个处理器响应于相容性值大于或等于相容性阈值，推荐一个或多个其他物品。
[0013]在一些实施例中，该方法还包括：通过一个或多个处理器响应于物品与一个或多个其他物品进行搭配，分析所确定的可视元素，以根据所确定的可视元素来确定特征元素，其中特征元素包括所确定的可视元素中的全部或一部分。
[0014]在一些实施例中，至少基于可视元素的一部分生成物品的元素描述符的步骤包括：通过一个或多个处理器基于特征元素生成元素描述符。
[0015]在一些实施例中，特征元素是通过具有注意力机制的两个卷积长期短期记忆(ConvLSTM)网络确定的。
[0016]在一些实施例中，在根据物品的物品图像确定可视元素的步骤之前，该方法还包括以下步骤：通过一个或多个处理器获取包括物品图像的原始图像；通过一个或多个处理器对原始图像执行人体解析以生成解析图像；以及通过一个或多个处理器基于原始图像和解析图像生成物品图像。
[0017]在一些实施例中，基于原始图像和解析图像生成物品图像的步骤包括以下步骤：通过一个或多个处理器对解析图像进行裁剪，以生成包括裁剪的物品区域和裁剪的非物品区域的裁剪的解析图像；通过一个或多个处理器从裁剪的解析图像中过滤掉裁剪的非物品区域，以生成人体解析掩模；以及通过一个或多个处理器将人体解析掩模与原始图像重叠，以生成物品图像。
[0018]在一些实施例中，在生成物品的元素描述符的步骤之前，该方法还包括：通过一个或多个处理器从可视元素中删减不满足以下条件中的任意条件的可视元素：与尺度不变特征变换(SIFT)/加速鲁棒特征(SURF)/最大稳定极值区域(MSER)关键点重叠；以及与可视标记(landmark)重叠。
[0019]在一些实施例中，执行人体解析的步骤包括以下步骤：通过一个或多个处理器执行关于数据集训练的人体解析算法，其中，人体解析算法是可视关键点和/或人类关键点辅助的人体解析算法。
[0020]在一些方面中，本公开涉及用于基于可视元素的物品推荐的系统。在某些实施例中，该系统包括计算设备。计算设备具有处理器和存储计算机可执行代码的存储设备。当计算机可执行代码在处理器处执行时，其被配置为执行上述方法。
[0021]在一些方面中，本公开涉及用于基于可视元素的物品推荐的设备。该设备包括：处
理器；存储指令的存储器，所述指令在由处理器执行时使处理器执行以下操作：根据物品的物品图像确定可视元素；至少基于可视元素的一部分生成物品的元素描述符；以及，计算元素描述符与一个或多个其他物品的一个或多个其他元素描述符之间的相容性值。
[0022]在一些实施例中，所述指令在由处理器执行时还使该处理器执行以下操作：将相容性值与相容性阈值进行比较。
[0023]在一些实施例中，所述指令在由处理器执行时还使该处理器执行以下操作：响应于相容性值大于或等于相容性阈值，推荐一个或多个其他物品。
[0024]在一些实施例中，所述指令在由处理器执行时还使该处理器执行以下操作：响应于物品与一个或多个其他物品进行搭配，分析所确定的可视元素，以根据所确定的可视元素来确定特征元素，其中，特征元素包括所确定的可视元素的全部或一部分。
[0025]在一些实施例中，所述指令在由处理器执行时还使该处理器执行以下操作：基于特征元素生成元素描述符。...

【技术保护点】

【技术特征摘要】
1.一种用于基于可视元素的物品推荐的方法，所述方法包括：通过一个或多个处理器根据物品的物品图像确定可视元素；通过所述一个或多个处理器至少基于所述可视元素的一部分生成所述物品的元素描述符；以及通过所述一个或多个处理器计算所述元素描述符与一个或多个其他物品的一个或多个其他元素描述符之间的相容性值。2.根据权利要求1所述的方法，还包括：通过所述一个或多个处理器将所述相容性值与相容性阈值进行比较。3.根据权利要求2所述的方法，还包括：通过所述一个或多个处理器响应于所述相容性值大于或等于所述相容性阈值，推荐所述一个或多个其他物品。4.根据权利要求1所述的方法，还包括：通过所述一个或多个处理器响应于所述物品与所述一个或多个其他物品进行搭配，分析所确定的可视元素，以根据所确定的可视元素来确定特征元素，其中，所述特征元素包括所确定的可视元素的全部或一部分。5.根据权利要求4所述的方法，其中，至少基于所述可视元素的一部分生成所述物品的元素描述符的步骤包括：通过所述一个或多个处理器基于所述特征元素生成所述元素描述符。6.根据权利要求4所述的方法，其中，所述特征元素是通过具有注意力机制的两个卷积长期短期记忆ConvLSTM网络确定的。7.根据权利要求1所述的方法，其中，在根据物品的物品图像确定可视元素的步骤之前，所述方法还包括以下步骤：通过所述一个或多个处理器获取包括所述物品图像的原始图像；通过所述一个或多个处理器对所述原始图像执行人体解析以生成解析图像；以及通过所述一个或多个处理器基于所述原始图像和所述解析图像生成所述物品图像。8.根据权利要求7所述的方法，其中，基于所述原始图像和所述解析图像生成所述物品图像的步骤包括以下步骤：通过所述一个或多个处理器对所述解析图像进行裁剪，以生成包括裁剪的物品区域和裁剪的非物品区域的裁剪的解析图像；通过所述一个或多个处理器从所述裁剪的解析图像中过滤掉所述裁剪的非物品区域，以生成人体解析掩模；以及通过所述一个或多个处理器将所述人体解析掩模与所述原始图像重叠，以生成所述物品图像。9.根据权利要求7所述的方法，其中，执行人体解析的步骤包括以下步骤：通过所述一个或多个处理器执行关于数据集训练的人体解析算法，其中，所述人体解析算法是可视关键点和/或人体关键点辅助的人体解析算法。10.根据权利要求1所述的方法，其中，在生成所述物品的所述元素描述符的步骤之前，所述方法还包括：通过所述一个或多个处理器从所述可视元素中删减不满足以下条件中的任意条件的
可视元素：a)与尺度不变特征变换SIFT/加速鲁棒特征SURF/最大稳定极值区域MSER关键点重叠；以及b)与可视标记重叠。11.一种用...

【专利技术属性】
技术研发人员：宁广涵，张晓凡，赖瑞欣，张弛，
申请(专利权)人：京东美国科技公司，
类型：发明
国别省市：