基于视觉组合关系学习的时尚服装智能搭配与推荐方法技术

本发明专利技术公开了一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，该方法针对服装视觉信息的抽取，多服饰视觉兼容度与相互影响关系的建模，能够智能的为服装进行匹配，获取服装之间的匹配评分，进一步地辅助搭配类别分析，能够智能识别当前搭配中所缺少的部分，并对缺少单品进行针对性预测；通过模型训练与优化策略，模型能够自适应的学习专家经验，并能智能的为用户生成美观的服装搭配。

【技术实现步骤摘要】
基于视觉组合关系学习的时尚服装智能搭配与推荐方法
本专利技术涉及人工智能
，尤其涉及一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法。
技术介绍
服装是人们日常生活中必不可缺的一部分，一套好的服装搭配不仅仅可以提升用户的自信，同时还能在一定程度上反馈用户的个性偏好。然而，在日常生活中，大部分人都能够搭配一套合适漂亮的服装，尤其是对于那些没有美感和相关经验的人。同时，基于服装搭配关系的学习，能够进一步帮助推荐系统更好的为用户推荐服装的搭配方案。传统的方法大多是基于专家经验的服装搭配方案生成和推荐，但是这种方法一来过于依赖人为的经验与数据标注(每一次都需要专家人工辅助推荐)，成本非常之高，二来无法对新的服装商品进行处理，只能完成原有服装方案的重现，无法智能的理解用户服装搭配意图与场景。
技术实现思路
本专利技术的目的是提供一种基于视觉组合关系学习时尚服装智能搭配与推荐方法，模型训练结束后不依赖人工标注数据，能够对新的服装进行自动的识别分析，并智能完成时尚搭配，为用户生成搭配建议。本专利技术的目的是通过以下技术方案实现的：一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，包括：获取若干套专家标注并搭配的服装集合；搭建神经网络模型并进行网络训练：从任一套服装集合中随机删除一件服装，删除一件服装后的服装集合作为训练样本，并通过神经网络模型提取训练样本的整体表征向量，在提取训练样本的整体表征向量时，利用计算机视觉技术提取服装的视觉信息，并建模不同服装的视觉兼容度与相互影响关系；利用训练样本的整体表征向量计算训练样本与每一候选服装的匹配评分，从而根据匹配评分训练神经网络模型；将单品服装作为输入，基于训练好的神经网络模型，生成成套的服装集合。由上述本专利技术提供的技术方案可以看出，针对服装视觉信息的抽取，多服饰视觉兼容度与相互影响关系的建模，能够智能的为服装进行匹配，获取服装之间的匹配评分，进一步地辅助搭配类别分析，能够智能识别当前搭配中所缺少的部分，并对缺少单品进行针对性预测；通过模型训练与优化策略，模型能够自适应的学习专家经验，并能智能的为用户生成美观的服装搭配。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法的流程图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例提供一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，如图1所示，其主要包括：步骤1、获取若干套专家标注并搭配的服装集合。本专利技术实施例中，第l套专家标注并搭配的服装集合表示为：Ol＝{p1,2,..,k}，其中，pi表示服装集合中的第i件服装的相关信息，i＝1,2,…,k，k表示服装总数；服装的相关信息包括：服装的类别信息和服装图片。本专利技术实施例中，一套服装集合即为一套完整的服装搭配方案，服装集合的具体数目可根据实际情况设定。示例性的，服装类别可以包括：男士长裤，男士短裤，长裙，短裙等；通常情况下，一个服装集合中不会出现相同类别的服装。本专利技术实施例中，专家标注并搭配的服装集合可以通过自动爬取得到，在后续神经网络模型学习完成后就可以智能的为用户进行推荐了，不再继续依赖专家标注并搭配的服装集合。步骤2、搭建神经网络模型并进行网络训练：从任一套服装集合中随机删除一件服装，删除一件服装后的服装集合作为训练样本，并通过神经网络模型提取训练样本的整体表征向量，在提取训练样本的整体表征向量时，利用计算机视觉技术提取服装的视觉信息，并建模不同服装的视觉兼容度与相互影响关系；利用训练样本的整体表征向量计算训练样本与每一候选服装的匹配评分，从而根据匹配评分训练神经网络模型。本专利技术实施例中，针对服装搭配的问题特点，提出了一种组合感知的优化策略。具体来说，不同于常见的分类以及预测问题，从现有服装搭配库(即专家标注并搭配的服装集合)中学习服装搭配关系是比较困难的，因为没有确定的输入信号与监督信号。换句话来说，服装搭配中的每一件衣服都有可能是被搭配的衣服，也有可能是用户已经购买过或者选择需要被搭配的衣服。因此，在神经网络模型学习搭配过程中，首先随机在已有的服装搭配中选取一件单品，并将其从搭配方案中删除，将该删除的服装看作是模型训练的预测服装，删除后的搭配方案即是训练样本P。对于训练样本，通过预先搭建的神经网络模型提取整体表征向量，基于神经网络，模型通过采用计算机视觉技术，智能分析服装图片信息，提取服装美学特征，进一步地，建模服装搭配间的互关联性与视觉一致性等，挖掘服装搭配的视觉相关性以及类别的互补兼容性，优选实施方式如下：1)提取每一服装的视觉信息。根据步骤1获得到的信息，首先需要从服装图片中提取视觉信息，即将图片转化成计算机可识别、可理解、可计算的特征向量。本专利技术实施例中，通过一个预训练的多层卷积神经网络，获得服装的视觉表征向量xi，然后通过一个全连接层，对视觉表征向量进行降维：其中，表示降维后的第i件服装的视觉表征向量，是可调权重，表示全连接层的偏差；σ是激活函数，示例性的，可以采用ReLu函数作为激活函数。本领域技术人员可以理解，预训练过程中没有对多层卷积神经网络中的全连接层进行训练，因此，视觉表征向量xi是通过预训练的多层卷积神经网络的卷积层得到。2)基于服装的视觉信息，利用注意力机制来学习服装集合中两两服装之间的空间兼容关系，从而得到训练样本的视觉兼容表征向量。对于第1)步中学习到的服装图片特征，本专利技术进一步建模一套服装中两两之间的兼容关系，具体地，本专利技术提出了一种多属性空间，例如服装的颜色空间，纹理空间，具体地，采用一个线性层对降维后的视觉表征向量进行处理，来生成相应服装在不同属性空间的特征表示，并通过注意力机制来学习两两服装之间的多空间兼容关系：其中，分别为第i件服装、第j件服装在空间s的特征表示，表示第i件服装与第j件服装在属性空间s中的视觉关联分数；分别表示注意力机制中Q、K映射矩阵的权重，ds表示的是服装在属性空间s的特征维度，是视觉关联的注意力权重。生成服装在特征空间上的表征向量：本领域技术人员可以理解，上式是特征降维的操作，即将特征维度由属性空间中的维度ds转换为特征空间的维度。通过合并不同属性空间上的表征向量，得到训练样本的视觉兼容表征向量3)根据服装的类别信息，生成服装本文档来自技高网...

【技术保护点】
1.一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，其特征在于，包括：/n获取若干套专家标注并搭配的服装集合；/n搭建神经网络模型并进行网络训练：从任一套服装集合中随机删除一件服装，删除一件服装后的服装集合作为训练样本，并通过神经网络模型提取训练样本的整体表征向量，在提取训练样本的整体表征向量时，利用计算机视觉技术提取服装的视觉信息，并建模不同服装的视觉兼容度与相互影响关系；利用训练样本的整体表征向量计算训练样本与每一候选服装的匹配评分，从而根据匹配评分训练神经网络模型；/n将单品服装作为输入，基于训练好的神经网络模型，生成成套的服装集合。/n

【技术特征摘要】
1.一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，其特征在于，包括：
获取若干套专家标注并搭配的服装集合；
搭建神经网络模型并进行网络训练：从任一套服装集合中随机删除一件服装，删除一件服装后的服装集合作为训练样本，并通过神经网络模型提取训练样本的整体表征向量，在提取训练样本的整体表征向量时，利用计算机视觉技术提取服装的视觉信息，并建模不同服装的视觉兼容度与相互影响关系；利用训练样本的整体表征向量计算训练样本与每一候选服装的匹配评分，从而根据匹配评分训练神经网络模型；
将单品服装作为输入，基于训练好的神经网络模型，生成成套的服装集合。


2.根据权利要求1所述的一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，其特征在于，第l套专家标注并搭配的服装集合表示为：Ol＝{p1，p2，..，pk}，其中，pi表示服装集合中的第i件服装的相关信息，i＝1，2，...，k，k表示服装总数；服装的相关信息包括：服装的类别信息和服装图片。


3.根据权利要求1所述的一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，其特征在于，通过神经网络模型提取训练样本的整体表征向量的步骤包括：
提取每一服装的视觉信息，并利用注意力机制来学习服装集合中两两服装之间的空间兼容关系，从而得到训练样本的视觉兼容表征向量；同时，根据服装的类别信息，生成服装类别两两关系矩阵，从而得到训练样本的类别表征向量；结合视觉兼容表征向量与类别表征向量得到训练样本的整体表征向量。


4.根据权利要求3所述的一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，其特征在于，所述提取每一服装的视觉信息包括：
通过一个预训练的多层卷积神经网络，获得服装的视觉表征向量xi，然后通过一个全连接层，对视觉表征向量进行降维：



其中，表示降维后的第i件服装的视觉表征向量，Wf(1)，Wf(2)是可调权重，表示模型偏差；σ是激活函数。


5.根据权利要求3所述的一种基于视觉组合关系学习的时尚服装智能搭配与推荐方法，其特征在于，所述利用注意力机制来学习服装集合中两两服装之间的空间兼容关系，从而得到训练样本的视觉兼容表征包括：
采用一个线性层对降维后的视觉表征向量进行处理，来生成相应服装在不同属性空间的特征表示，并通过注意力机制来学习两两服装之间的多空间兼容关系：






其中，分别为第i件服装、第j件服装在空间s的特征表示；表示第i件服装与第j件服装在属性空间s中的视觉关联分数；Wsq、Wsk分别表示注意力机制中Q、K映射矩阵的权重；ds表示服装在属性空间s的特征维度，是视觉关联的注意力权重；
生成服装在特征空间上的表征...

【专利技术属性】
技术研发人员：陈恩红，刘淇，李徵，吴李康，侯旻，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34