基于生成式的辅助模板增强服装搭配方案生成方法及系统技术方案

本公开公开了基于生成式的辅助模板增强服装搭配方案生成方法及系统，包括：构建基于生成式的辅助模板增强服装搭配模型；构建训练集；将训练集输入到构建好的基于生成式的辅助模板增强服装搭配模型中进行训练，得到训练好的基于生成式的辅助模板增强服装搭配模型；将待搭配的上衣，输入到训练好的基于生成式的辅助模板增强服装搭配模型中，输出最搭配的下衣；待搭配的上衣与最搭配的下衣作为最终的服装搭配方案输出。

Generation method and system of garment matching scheme enhanced by auxiliary template based on generative

【技术实现步骤摘要】
基于生成式的辅助模板增强服装搭配方案生成方法及系统
本公开涉及服装搭配方案推荐
，特别是涉及基于生成式的辅助模板增强服装搭配方案生成方法及系统。
技术介绍
本部分的陈述仅仅是提到了与本公开相关的
技术介绍
，并不必然构成现有技术。在实现本公开的过程中，专利技术人发现现有技术中存在以下技术问题：由于时尚产业的巨大经济价值，时尚分析的相关研究变得越来越多，特别是服装搭配。由于表示学习的最新进展，当前许多研究致力于互补项之间的相似度，以帮助人们进行服装搭配。从某种意义上说，现有的方法主要是利用先进的神经网络学习潜在的兼容空间，以弥补互补的时尚物品(如衬衫和裤子)之间的巨大差异，直接测量物品之间的兼容程度。假设给定一个上衣，我们首先为给定的上衣绘制一个相容的下衣搭配模板，作为互补搭配服装之间的辅助链接，我们可以从生成式的角度进一步度量它们的搭配。事实上，如何将辅助模板生成无缝的融合到相容性建模中并提高性能存在很大的挑战。另外，如何准确地为给定的上衣生成一个互补的下衣模板来准确的指导相容性建模也面临很大的挑战。
技术实现思路
为了解决现有技术的不足，本公开提供了基于生成式的辅助模板增强服装搭配方案生成方法及系统；自动为用户进行服装推荐。第一方面，本公开提供了基于生成式的辅助模板增强服装搭配方案生成方法；基于生成式的辅助模板增强服装搭配方案生成方法，包括：构建基于生成式的辅助模板增强服装搭配模型；构建训练集；将训练集输入到构建好的基于生成式的辅助模板增强服装搭配模型中进行训练，得到训练好的基于生成式的辅助模板增强服装搭配模型；将待搭配的上衣，输入到训练好的基于生成式的辅助模板增强服装搭配模型中，输出最搭配的下衣；待搭配的上衣与最搭配的下衣作为最终的服装搭配方案输出。第二方面，本公开还提供了基于生成式的辅助模板增强服装搭配方案生成系统；基于生成式的辅助模板增强服装搭配方案生成系统，包括：构建模块，其被配置为：构建基于生成式的辅助模板增强服装搭配模型；构建训练集；模型训练模块，其被配置为：将训练集输入到构建好的基于生成式的辅助模板增强服装搭配模型中进行训练，得到训练好的基于生成式的辅助模板增强服装搭配模型；方案生成模块，其被配置为：将待搭配的上衣，输入到训练好的基于生成式的辅助模板增强服装搭配模型中，输出最搭配的下衣；待搭配的上衣与最搭配的下衣作为最终的服装搭配方案输出。第三方面，本公开还提供了一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述方法的步骤。第四方面，本公开还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述方法的步骤。与现有技术相比，本公开的有益效果是：1、该互补模板生成网络可以有效的为给定的上衣绘制一个相容的下衣模板；2、该方法可以有效的提取服装的视觉和文本特征，并对其进行有效建模；3、该下衣模板可以辅助指导上衣和下衣的相容性建模。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图1是本公开第一个实施例的所提出的基于生成式的辅助模板增强服装搭配方案，即AT-GCM框架。图2是本公开第一个实施例的互补模板生成网络，主要包含编码器，转换器和解码器三个部分。具体实施方式应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。实施例一，本实施例提供了基于生成式的辅助模板增强服装搭配方案生成方法；如图1所示，基于生成式的辅助模板增强服装搭配方案生成方法，包括：S1：构建基于生成式的辅助模板增强服装搭配模型；构建训练集；S2：将训练集输入到构建好的基于生成式的辅助模板增强服装搭配模型中进行训练，得到训练好的基于生成式的辅助模板增强服装搭配模型；S3：将待搭配的上衣，输入到训练好的基于生成式的辅助模板增强服装搭配模型中，输出最搭配的下衣；待搭配的上衣与最搭配的下衣作为最终的服装搭配方案输出。作为一个或多个实施例，所述基于生成式的辅助模板增强服装搭配模型为：LAT-GCM＝LGAN(G)+LGAN(Db)+LGAN(F)+LGAN(Dt)+LBPR+βLcycp+γLpixel，其中，LAT-GCM为基于生成式的辅助模板增强服装搭配模型的损失函数；LGAN(G)为互补模板生成网络的第一生成器G的损失函数；LGAN(Db)为互补模板生成网络的第一判别器Db的损失函数；LGAN(F)为互补模板生成网络的第二生成器F的损失函数；LGAN(Dt)为互补模板生成网络的第二判别器Dt的损失函数；Lcycp为互补模板生成网络的第二生成器输出值与第一生成器输入值之间的循环一致性损失函数；LBPR为上衣和下衣的隐含搭配偏好损失函数；Lpixel为下衣搭配模板与正例下衣之间的像素级差异损失函数；β和γ为权重值，β和γ为0到1间的非负数。进一步地，所述互补模板生成网络的第一生成器G的损失函数LGAN(G)的计算过程为：其中，为生成的下衣模板，Db为判别器用来判别的真实性。进一步地，所述互补模板生成网络的第一判别器的损失函数LGAN(Db)的计算过程为：其中，为输入的上衣图像，为下衣图像。进一步地，所述互补模板生成网络的第二生成器F的损失函数LGAN(F)的计算过程为：其中，Dt为生成器F所对应的判别器，为生成器F重建出的上衣图像。进一步地，所述互补模板生成网络的第二判别器的损失函数LGAN(Dt)的计算过程为：进一步地，所述互补模板生成网络的第二生成器输出值与第一生成器输入值之间的循环一致性损失函数Lcycp的计算过程为：进一步地，所述下衣搭配模板与正例下衣之间的像素级差异损失函数Lpixel的计算过程为：其中，为下衣图像。进一步地，所述上衣和下衣的隐含搭配偏好损失函数BPR的计算过程为：S101：获取上衣的图像和文本描述；获取正例下衣的图像和文本描述；所述正例下衣是指与上衣所匹配的下衣；S102：从上衣的图像中获取上衣视觉编码；从本文档来自技高网...

【技术保护点】
1.基于生成式的辅助模板增强服装搭配方案生成方法，其特征是，包括：/n构建基于生成式的辅助模板增强服装搭配模型；构建训练集；/n将训练集输入到构建好的基于生成式的辅助模板增强服装搭配模型中进行训练，得到训练好的基于生成式的辅助模板增强服装搭配模型；/n将待搭配的上衣，输入到训练好的基于生成式的辅助模板增强服装搭配模型中，输出最搭配的下衣；/n待搭配的上衣与最搭配的下衣作为最终的服装搭配方案输出。/n

【技术特征摘要】
1.基于生成式的辅助模板增强服装搭配方案生成方法，其特征是，包括：
构建基于生成式的辅助模板增强服装搭配模型；构建训练集；
将训练集输入到构建好的基于生成式的辅助模板增强服装搭配模型中进行训练，得到训练好的基于生成式的辅助模板增强服装搭配模型；
将待搭配的上衣，输入到训练好的基于生成式的辅助模板增强服装搭配模型中，输出最搭配的下衣；
待搭配的上衣与最搭配的下衣作为最终的服装搭配方案输出。


2.如权利要求1所述的方法，其特征是，所述基于生成式的辅助模板增强服装搭配模型为：
LAT-GCM＝LGAN(G)+LGAN(Db)+LGAN(F)+LGAN(Dt)+LBPR+βLcycp+γLpixel，
其中，LAT-GCM为基于生成式的辅助模板增强服装搭配模型的损失函数；
LGAN(G)为互补模板生成网络的第一生成器G的损失函数；
LGAN(Db)为互补模板生成网络的第一判别器Db的损失函数；
LGAN(F)为互补模板生成网络的第二生成器F的损失函数；
LGAN(Dt)为互补模板生成网络的第二判别器Dt的损失函数；
Lcycp为互补模板生成网络的第二生成器输出值与第一生成器输入值之间的循环一致性损失函数；
LBPR为上衣和下衣的隐含搭配偏好损失函数；
Lpixel为下衣搭配模板与正例下衣之间的像素级差异损失函数；
β和γ为权重值，β和γ为0到1间的非负数。


3.如权利要求1所述的方法，其特征是，所述互补模板生成网络的第一生成器G的损失函数LGAN(G)的计算过程为：



其中，为生成的下衣模板，Db为判别器用来判别的真实性；
所述互补模板生成网络的第一判别器的损失函数LGAN(Db)的计算过程为：



其中，为输入的上衣图像，为下衣图像。


4.如权利要求1所述的方法，其特征是，所述互补模板生成网络的第二生成器F的损失函数LGAN(F)的计算过程为：



其中，Dt为生成器F所对应的判别器，为生成器F重建出的上衣图像；
所述互补模板生成网络的第二判别器的损失函数LGAN(Dt)的计算过程为：



所述互补模板生成网络的第二生成器输出值与第一生成器输入值之间的循环一致性损失函数Lcycp的计算过程为：



所述下衣搭配模板与正例下衣之间的像素级差异损失函数Lpixel的计算过程为：



其中，为下衣图像。


5.如权利要求1所述的方法，其特征是，所述上衣和下衣的隐含搭配偏好损失函数LBPR的计算过程为：
S101：获取上衣的图像和文本描述；获取正例下衣的图像和文本描述；所述正例下衣是指与上衣所匹配的下衣；
S102：从上衣的图像中获取上衣视觉编码；从正例下衣的图像中获取正例下衣的视觉编码；从上衣的文本单词中获取上衣的文本向量；从正例下衣的文本单词中获取正例下衣的文本向量；
S103：从上衣视觉编码中提取上衣视觉特征；从正例下衣的视觉编码中提取正例下衣的视觉特征；从上衣的文本向量中提取上衣文本特征，从正例下衣的文本向量中提取正例下衣的文本特征；
S104：从上衣的视觉特征中提取上衣隐含视觉向量；从正例下衣的视觉特征中提取正例下衣的隐含视觉向量；从上衣的...

【专利技术属性】
技术研发人员：刘金环，宋雪萌，马军，任昭春，陈竹敏，聂礼强，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37