【技术实现步骤摘要】
基于多模态的生成式兼容性服装搭配方案生成方法及系统
本专利技术涉及服装搭配方案推荐
，特别是涉及一种基于多模态的生成式兼容性服装搭配方案生成方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。随着深度学习技术在表示学习领域取得的显著成功，深度学习技术成为现有兼容性建模方法的主要技术途径，传统的兼容性建模方法通常利用深度神经网络的非线性映射来学习互补时尚单品的潜在兼容空间，并基于各单品在该空间的表示，直接评估单品与单品之间的兼容程度。事实上，互补单品之间的兼容规律，除了通过潜在兼容空间来探索，还可以直接生成单品的互补兼容模板，即通过互补兼容模板刻画单品之间的兼容规律；如给定上衣，在下衣图像集中，选择与上衣兼容的、匹配的下衣，完成最佳的服装搭配方案，然而，专利技术人发现，上述基于生成式的兼容性服装搭配建模方法仍然存在以下问题：(1)如何基于单品的多模态数据，即图像和文本描述，利用生成对抗网络设计有效的互补兼容模板生成模型，以准确刻画单品之间的兼容规律；...
【技术保护点】
1.一种基于多模态的生成式兼容性服装搭配方案生成方法，其特征在于，包括：/n根据上衣图像获取视觉特征，根据上衣文本描述获取文本特征，将视觉特征和文本特征进行多模态融合后得到上衣多模态编码；/n构建基于多模态增强的互补模板服装生成模型，根据上衣多模态编码得到下衣模板图像；/n以最小化下衣模板图像与已有下衣图像集间的像素级一致性损失为目标函数，根据上衣图像和已有下衣图像集的视觉特征和文本特征映射为隐含视觉特征和隐含文本特征，构建基于多模态增强的兼容模板服装生成模型；/n根据由基于多模态增强的互补模板服装生成模型和基于多模态增强的兼容模板服装生成模型融合得到的基于多模态的生成式兼...
【技术特征摘要】
1.一种基于多模态的生成式兼容性服装搭配方案生成方法，其特征在于，包括：
根据上衣图像获取视觉特征，根据上衣文本描述获取文本特征，将视觉特征和文本特征进行多模态融合后得到上衣多模态编码；
构建基于多模态增强的互补模板服装生成模型，根据上衣多模态编码得到下衣模板图像；
以最小化下衣模板图像与已有下衣图像集间的像素级一致性损失为目标函数，根据上衣图像和已有下衣图像集的视觉特征和文本特征映射为隐含视觉特征和隐含文本特征，构建基于多模态增强的兼容模板服装生成模型；
根据由基于多模态增强的互补模板服装生成模型和基于多模态增强的兼容模板服装生成模型融合得到的基于多模态的生成式兼容性服装搭配模型，在已有下衣图像集中得到与待搭配上衣匹配的下衣，输出服装搭配方案。
2.如权利要求1所述的一种基于多模态的生成式兼容性服装搭配方案生成方法，其特征在于，在条件生成对抗网络CGAN的基础上，构建基于多模态增强的互补模板服装生成模型，包括生成器，所述生成器将视觉特征和文本特征串联，采用全连接网络进行映射融合和维度变换后得到上衣多模态编码，将上衣多模态编码转化为下衣模板图像。
3.如权利要求1所述的一种基于多模态的生成式兼容性服装搭配方案生成方法，其特征在于，所述基于多模态增强的兼容模板服装生成模型的目标函数为：
其中，DB为基于多模态增强的互补模板服装生成模型的判别器；为上衣图像，为下衣图像，为下衣模板图像；为基于多模态增强的互补模板服装生成模型的生成器。
4.如权利要求1所述的一种基于多模态的生成式兼容性服装搭配方案生成方法，其特征在于，采用全局平均池化方法将上衣图像和已有下衣图像的视觉特征和文本特征转换为全局视觉特征和全局文本特征，通过全连接网络将全局视觉特征映射为隐含视觉特征和隐含文本特征；根据隐含视觉特征和隐含文本特征，对上衣单品和下衣单品的兼容性建模：
其中，α是权衡参数；是上衣的隐含文本特征，是下衣的隐含文本特征，为上衣的隐含视觉特征，为下衣的隐含视觉特征。
5.如权利要求1所述的一种基于多模态的生成式兼容性服装搭配方案生成方法，其特征在于，根据下衣模版...
【专利技术属性】
技术研发人员：刘金环，杜军威，于旭，宋雪萌，马军，陈竹敏，
申请(专利权)人：青岛科技大学，
类型：发明
国别省市：山东;37
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。