虚拟试衣方法及装置制造方法及图纸

本发明专利技术提供一种虚拟试衣方法及装置，其方法包括：根据待试衣对象原始视角的原始图像，获取待试衣对象的三维模型，并基于待试衣对象的三维模型，获取待试衣对象多个目标视角的模型图像；根据原始图像，分别对每一模型图像进行细节补充，获得待试衣对象多个目标视角的补全图像；对于每一目标视角，将每一目标视角的补全图像和每一目标视角的待试衣物图像输入虚拟试衣模型，获取待试衣对象每一目标视角的虚拟试衣效果图像。本发明专利技术提供的虚拟试衣方法及装置，能基于一张待试衣对象的原始图像，获取待试衣对象多个目标视角的虚拟试衣效果图，能快速、低成本以及全面的展示待试衣对象的试衣效果，能实现更简单的多视角虚拟试衣。

【技术实现步骤摘要】
虚拟试衣方法及装置
本专利技术涉及计算机
，尤其涉及一种虚拟试衣方法及装置。
技术介绍
虚拟试衣是指不需要用户真正换装，而是通过计算机视觉技术就能生成参考人像在指定姿态下试穿指定衣服的图像，实现用户虚拟试穿衣服效果。虚拟试衣技术的出现给用户提供了方便快捷的试衣体验，使得人们的传统试衣方式发生了极大的变化，用户无需真正换装就可以体验到潮流与时尚，可以帮助提高用户挑选与购买服装的效率，提高用户的购物体验。现有技术中，通过基于深度学习的神经网络模型，可以将一张图片中的服装，渲染至一张待试衣对象的图片上，从而实现对待试衣对象的虚拟试衣。但是，仅通过待试衣对象单一视角的试衣效果图难以体现待试衣对象虚拟试衣时的临场感和真实感，且难以贴近实际试穿衣服的效果。若想要通过现有技术获取待试衣对象更多视角的虚拟试衣效果图，则需要获取待试衣对象多个视角的图片，并分别将对应视角的服装渲染至每一张待试衣对象的图片上，从而可以获取待试衣对象多个视角的虚拟试衣效果图，多视角的虚拟试衣过程较繁琐。
技术实现思路
本专利技术提供一种虚拟试衣方法及装置用以解决现有技术中多视角的虚拟试衣过程较繁琐的缺陷，实现更简单的多视角虚拟试衣。本专利技术提供一种虚拟试衣方法，包括：根据待试衣对象原始视角的原始图像，获取所述待试衣对象的三维模型，并基于所述待试衣对象的三维模型，获取所述待试衣对象多个目标视角的模型图像；根据所述原始图像，分别对每一所述模型图像进行细节补充，获得所述待试衣对象所述多个目标视角的补全图像；r>对于每一目标视角，将所述每一目标视角的所述补全图像和所述每一目标视角的待试衣物图像输入虚拟试衣模型，获取所述待试衣对象所述每一目标视角的虚拟试衣效果图像；其中，所述虚拟试衣模型是基于多个样本图像组及所述样本图像组对应的标签进行训练后得到的；每一所述样本图像组包括第一人物样本训练视角的图像和衣物样本所述训练视角的图像；所述样本图像组对应的标签为所述第一人物样本试穿所述衣物样本所述训练视角的图像。根据本专利技术提供的一种虚拟试衣方法，所述根据所述原始图像，分别对每一所述模型图像进行细节补充，获得所述待试衣对象所述多个目标视角的补全图像，具体包括：对于每一目标视角，将所述原始图像和所述每一目标视角的模型图像输入细节补充模型，获取所述待试衣对象所述每一目标视角的补全图像；其中，所述细节补充模型是基于第二人物样本所述原始视角的图像及预先获取的所述第二人物样本的图像对应的标签进行训练后得到的。根据本专利技术提供的一种虚拟试衣方法，所述对于每一目标视角，将所述原始图像和所述每一目标视角的模型图像输入细节补充模型，获得所述待试衣对象所述每一目标视角的补全图像，具体包括：对于每一目标视角，将所述原始图像分别输入所述细节补充模型中的第一特征提取子模型和第二特征提取子模型，获取所述原始图像的全局原始特征和区域原始特征，并将所述每一目标视角的所述模型图像分别输入所述第一特征提取子模型和所述第二特征提取子模型，获取所述每一目标视角的所述模型图像的全局模型特征和区域模型特征；将所述原始图像的所述全局原始特征、区域原始特征与所述每一目标视角的所述模型图像的全局模型特征和区域模型特征输入所述细节补充模型中的细节补充子模型，获取所述待试衣对象所述每一目标视角的补全图像。根据本专利技术提供的一种虚拟试衣方法，所述第一特征提取子模型，包括：顺次连接的多个卷积单元和一个全连接单元；所述第二特征提取子模型，包括顺次连接的多个卷积单元和一个全连接单元。根据本专利技术提供的一种虚拟试衣方法，所述根据待试衣对象原始视角的原始图像，获取所述待试衣对象的三维模型，具体包括：将所述原始图像输入建模模型，获取所述待试衣对象的三维模型；其中，所述建模模型是基于第三人物样本的样本图像和所述第三人物样本对应的三维模型进行训练后得到的。根据本专利技术提供的一种虚拟试衣方法，所述建模模型，为PIFuHD模型。根据本专利技术提供的一种虚拟试衣方法，所述虚拟试衣模型，为ACFPN模型。本专利技术还提供一种虚拟试衣装置，包括：图像处理模块，用于根据待试衣对象原始视角的原始图像，获取所述待试衣对象多个目标视角的模型图像；其中，所述多个目标视角包括与所述原始视角相同的目标视角；细节补充模块，用于根据所述原始图像，分别对每一所述模型图像进行细节补充，获得所述待试衣对象所述多个目标视角的补全图像；虚拟试衣模块，用于对于每一目标视角，将所述每一目标视角的所述补全图像和所述每一目标视角的待试衣物图像输入虚拟试衣模型，获取所述待试衣对象所述每一目标视角的虚拟试衣效果图像；其中，所述虚拟试衣模型是基于样本图像组及所述样本图像组对应的标签进行训练后得到的；每一所述样本图像组包括第一人物样本训练视角的图像和衣物样本所述训练视角的图像；所述样本图像组对应的标签为所述第一人物样本试穿所述衣物样本所述训练视角的图像。本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述虚拟试衣方法的步骤。本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述虚拟试衣方法的步骤。本专利技术提供的虚拟试衣方法及装置，基于待试衣对象的原始图像，获取待试衣对象多个目标视角的补全图像，并分别将每一目标视角的补全图像和每一目标视角的待试衣物输入训练好的虚拟试衣模型，获取待试衣对象多个目标视角的虚拟试衣效果图像，能基于一张待试衣对象的原始图像，获取待试衣对象多个目标视角的虚拟试衣效果图，能快速、低成本以及全面的展示待试衣对象的试衣效果，能实现更简单的多视角虚拟试衣。附图说明为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术提供的虚拟试衣方法的流程示意图；图2是本专利技术提供的虚拟试衣方法中细节补充的流程示意图；图3是本专利技术提供的虚拟试衣装置的结构示意图；图4是本专利技术提供的电子设备的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相本文档来自技高网...

【技术保护点】
1.一种虚拟试衣方法，其特征在于，包括：/n根据待试衣对象原始视角的原始图像，获取所述待试衣对象的三维模型，并基于所述待试衣对象的三维模型，获取所述待试衣对象多个目标视角的模型图像；/n根据所述原始图像，分别对每一所述模型图像进行细节补充，获得所述待试衣对象所述多个目标视角的补全图像；/n对于每一目标视角，将所述每一目标视角的所述补全图像和所述每一目标视角的待试衣物图像输入虚拟试衣模型，获取所述待试衣对象所述每一目标视角的虚拟试衣效果图像；/n其中，所述虚拟试衣模型是基于多个样本图像组及所述样本图像组对应的标签进行训练后得到的；每一所述样本图像组包括第一人物样本训练视角的图像和衣物样本所述训练视角的图像；所述样本图像组对应的标签为所述第一人物样本试穿所述衣物样本所述训练视角的图像。/n

【技术特征摘要】
1.一种虚拟试衣方法，其特征在于，包括：
根据待试衣对象原始视角的原始图像，获取所述待试衣对象的三维模型，并基于所述待试衣对象的三维模型，获取所述待试衣对象多个目标视角的模型图像；
根据所述原始图像，分别对每一所述模型图像进行细节补充，获得所述待试衣对象所述多个目标视角的补全图像；
对于每一目标视角，将所述每一目标视角的所述补全图像和所述每一目标视角的待试衣物图像输入虚拟试衣模型，获取所述待试衣对象所述每一目标视角的虚拟试衣效果图像；
其中，所述虚拟试衣模型是基于多个样本图像组及所述样本图像组对应的标签进行训练后得到的；每一所述样本图像组包括第一人物样本训练视角的图像和衣物样本所述训练视角的图像；所述样本图像组对应的标签为所述第一人物样本试穿所述衣物样本所述训练视角的图像。


2.根据权利要求1所述的虚拟试衣方法，其特征在于，所述根据所述原始图像，分别对每一所述模型图像进行细节补充，获得所述待试衣对象所述多个目标视角的补全图像，具体包括：
对于每一目标视角，将所述原始图像和所述每一目标视角的模型图像输入细节补充模型，获取所述待试衣对象所述每一目标视角的补全图像；
其中，所述细节补充模型是基于第二人物样本所述原始视角的图像及预先获取的所述第二人物样本的图像对应的标签进行训练后得到的。


3.根据权利要求2所述的虚拟试衣方法，其特征在于，所述对于每一目标视角，将所述原始图像和所述每一目标视角的模型图像输入细节补充模型，获得所述待试衣对象所述每一目标视角的补全图像，具体包括：
对于每一目标视角，将所述原始图像分别输入所述细节补充模型中的第一特征提取子模型和第二特征提取子模型，获取所述原始图像的全局原始特征和区域原始特征，并将所述每一目标视角的所述模型图像分别输入所述第一特征提取子模型和所述第二特征提取子模型，获取所述每一目标视角的所述模型图像的全局模型特征和区域模型特征；
将所述原始图像的所述全局原始特征、区域原始特征与所述每一目标视角的所述模型图像的全局模型特征和区域模型特征输入所述细节补充模型中的细节补充子模型，获取所述待试衣对象所述每一目标视角的补全图像。

...

【专利技术属性】
技术研发人员：李晶，左宗英，武嫣，
申请(专利权)人：北京东方国信科技股份有限公司，
类型：发明
国别省市：北京;11