【技术实现步骤摘要】
训练虚拟试衣模型的方法、生成试衣图像的方法及相关装置
[0001]本申请涉及图像处理
,尤其涉及一种训练虚拟试衣模型的方法、生成试衣图像的方法及相关装置。
技术介绍
[0002]在现代科技不断进步的背景下,网络购物逐渐成为人们获取商品的主要途径之一。在购买服装等产品时,消费者通常希望了解商品的真实效果,以确保合适的款式、尺码和穿着效果。因此,虚拟试衣技术的需求逐渐增强,成为计算机视觉领域的研究重点。
[0003]目前,已有一些虚拟试衣解决方案,然而,现有的衣服变形算法主要采用TPS和基于光流的变形算法,但其生成模型缺乏自我矫正能力,例如在处理领口、手袖等细节时效果较差,导致试穿效果缺乏真实感,贴图痕迹较为明显。
技术实现思路
[0004]本申请实施例提供一种训练虚拟试衣模型的方法、生成试衣图像的方法及相关装置,该方法通过在试衣生成过程中引入低维特征的重构和解码,能够提升试衣效果的质感,使其更贴近真实穿着效果。
[0005]第一方面,本申请提供一种训练虚拟试衣模型的方法,其特征在于,所述虚拟试衣模型包括衣服扭曲网络和试衣生成网络,所述方法包括:
[0006]获取训练集,其中,所述训练集包括多个训练数据,所述训练数据包括衣服图像和真实试衣图像,所述真实试衣图像中模特穿着所述衣服图像对应的衣服;
[0007]将人体关键点图像和所述衣服图像输入所述衣服扭曲网络,得到变形衣服图像;
[0008]将所述真实试衣图像、所述变形衣服图像和模特身份图像输入所述试衣生成网络, ...
【技术保护点】
【技术特征摘要】
1.一种训练虚拟试衣模型的方法,其特征在于,所述虚拟试衣模型包括衣服扭曲网络和试衣生成网络,所述方法包括:获取训练集,其中,所述训练集包括多个训练数据,所述训练数据包括衣服图像和真实试衣图像,所述真实试衣图像中模特穿着所述衣服图像对应的衣服;将人体关键点图像和所述衣服图像输入所述衣服扭曲网络,得到变形衣服图像;将所述真实试衣图像、所述变形衣服图像和模特身份图像输入所述试衣生成网络,以在所述试衣生成网络对所述真实试衣图像、所述变形衣服图像和所述模特身份图像分别进行编码,分别获得变形衣服特征图像、模特身份特征图像和真实试衣特征图像,并融合所述变形衣服特征图像、所述模特身份特征图像和衣服属性信息的语义特征以得到重构特征图像,对所述重构特征图像进行解码以生成虚拟试衣图像;基于所述重构特征图像和真实试衣特征图像利用损失函数计算损失,并根据所述损失对所述衣服扭曲网络和所述试衣生成网络进行迭代训练,直到所述虚拟试衣模型收敛,得到所述虚拟试衣模型。2.根据权利要求1所述的方法,其特征在于,所述衣服扭曲网络包括第一编码模块、回归网络和变形结构;所述将人体关键点图像和所述衣服图像输入所述衣服扭曲网络,得到变形衣服图像,包括:将所述人体关键点图像输入所述第一编码模块进行编码,得到第一特征图;将所述衣服图像输入所述第一编码模块进行编码,得到第二特征图;融合所述第一特征图和所述第二特征图,得到单个张量的相关层;将所述相关层输入所述回归网络进行预测,得到空间变换参数;采用所述变形结构根据所述空间变换参数对所述衣服图像进行扭曲变形,得到所述变形衣服图像。3.根据权利要求1所述的方法,其特征在于,所述衣服扭曲网络包括第二编码模块、文本编码模块、特征重构网络和解码模块;所述将所述真实试衣图像、所述变形衣服图像和模特身份图像输入所述试衣生成网络,以在所述试衣生成网络对所述真实试衣图像、所述变形衣服图像和所述模特身份图像分别进行编码,分别获得变形衣服特征图像、模特身份特征图像和真实试衣特征图像,并融合所述变形衣服特征图像、所述模特身份特征图像、所述真实试衣特征图像和衣服属性信息的语义特征以得到重构特征图像,对所述重构特征图进行解码以生成虚拟试衣图像,包括:将所述真实试衣图像输入所述第二编码模块进行编码,得到所述真实试衣特征图像;将所述变形衣服图像输入所述第二编码模块进行编码,得到所述变形衣服特征图像;将所述模特身份图像输入所述第二编码模块进行编码,得到所述模特身份特征图像;将所述衣服属性信息输入所述文本编码模块,得到所述语义特征,其中,所述衣服属性信息包括衣服类型、领型、袖长和尺码中的至少一种。将所述变形衣服特征图像、所述模特身份特征图像和所述语义特征输入所述特征重构网络,以对所述变形衣服特征图像和所述模特身份特征图像进行卷积运算,获得试衣特征图像,并融合所述试衣特征图像和所述语义特征,得到所述重构特征图像;
将所述重构特征图像输入所述解码模块,得到虚拟试衣图像。4.根据权利要求3所述的方法,其特征在于,所述文本编码模块包括文本处理单元和向量编码单元;所述将所述...
【专利技术属性】
技术研发人员:陈仿雄,
申请(专利权)人:深圳数联天下智能科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。