虚拟试衣及试衣模型训练的方法、装置和设备制造方法及图纸

本申请公开了一种虚拟试衣及试衣模型训练的方法、装置和设备，其中该虚拟试衣方法包括：获取用户输入的目标衣服图像以及试衣对象图像；获取该试衣对象图像的人体区域的目标人体mask图像以及目标人体关键点图像；获取该目标衣服图像对应的目标衣服mask图像；将该目标衣服图像、该目标衣服mask图像、该目标人体mask图像以及该目标人体关键点图像输入至预先生成的试衣模型中；在该试衣模型中，基于接收到的输入数据，预测目标衣服图像对应的目标预测光流，并根据目标预测光流以及该目标衣服图像生成目标形变衣服图像；根据目标形变衣服图像生成试衣效果图像，生成的试衣效果图像更加逼真，解决衣袖扭曲、试穿美感差、清晰度低及贴合度的问题。贴合度的问题。贴合度的问题。

【技术实现步骤摘要】
虚拟试衣及试衣模型训练的方法、装置和设备


[0001]本申请涉及数据处理
，尤其涉及一种虚拟试衣方法、一种试衣模型训练的方法、一种虚拟试衣装置、一种试衣模型训练的装置、一种电子设备、一种计算机可读存储介质以及一种计算机程序产品。

技术介绍

[0002]随着互联网的发展，网络购物越来越受大众喜欢，但和线下购物相比，线上购物存在一些体验差的问题，例如购买的衣服没有办法试穿，不知道效果如何，导致退货率高。而虚拟试衣技术目的就是提供一种虚拟的试衣场景，给用户带来更好的体验。虚拟试衣技术是计算机视觉领域的一种重要技术方向，其可以广泛用于电商平台中，以提升用户体验。
[0003]相关技术中提及的虚拟试衣技术，主要是通过重构3D人体，将3D的衣服变换(warp)到重构的3D人体身上。然而，3D的衣服是比较难获取的，并且重构的3D人体如果不够真实则会影响衣服试穿效果，存在贴合度差的问题。

技术实现思路

[0004]本申请提供一种虚拟试衣及试衣模型训练的方法、装置和设备，以解决现有技术中的虚拟试衣技术中试衣效果不够真实、贴合度差的问本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟试衣方法，其特征在于，所述方法包括：获取用户输入的目标衣服图像以及试衣对象图像；获取所述试衣对象图像的人体区域的目标人体mask图像以及目标人体关键点图像；获取所述目标衣服图像对应的目标衣服mask图像；将所述目标衣服图像、所述目标衣服mask图像、所述目标人体mask图像以及所述目标人体关键点图像输入至预先生成的试衣模型中；在所述试衣模型中，基于接收到的输入数据，预测所述目标衣服图像对应的目标预测光流，并根据所述目标预测光流以及所述目标衣服图像生成目标形变衣服图像；根据所述目标形变衣服图像生成试衣效果图像。2.一种试衣模型训练的方法，其特征在于，所述方法包括：获取第一训练数据集，所述第一训练数据集中各第一训练数据包括样本衣服图像，以及，所述样本衣服图像对应的样本衣服穿着在人体身上后的第一形变衣服图像；采用所述第一训练数据集训练试衣光流模型；采用所述试衣光流模型生成所述样本衣服图像与所述第一形变衣服图像之间的光流，并基于所述光流与所述样本衣服图像生成光流对数据；获取第二训练数据集，所述第二训练数据集中各第二训练数据包括所述样本衣服图像，以及，所述样本衣服图像对应的样本衣服穿着在人体身上后获得的人体图像；基于所述第二训练数据集以及所述光流对数据训练试衣模型。3.根据权利要求2所述的方法，其特征在于，所述采用所述第一训练数据集训练试衣光流模型，包括：确定所述样本衣服图像与所述第一形变衣服图像之间的训练过程光流；根据所述样本衣服图像与所述训练过程光流，预测所述样本衣服图像对应的样本衣服穿着在人体身上的第二形变衣服图像；根据所述第一形变衣服图像以及所述第二形变衣服图像，确定形变损失；基于所述形变损失进行反向传播，以优化所述试衣光流模型的参数，继续训练所述试衣光流模型，直到所述形变损失达到最优，则所述试衣光流模型训练完成。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一形变衣服图像以及所述第二形变衣服图像，确定形变损失，包括：根据所述第一形变衣服图像以及所述第二形变衣服图像，确定平均绝对误差损失以及感知域损失；将所述平均绝对误差损失与所述感知域损失的和作为所述形变损失。5.根据权利要求2
‑
4任一项所述的方法，其特征在于，所述获取第一训练数据集，包括：获取全量训练数据集，所述全量训练数据集中的各训练数据包括样本衣服图像，以及，所述样本衣服图像对应的样本衣服穿着在人体身上后的穿衣图像；从所述穿衣图像中提取所述样本衣服，生成第一形变衣服图像；将所述第一形变衣服图像与对应的所述样本衣服图像关联记录为一条第一训练数据；将获得的所有第一训练数据组成第一训练数据集。6.根据权利要求5所述的方法，其特征在于，所述人体图像包括所述人体区域的人体mask图像以及人体关键点图像；
所述获取第二训练数据集，包括：从所述穿衣图像中提取所述人体区域的mask图像，记作人体mask图像；采用预先生成的关键点模型提取所述穿衣图像中所述人体区域的人体关键点图像；从所述样本衣服图像中提取所述样本衣服区域的mask图像，记作样本衣服mask图像；将所述样本衣服图像、所述样本衣服mask图像、所述人体mask图像、所述人体关键点图像关联记录为一条第二训练数据；将获得的所有第二训练数据组成第二训练数据集。7.根据权利要求6所述的方法，其特征在于，所述基于所述第二训练数据集以及所述光流对数据训练试衣模型，包括：将所述样本衣服图像以及对应的所述样本衣服mask图像进行拼接作为第一输入数据输入至试衣网络，以及，将所述人体mask图像以及对应的所述人体关键点图像进行拼接作为第二输入数据输入至所述试衣网络，其中，所述试衣网络包括与所述第一输入数据对应的多个级联的第一残差块，以及，与所述第二输入数据对应的多个级联的第二残差块；基于同一位置的所述第一残差块的第一输出特征以及所述第二残差块的第二输出特征，计算两者的光流，记作预测光流；将该预测光流作为样本衣服的特征输入至下一第一残差块中，使得下一第一残差块基于样本衣服特征以及获得的预测光流获得形变衣服特征作为第一输出特征进...

【专利技术属性】
技术研发人员：李安，蒋剑斌，李玉乐，项伟，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：