虚拟换装方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种虚拟换衣方法、装置、计算机设备和存储介质。所述方法包括：从包括处于第一姿态、且穿戴目标服装的对象的第一样本图中，提取第一对象数据；从包括处于第二姿态、且穿戴目标服装的对象的第二样本图中，提取第二服装数据和第二对象数据；将第一对象数据和第二服装数据输入至待训练的换衣模型，得到第一换衣图像；将第一换衣图像中目标服装的服装数据和第二对象数据输入至待训练的换衣模型，得到第二换衣图像；基于第一换衣图像与第一样本图之间的差异、以及第二换衣图像与第二样本图之间的差异进行模型训练，得到训练完毕的换衣模型。采用本方法能够虚拟换衣的成本。模型。采用本方法能够虚拟换衣的成本。模型。采用本方法能够虚拟换衣的成本。

【技术实现步骤摘要】
虚拟换装方法、装置、计算机设备和存储介质


[0001]本申请涉及人工智能
，特别是涉及一种虚拟换装方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着人工智能技术的发展，出现了虚拟换装技术，在诸多创新性应用中，尤其在电商领域，一方面虚拟换衣任务支持买方上传照片进行匹配实现买方的虚拟试穿；另一方面，对于卖家来说，找职业模特约拍服饰费时费力，性价比很低。因此，虚拟换装的需求越来越强烈。
[0003]传统技术中，需要收集配对的服装图片、模特图片以及模特试穿图片作为训练数据，以进行虚拟换装任务的学习。但是，配对模特图片以及模特试穿图片需要保证同一模特同一姿势，可见对于虚拟换装任务来说，训练数据收集的代价是很昂贵的。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够降低成本的虚拟换装方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]第一方面，本申请提供了一种虚拟换衣方法。所述方法包括：
[0006]从包括处于第一姿态、且穿戴目标服装的对象的第一样本图中，提取第一对象数据；
[0007]从包括处于第二姿态、且穿戴所述目标服装的对象的第二样本图中，提取第二服装数据和第二对象数据；
[0008]将第一对象数据和第二服装数据输入至待训练的换衣模型，预测得到第一换衣图像；所述第一换衣图像中呈现处于所述第一姿态的对象穿戴所述目标服装时的效果；
[0009]将所述第一换衣图像中所述目标服装的服装数据和所述第二对象数据输入至所述待训练的换衣模型，预测得到第二换衣图像；所述第二换衣图像中呈现处于所述第二姿态的对象穿戴所述目标服装时的效果；
[0010]基于所述第一换衣图像与所述第一样本图之间的差异、以及所述第二换衣图像与所述第二样本图之间的差异进行模型训练，得到训练完毕的换衣模型。
[0011]在一些实施例中，将用于预测目标换衣图像的对象数据和服装数据输入至待训练的换衣模型，以预测所述目标换衣图像的处理步骤，包括：
[0012]对输入至所述待训练的换衣模型的对象数据和服装数据进行多分辨率编码处理，得到每个分辨率层级的对象编码数据和服装编码数据；
[0013]对同一分辨率层级的对象编码数据和服装编码数据进行融合处理，得到每个分辨率层级的融合编码数据；
[0014]基于各分辨率层级的融合编码数据和对象编码数据进行换衣预测处理，预测得到所述目标换衣图像；
[0015]其中，所述目标换衣图像包括第一换衣图像或第二换衣图像中的任意一种。
[0016]在一些实施例中，所述方法还包括：
[0017]将第一分辨率层级的对象编码数据和服装编码数据进行进阶编码，得到进阶编码的对象编码数据和进阶编码的服装编码数据；所述进阶编码的对象编码数据和进阶编码的服装编码数据的分辨率低于所述第一分辨率层级的对象编码数据和服装编码数据；
[0018]对进阶编码的对象编码数据和进阶编码的服装编码数据进行初步融合，得到初步融合编码数据；
[0019]所述对同一分辨率层级的对象编码数据和服装编码数据进行融合处理，得到每个分辨率层级的融合编码数据，包括：
[0020]将所述初步融合编码数据、以及第一个分辨率层级的对象编码数据和服装编码数据确定为第一个分辨率层级对应的融合模块的输入，得到第一分辨率层级对应的融合模块输出的第一分辨率层级的融合编码数据；
[0021]从所述第一个分辨率层级的下一分辨率层级起依次确定当前分辨率层级，将所述当前分辨率层级的上一分辨率层级的融合编码数据和所述当前分辨率层级的对象编码数据和服装编码数据确定为所述当前分辨率层级对应的融合模块的输入，得到所述当前分辨率层级对应的融合模块输出的融合编码数据。
[0022]在一些实施例中，所述方法还包括：
[0023]对进阶编码的对象编码数据进行上采样，得到上采样后的编码数据；
[0024]所述将所述初步融合编码数据、以及第一个分辨率层级的对象编码数据和服装编码数据确定为第一个分辨率层级对应的融合模块的输入，得到第一分辨率层级对应的融合模块输出的第一分辨率层级的融合编码数据，包括：
[0025]将所述初步融合编码数据、所述上采样后的编码数据以及第一个分辨率层级的对象编码数据和服装编码数据确定为第一个分辨率层级对应的融合模块的输入，得到第一分辨率层级对应的融合模块输出的第一分辨率层级的融合编码数据。
[0026]在一些实施例中，所述目标换衣图像为最后一个分辨率层级的换衣结果；所述基于各分辨率层级的融合编码数据和对象编码数据进行换衣预测处理，预测得到所述目标换衣图像，包括：
[0027]根据第一个分辨率层级的融合编码数据和对象编码数据进行换衣预测处理，预测得到所述第一个分辨率层级的换衣结果；
[0028]将所述第一个分辨率层级的下一分辨率层级起依次确定当前分辨率层级，根据所述当前分辨率层级的上一分辨率层级的换衣结果以及所述当前分辨率层的融合编码数据和对象编码数据进行换衣预测处理，预测得到所述当前分辨率层级的换衣结果；其中，各分辨率层级的换衣结果对应的分辨率不同。
[0029]在一些实施例中，所述方法还包括：
[0030]从所述第一样本图中提取第一服装数据；
[0031]确定所述待训练的换衣模型输出的第一服装预测数据和第二服装预测数据；所述第一服装预测数据用于表征所述第一换衣图像中所述目标服装；所述第二服装预测数据用于表征所述第二换衣图像中所述目标服装；
[0032]所述基于所述第一换衣图像与所述第一样本图之间的差异、以及所述第二换衣图
像与所述第二样本图之间的差异进行模型训练，得到训练完毕的换衣模型，包括：
[0033]根据第一差异、第二差异、第三差异以及第四差异进行模型训练，得到训练完毕的换衣模型；所述第一差异是指所述第一换衣图像与所述第一样本图之间的差异；所述第二差异是指所述第二换衣图像与所述第二样本图之间的差异；所述第三差异是指所述第一服装数据与所述第一服装预测数据之间的差异；所述第四差异是指所述第二服装数据与所述第二服装预测数据之间的差异。
[0034]在一些实施例中，所述第一对象数据包括第一对象掩码；所述第二对象数据包括第二对象掩码；所述方法还包括：
[0035]确定所述待训练的换衣模型输出的第一对象预测掩码和第二对象预测掩码；所述第一对象预测掩码为第一换衣图像中所述对象的掩码；所述第二对象预测掩码为所述第二换衣图像中所述对象的掩码；
[0036]所述根据第一差异、第二差异、第三差异以及第四差异进行模型训练，得到训练完毕的换衣模型包括：
[0037]根据第一差异、第二差异、第三差异、第四差异、第五差异以及第六差异进行模型训练，得到训练完毕的换衣模型；所述第五差异是指所述第一对象掩码与所述第一对象预测掩码之间的差异；所述第六差异是指所述第二对象掩码与所述第二对象预测掩码之间的差异。
[0038]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟换衣方法，其特征在于，所述方法包括：从包括处于第一姿态、且穿戴目标服装的对象的第一样本图中，提取第一对象数据；从包括处于第二姿态、且穿戴所述目标服装的对象的第二样本图中，提取第二服装数据和第二对象数据；将第一对象数据和第二服装数据输入至待训练的换衣模型，预测得到第一换衣图像；所述第一换衣图像中呈现处于所述第一姿态的对象穿戴所述目标服装时的效果；将所述第一换衣图像中所述目标服装的服装数据和所述第二对象数据输入至所述待训练的换衣模型，预测得到第二换衣图像；所述第二换衣图像中呈现处于所述第二姿态的对象穿戴所述目标服装时的效果；基于所述第一换衣图像与所述第一样本图之间的差异、以及所述第二换衣图像与所述第二样本图之间的差异进行模型训练，得到训练完毕的换衣模型。2.根据权利要求1所述的方法，其特征在于，将用于预测目标换衣图像的对象数据和服装数据输入至待训练的换衣模型，以预测所述目标换衣图像的处理步骤，包括：对输入至所述待训练的换衣模型的对象数据和服装数据进行多分辨率编码处理，得到每个分辨率层级的对象编码数据和服装编码数据；对同一分辨率层级的对象编码数据和服装编码数据进行融合处理，得到每个分辨率层级的融合编码数据；基于各分辨率层级的融合编码数据和对象编码数据进行换衣预测处理，预测得到所述目标换衣图像；其中，所述目标换衣图像包括第一换衣图像或第二换衣图像中的任意一种。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：将第一分辨率层级的对象编码数据和服装编码数据进行进阶编码，得到进阶编码的对象编码数据和进阶编码的服装编码数据；所述进阶编码的对象编码数据和进阶编码的服装编码数据的分辨率低于所述第一分辨率层级的对象编码数据和服装编码数据；对进阶编码的对象编码数据和进阶编码的服装编码数据进行初步融合，得到初步融合编码数据；所述对同一分辨率层级的对象编码数据和服装编码数据进行融合处理，得到每个分辨率层级的融合编码数据，包括：将所述初步融合编码数据、以及第一个分辨率层级的对象编码数据和服装编码数据确定为第一个分辨率层级对应的融合模块的输入，得到第一分辨率层级对应的融合模块输出的第一分辨率层级的融合编码数据；从所述第一个分辨率层级的下一分辨率层级起依次确定当前分辨率层级，将所述当前分辨率层级的上一分辨率层级的融合编码数据和所述当前分辨率层级的对象编码数据和服装编码数据确定为所述当前分辨率层级对应的融合模块的输入，得到所述当前分辨率层级对应的融合模块输出的融合编码数据。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：对进阶编码的对象编码数据进行上采样，得到上采样后的编码数据；所述将所述初步融合编码数据、以及第一个分辨率层级的对象编码数据和服装编码数据确定为第一个分辨率层级对应的融合模块的输入，得到第一分辨率层级对应的融合模块
输出的第一分辨率层级的融合编码数据，包括：将所述初步融合编码数据、所述上采样后的编码数据以及第一个分辨率层级的对象编码数据和服装编码数据确定为第一个分辨率层级对应的融合模块的输入，得到第一分辨率层级对应的融合模块输出的第一分辨率层级的融合编码数据。5.根据权利要求2所述的方法，其特征在于，所述目标换衣图像为最后一个分辨率层级的换衣结果；所述基于各分辨率层级的融合编码数据和对象编码数据进行换衣预测处理，预测得到所述目标换...

【专利技术属性】
技术研发人员：李江，曲晓超，刘洛麒，肖塞，卢波，刘利朋，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：