虚拟穿戴方法、装置、设备、存储介质及程序产品制造方法及图纸

技术编号:32361185 阅读:50 留言:0更新日期:2022-02-20 03:28
本申请公开了一种虚拟穿戴方法、装置、设备、存储介质及程序产品,其中该方法包括:获取包含目标人体的第一目标图像;获取包含目标穿戴物的第二目标图像;基于该第一目标图像获取人体特征信息,该人体特征信息包括与该目标穿戴物相关的目标人体关键点信息、人体解析结果以及穿戴物掩模图像;将该人体特征信息以及该第二目标图像输入至预先训练的虚拟穿戴网络中,以由该虚拟穿戴网络基于该人体特征信息确定人体穿戴区域信息,并根据该人体穿戴区域信息以及该第二目标图像确定该目标穿戴物的形变信息,以及根据该形变信息以及该人体特征信息生成穿戴效果图进行输出;其中,该虚拟穿戴网络是一种生成对抗网络,能够兼顾虚拟穿戴效果和真实性。果和真实性。果和真实性。

【技术实现步骤摘要】
虚拟穿戴方法、装置、设备、存储介质及程序产品


[0001]本申请涉及数据处理
,尤其涉及一种虚拟穿戴的方法、一种虚拟穿戴的装置、一种电子设备、一种计算机可读存储介质以及一种计算机程序产品。

技术介绍

[0002]随着互联网的发展,网络购物越来越受大众喜欢,但和线下购物相比,线上购物存在一些体验差的问题,例如购买的衣服没有办法试穿,不知道效果如何,导致退货率高。而虚拟试衣技术目的就是提供一种虚拟的试衣场景,给用户带来更好的体验。虚拟试衣技术是计算机视觉领域的一种重要技术方向,其可以广泛用于电商平台中,以提升用户体验。
[0003]相关技术中提及的虚拟试衣技术,主要是通过重构3D人体,将3D的衣服变换(warp)到重构的3D人体身上。然而,3D的衣服是比较难获取的,并且重构的3D人体如果不够真实则会影响衣服试穿效果。因此相关技术中提及的虚拟试衣技术,比较难兼顾试衣效果和真实性。

技术实现思路

[0004]本申请提供一种虚拟穿戴方法、装置、设备、存储介质及程序产品,以解决现有技术中的虚拟试衣技术比较难兼顾试衣效果和真实性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟穿戴的方法,其特征在于,所述方法包括:获取包含目标人体的第一目标图像;获取包含目标穿戴物的第二目标图像;基于所述第一目标图像获取人体特征信息,所述人体特征信息包括与所述目标穿戴物相关的目标人体关键点信息、人体解析结果以及穿戴物掩模图像;将所述人体特征信息以及所述第二目标图像输入至预先训练的虚拟穿戴网络中,以由所述虚拟穿戴网络基于所述人体特征信息确定人体穿戴区域信息,并根据所述人体穿戴区域信息以及所述第二目标图像确定所述目标穿戴物的形变信息,以及根据所述形变信息以及所述人体特征信息生成穿戴效果图进行输出;其中,所述虚拟穿戴网络是一种生成对抗网络。2.根据权利要求1所述的方法,其特征在于,若所述人体特征信息为目标人体关键点信息,所述基于所述第一目标图像获取人体特征信息,包括:将所述第一目标图像输入至预训练的人体关键点检测模型,以由所述人体关键点检测模型对所述第一目标图像中的目标人体进行关键点检测,输出对应的人体关键点信息;从所述人体关键点信息中确定与所述目标穿戴物相关的目标关键点信息。3.根据权利要求2所述的方法,其特征在于,若所述人体特征信息为人体解析结果,所述基于所述第一目标图像获取人体特征信息,包括:将所述第一目标图像输入至预训练的人体解析模型,以由所述人体解析模型对所述第一目标图像中的目标人体进行人体解析,输出对应的初步人体解析结果;在所述初步人体解析结果中基于所述目标关键点绘制穿戴物掩模,生成人体解析结果。4.根据权利要求3所述的方法,其特征在于,若所述人体特征信息为穿戴物掩模图像,所述基于所述第一目标图像获取人体特征信息,包括:在所述第一目标图像中结合所述目标关键点信息以及所述初步人体解析结果绘制穿戴物掩模,生成穿戴物掩模图像。5.根据权利要求1

4任一项所述的方法,其特征在于,所述虚拟穿戴网络包括穿戴区域生成模型,所述基于所述人体特征信息确定人体穿戴区域信息,包括:将所述目标人体关键点信息、所述人体解析结果以及所述穿戴物掩模图像输入至所述穿戴区域生成模型中,以由所述穿戴区域生成模型预测所述目标人体穿戴所述目标穿戴物时的人体穿戴区域,并输出对应的人体穿戴区域信息。6.根据权利要求5所述的方法,其特征在于,所述穿戴区域生成模型为包含U

NET网络结构的模型;在训练所述穿戴区域生成模型时,使用的损失函数包括交叉熵损失函数和骰子损失函数。7.根据权利要求5所述的方法,其特征在于,所述虚拟穿戴网络还包括形变识别模型,所述根据人体穿戴区域以及所述第二目标图像确定所述目标穿戴物的形变信息,包括:将所述第二目标图像、所述目标人体关键点信息、以及所述穿戴区域生成模型输出的人体穿戴区域信息输入至所述形变识别模型中,以由所述形变识别模型根据所述人体穿戴区域信息以及所述人体关键点信息生成第一特征图,以及根据所述第二目标图像生成第二特征图,并基于所述第一特征图以及所述第二特征图确定所述目标穿戴物的形变信息。
8.根据权利要求7所述的方法,其特征在于,所述形变识别...

【专利技术属性】
技术研发人员:李安李玉乐项伟
申请(专利权)人:百果园技术新加坡有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1