【技术实现步骤摘要】
本申请涉及虚拟试穿,具体涉及一种虚拟试穿视频生成方法、模型训练方法、装置、电子设备及计算机可读存储介质。
技术介绍
1、在当今数字化时代,电子商务平台正迅速成为消费者购物的首选渠道,这种趋势催生了对在线购物体验技术的迫切需求,针对服饰类产品,虚拟试穿技术因其能够让顾客在不实际穿戴的情况下预览服装效果而备受关注,为了提高用户的虚拟试穿体验,可以将服饰虚拟试穿在一段人体视频中而形成虚拟试穿视频,以便于用户通过动态视频查看自己的试穿效果,用户体验更佳。
2、相关技术中,通常是将虚拟服饰的图像与人体视频的每一帧图像进行融合,从而将每一帧图像均设置为试穿有虚拟服饰的视频帧而得到虚拟试穿视频。
3、然而,由于视频需要帧间连贯过渡,相关技术这种方式,由于每一帧进行服饰融合通常都会存在一定的误差,且每一帧进行服饰融合的融合效果比较独立,例如,两帧之间的光照效果不同、两帧之间的服装细节不同等等,容易使得融合得到的虚拟试穿视频的帧间连续性和流畅性较差,从而导致最终的虚拟试穿视频的真实性较差,虚拟试穿效果不佳。
...
【技术保护点】
1.一种虚拟试穿视频生成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的虚拟试穿视频生成方法,其特征在于,所述将所述目标服饰特征分别与各所述人体特征在空间维度上进行融合,得到各空间融合特征,包括:
3.根据权利要求2所述的虚拟试穿视频生成方法,其特征在于,所述将各所述空间融合特征与各所述人体匹配服饰特征在时间维度进行融合,得到时间融合特征,包括:
4.根据权利要求3所述的虚拟试穿视频生成方法,其特征在于,所述将所述全局语义特征结合在所述空间融合特征中,包括:
5.根据权利要求4所述的虚拟试穿视频生成方法,其特征
...【技术特征摘要】
1.一种虚拟试穿视频生成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的虚拟试穿视频生成方法,其特征在于,所述将所述目标服饰特征分别与各所述人体特征在空间维度上进行融合,得到各空间融合特征,包括:
3.根据权利要求2所述的虚拟试穿视频生成方法,其特征在于,所述将各所述空间融合特征与各所述人体匹配服饰特征在时间维度进行融合,得到时间融合特征,包括:
4.根据权利要求3所述的虚拟试穿视频生成方法,其特征在于,所述将所述全局语义特征结合在所述空间融合特征中,包括:
5.根据权利要求4所述的虚拟试穿视频生成方法,其特征在于,所述从所述服饰图片中提取所述目标服饰对应的目标服饰特征,包括:
6.根据权利要求5所述的虚拟试穿视频生成方法,其特征在于,所述将所述目标服饰特征分别与各所述人体特征在空间维度上进行融合,得到空间融合特征,将所述全局语义特征结合在所述空间融合特征中,得到各语义匹配空间融合特征,将各所述语义匹配融合特征与各所述人体匹配服饰特征在时间维度上进行融合,得到时间融合特征,包括:
7.根据权利要求6所述的虚拟试穿视频生成方法,其特征在于,所述服饰编码模型包括多个服饰编码层;
8.根据权利要求6所述的虚拟试穿视频生成方法,其特征在于,所述从所述人体视频中提取各视频帧分别对应的人体特征,包括:
9.根据权利要求8所述的虚拟试穿视频生成方法,其特征在于,所述从所述人体视频中提取各视频帧分别对应的人体特征,还包括以下至少一项:
10.根据权利要求8所述的虚拟试穿视频生成方法,其特征在于,所述将所述人体视频的视频帧中的服饰区域掩去,得到服饰不可知视频帧,包括:
11.根据权利要求9所述的虚拟试穿视频生成方法,其特征在于,所述人体姿态信息通过人体姿态图的形式表示;
12.根据权利要...
【专利技术属性】
技术研发人员:王源彬,戴威伦,陈龙,周环宇,张爱喜,
申请(专利权)人:淘宝中国软件有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。