【技术实现步骤摘要】
一种从视频到视频的无模板虚拟换衣方法及装置
[0001]本专利技术属于图像操纵和图像生成领域，具体涉及一种从视频到视频的无模板虚拟换衣方法及装置。
技术介绍
[0002]近年来，人工智能及相关产业正迅速发展壮大，成为学术界、工业界以及世界各国政府关注的焦点。在线上购物平台，虚拟换衣间也取得了飞速的发展，然而大部分的线上虚拟换衣方法采用3D建模技术，需要耗费大量的计算力。同时，线上试衣间往往会提供衣服的模板信息，而社交平台上随处可见的人像照片往往没有提供衣服模板，因此对于虚拟换衣方法的适用性尚存在诸多挑战。随着智能手机的普及，视频在人们的生活中也扮演着越来越重要的角色，如何在只提供视频和人像照片的前提下将人像照片里的衣服无缝地、清晰地迁移到视频中的人物身上，是虚拟换衣技术在应用中的一个重要问题；其次，视频相对于图像含有丰富的时序信息，如何根据视频中不同帧的多视角信息来解决单帧遮挡等问题，也是虚拟换衣在视频领域的应用上亟待解决的关键问题。
技术实现思路
[0003]本专利技术的主要目的在于克服现有技术的缺点与不足...
【技术保护点】
【技术特征摘要】
1.一种从视频到视频的无模板虚拟换衣方法，其特征在于，包括以下步骤；将源视频中每一帧作为独立帧，通过现有人体姿态估计方法分别提取出模特图像和独立帧图像中人物的关键骨骼点；将提取的独立帧的关键骨骼点和模特图像输入到多尺度特征融合的自编码器A1中对模特图像进行姿态转换，得到和独立帧中人物一样的姿态转换图像；利用预训练好的感兴趣区域提取网络，提取独立帧中人物的衣服掩码，同时保留独立帧中除衣服掩码部分以外的区域；提取姿态转换图像中与衣服掩码相对应的重叠区域，将除衣服掩码部分以外的区域和重叠区域输入到普通结构的自编码器A2中进行融合，得到视频虚拟换衣中每一帧的初步换衣结果；根据不同帧之间的视角不同，将当前帧和过去帧的初步换衣结果输入到由自注意力机制引导的自编码器A3中进行遮挡信息互补，得到最终的虚拟换衣视频。2.根据权利要求1所述一种从视频到视频的无模板虚拟换衣方法，其特征在于，所述源视频为包含换衣者信息的一段人物视频，表示为：其中为第i帧独立帧，N为源视频中的帧数；通过现有姿态估计方法提取出源视频中的人物关键骨骼点序列表示为：其中为第i帧关键骨骼点；所述模特图像表示为I
M
；所述模特图像的关键骨骼点表示为P
M
。3.根据权利要求2所述一种从视频到视频的无模板虚拟换衣方法，其特征在于，所述将关键骨骼点输入到姿态转换算法中对模特图像进行姿态转换，具体为：根据和P
M
，基于图像拟合出相应的SMPL人体三维模型，生成相对应的流图F
map
；所述流图为从原姿态到目标姿态的图像上每个坐标点的偏离值，表示为：F
map
＝F(u)＝u
i
′
‑
u
i
其中，u
i
为得到的SMPL模型投影到图像上的像素点，u
i
′
为P
M
得到的SMPL模型投影到图像上的像素点；将I
M
输入到一个外观编码器中，同时将输入到一个姿态编码器中，分别得到多种尺度大小的外观特征图和姿态特征图；对F
map
进行尺度上的调整，和相应尺度大小的外观特征图以及姿态特征图一起输入到多尺度特征融合的自编码器Al中，得到以为目标姿态、以I
M
为目标外观的姿态转换图像。4.根据权利要求3所述一种从视频到视频的无模板虚拟换衣方法，其特征在于，所述预训练好的感兴趣区域提取网络，具体为：通过一个预训练好的人体语义分割方法，生成独立帧中人物的语义解析图，将语义解析图转换成n通道的热力图M∈R
n
×
H
×
W
，其中R为取值为0或者1的二值实数集，H和W分别为图像的高和宽；根据M训练出关注点在衣服和手臂区域的感兴趣区域提取网络；
所述n通道为人体语义分割方法分割人体的区域数。5.根据权利要求4所述一种从视频到视频的无模板虚拟换衣方法，其特征在于，所述得到视频虚拟换衣中每一帧的初步换衣结果，具体为：利用预训...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。