一种视频动作迁移方法技术

本发明专利技术提供一种视频动作迁移方法，包括如下步骤：提取源视频和目标动作视频的动作序列并分别生成源姿态和目标姿态；接收源视频的图像输入；进行前景和背景的初步特征提取；分别对背景和前景的初步特征进行融合生成背景的融合特征和前景的融合特征；通过背景的融合特征合成融合特征合成背景；通过前景的融合特征合成融合特征合成前景和前景遮罩，进一步得到动作迁移后的目标视频在t时刻的帧模型；在帧模型中加入损失函数，损失函数包括内容损失函数和对抗损失函数，内容损失函数包括像素级误差损失与感知误差损失，对抗损失函数包括空间对抗损失和多尺度时域对抗损失。构建了具有通用性和灵活性的整体流水线模型。

A Video Action Migration Method

【技术实现步骤摘要】
一种视频动作迁移方法
本专利技术涉及计算机视觉
，尤其涉及一种视频动作迁移方法。
技术介绍
人像视频生成是一个有着海量应用场景的前沿课题。它可以被用于产生更高层视觉任务的训练数据，如人体姿态估计、对象检测与分组、个体身份识别等等。同时它还有助于研发更强有力的视频定向编辑工具。现有的人像视频生成方式主要有三类：无条件的视频生成、视频帧预测以及视频动作迁移。无条件的视频生成关注于将多组一维的隐向量映射到人像视频，这种方法依赖于一维的隐向量来同时产生视频的外观和动作信息。训练完成后，通过在隐向量中随机采样可以得到不同的生成视频。然而这种方式不能灵活控制生成视频的动作和外观。对于视频帧预测，已有工作致力于根据之前的帧预测未来的帧。这个问题也可以被看作一个两阶段问题：先从过去的帧预测出未来帧的动作变化，再从未来帧的动作预测完整的帧。其中第二阶段的工作和视频动作迁移是类似的，不过已有的视频帧预测方法都聚焦于第一个阶段，缺乏一些关于第二阶段如何保持外观细节和时域连续性的考量。本申请关注的是视频动作迁移问题，致力于把目标视频中的人物动作迁移到源视频的人物身上，同时保留源人物的外观。如此一来可以本文档来自技高网...

【技术保护点】
1.一种视频动作迁移方法，其特征在于，包括如下步骤：S1：提取源视频和目标动作视频的动作序列并分别生成源姿态和目标姿态；S2：接收所述源视频的图像输入；S3：进行前景和背景的初步特征提取；S4：分别对所述背景和所述前景的初步特征进行融合生成背景的融合特征和前景的融合特征；通过所述背景的融合特征合成融合特征合成背景；通过所述前景的融合特征合成融合特征合成前景和前景遮罩，进一步得到动作迁移后的目标视频在t时刻的帧模型；S5：在所述帧模型中加入损失函数，所述损失函数包括内容损失函数和对抗损失函数，所述对抗损失函数包括空间对抗损失和多尺度时域对抗损失。

【技术特征摘要】
1.一种视频动作迁移方法，其特征在于，包括如下步骤：S1：提取源视频和目标动作视频的动作序列并分别生成源姿态和目标姿态；S2：接收所述源视频的图像输入；S3：进行前景和背景的初步特征提取；S4：分别对所述背景和所述前景的初步特征进行融合生成背景的融合特征和前景的融合特征；通过所述背景的融合特征合成融合特征合成背景；通过所述前景的融合特征合成融合特征合成前景和前景遮罩，进一步得到动作迁移后的目标视频在t时刻的帧模型；S5：在所述帧模型中加入损失函数，所述损失函数包括内容损失函数和对抗损失函数，所述对抗损失函数包括空间对抗损失和多尺度时域对抗损失。2.如权利要求1所述的视频动作迁移方法，其特征在于，采用2D姿态检测模型提取所述源视频和所述目标动作视频的动作序列。3.如权利要求1所述的视频动作迁移方法，其特征在于，所述源视频的图像输入包括输入K帧图像，所述K的值为4。4.如权利要求1所述的视频动作迁移方法，其特征在于，步骤S3中采用单帧迁移方法选取前景和背景分支的倒数第二层特征做后续的融合。5.如权利要求1所述的视频动作迁移方法，其特征在于，步骤S4中通过时空注意力机制分别对所述背景和所述前景的初步特征进行融合；所述时空注意力机制包括：RB6结构：骨干网络由6个残差模块组成，所述初步特征由SOFTMAX通道维度加权融合；SA3D+RB6结构：在所述RB6结构之前，添加三维的自注意力模块增强特征；RB6+SA2D结构：在所述RB6结构之后，添加二维的自注意力模块增强特征。6.如...

【专利技术属性】
技术研发人员：袁春，成昆，黄浩智，刘威，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东,44