视频生成方法、装置、设备及存储介质制造方法及图纸

本公开实施例公开了一种视频生成方法、装置、设备及存储介质。包括：提取原始图片中人体的第一参数和原始姿态视频每帧图片中人体的第二参数；所述参数包括体型参数和姿态参数；将第一参数中的姿态参数替换为所述第二参数中的姿态参数，获得目标参数；根据所述目标参数生成多帧目标人体姿态图；基于所述多帧目标人体姿态图生成多帧目标图片；所述多帧目标图片进行合并，获得目标姿态视频。本公开实施例公开的视频生成方法，将原始图片人体参数中的姿态参数替换为原始姿态视频每帧图片人体参数中的姿态参数，以实现姿态迁移视频的合成，降低姿态迁移视频合成的成本，可以防止提高姿态迁移视频形变失真。态迁移视频形变失真。态迁移视频形变失真。

【技术实现步骤摘要】
视频生成方法、装置、设备及存储介质


[0001]本公开实施例涉及视频处理
，尤其涉及一种视频生成方法、装置、设备及存储介质。

技术介绍

[0002]动作迁移技术由于其在角色动画、数字电影制作等方面的广泛应用而受到各界的关注。现有的方法首先需要针对单人进行模型构建，再通过提取源视频的关键点来合成新的视频，因此存在以下问题：一是模型不具有通用性，每个目标人物都需要进行模型训练；二是为保证模型能学到充足的目标人物信息，需要对单人进行较多数据的采集；三是通过人体关键点生成的视频对人体的外形迁移粗糙，人体容易出现不同程度的形变失真。

技术实现思路

[0003]本公开实施例提供一种视频生成方法、装置、设备及存储介质，可以实现姿态迁移视频的合成，降低姿态迁移视频合成的成本，可以防止提高姿态迁移视频形变失真。
[0004]第一方面，本公开实施例提供了一种视频生成方法，包括：
[0005]提取原始图片中人体的第一参数和原始姿态视频每帧图片中人体的第二参数；所述参数包括体型参数和姿态参数；
[0006]将第一参数中的姿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频生成方法，其特征在于，包括：提取原始图片中人体的第一参数和原始姿态视频每帧图片中人体的第二参数；所述参数包括体型参数和姿态参数；将第一参数中的姿态参数替换为所述第二参数中的姿态参数，获得目标参数；根据所述目标参数生成多帧目标人体姿态图；基于所述多帧目标人体姿态图生成多帧目标图片；将所述多帧目标图片进行合并，获得目标姿态视频。2.根据权利要求1所述的方法，其特征在于，所述参数为三维人体模型SMPL参数；提取原始图片中人体的第一参数和原始姿态视频每帧图片中人体的参数，包括：对原始图片和原始姿态视频中的每帧图片分别进行人体识别，获得人体检测框；对所述人体检测框中的图像进行三维建模，获得3D模型；提取所述3D模型中的SMPL参数，获得所述原始图片中人体的第一SMPL参数和所述原始姿态视频每帧图片中人体的第二SMPL参数。3.根据权利要求1所述的方法，其特征在于，将所述第一参数中的姿态参数替换为所述第二参数中的参数，获得目标参数，包括：获取所述原始图片拍摄点与所述原始姿态视频拍摄点间的坐标系转换关系；根据所述坐标系转换关系将所述第二参数转化为所述原始图片拍摄点下的参数；将所述第一参数中的姿态参数替换为转换后的第二参数中的姿态参数，获得目标参数。4.根据权利要求1所述的方法，其特征在于，所述目标参数包括多个连续帧分别对应的参数，根据所述目标参数生成多帧目标人体姿态图，包括：对所述目标参数进行平滑处理；根据平滑处理后的目标参数生成多帧目标人体姿态图。5.根据权利要求1或2所述的方法，其特征在于，基于所述多帧目标人体姿态图生成多帧目标图片，包括：根据所述目标人体姿态图生成人体掩码图；获取设...

【专利技术属性】
技术研发人员：程京，张启军，焦少慧，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：