视频生成方法、非易失性存储介质及电子设备技术

本申请公开了一种视频生成方法、非易失性存储介质及电子设备。其中，该方法包括：获取源图像和驱动视频，其中，上述源图像用于描述目标对象的外观信息，上述驱动视频用于描述上述目标对象的动作信息；基于上述源图像和上述驱动视频生成目标视频。本申请解决了现有技术中生成动作视频的质量较低，且存在较为明显的时域抖动和跳变的技术问题。域抖动和跳变的技术问题。域抖动和跳变的技术问题。

【技术实现步骤摘要】
视频生成方法、非易失性存储介质及电子设备


[0001]本申请涉及视频处理领域，具体而言，涉及一种视频生成方法、非易失性存储介质及电子设备。

技术介绍

[0002]人物动作视频生成，也称为“静转动”，目标是根据给定静态图像，通过姿态驱动的编辑手段生成新的运动视频，让图像中的人物动起来。这一问题在电商宣传，智能视觉创作，影视制作等方向均有应用需求。
[0003]现有技术中，受到算法复杂度的限制，通常只能处理256分辨率的人体图像，且生成视频质量较低，时域一致性较差，存在较为明显的抖动和跳变(flickering)。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本申请实施例提供了一种视频生成方法、非易失性存储介质及电子设备，以至少解决现有技术中生成动作视频的质量较低，且存在较为明显的时域抖动和跳变的技术问题。
[0006]根据本申请实施例的一个方面，提供了一种视频生成方法，包括：获取源图像和驱动视频，其中，上述源图像用于描述目标对象的外观信息，上述驱动视频用于描述上述目标对象的动作信息；基于上述源图像和上述驱动视频生成目标视频。
[0007]根据本申请实施例的另一方面，还提供了另一种视频生成方法，包括：接收当前输入的源图像和驱动视频，其中，上述源图像用于描述目标对象的外观信息，上述驱动视频用于描述上述目标对象的动作信息；将上述源图像和上述驱动视频发送至服务端；接收来自于上述服务端的目标视频，其中，上述目标视频由上述服务端基于上述源图像和上述驱动视频生成；在客户端本地播放上述目标视频。
[0008]根据本申请实施例的另一方面，还提供了另一种视频生成方法，包括：接收来自于客户端的源图像和驱动视频，其中，上述源图像用于描述目标对象的外观信息，上述驱动视频用于描述上述目标对象的动作信息；基于上述源图像和上述驱动视频生成目标视频；向上述客户端返回上述目标视频，并在上述客户端本地播放上述目标视频。
[0009]根据本申请实施例的另一方面，还提供了又一种视频生成方法，包括：获取源图像和驱动视频，其中，上述源图像用于描述目标对象的外观信息，上述驱动视频用于描述上述目标对象的动作信息；将上述源图像和上述驱动视频输入至第一粒度网络模型，得到目标运动流数据，其中，上述第一粒度网络模型用于基于上述源图像和上述驱动视频中包含的驱动帧逐帧进行多尺度运动估计；将上述源图像和上述目标运动流数据输入至第二粒度网络模型，得到目标视频，其中，上述第二粒度网络模型包括：至少一个编码层和至少一个重建层，上述至少一个编码层用于获取上述源图像的多尺度图像特征，上述至少一个重建层用于利用上述目标运动流数据和上述多尺度图像特征获取多个目标视频帧。
[0010]根据本申请实施例的另一方面，还提供了一种非易失性存储介质，上述非易失性存储介质包括存储的程序，其中，在上述程序运行时控制上述非易失性存储介质所在设备执行任意一项上述的视频生成方法。
[0011]根据本申请实施例的另一方面，还提供了一种电子设备，包括：处理器；以及存储器，与上述处理器连接，用于为上述处理器提供处理以下处理步骤的指令：获取源图像和驱动视频，其中，上述源图像用于描述目标对象的外观信息，上述驱动视频用于描述上述目标对象的动作信息；基于上述源图像和上述驱动视频生成目标视频。
[0012]在本申请实施例中，通过获取源图像和驱动视频，其中，上述源图像用于描述目标对象的外观信息，上述驱动视频用于描述上述目标对象的动作信息；基于上述源图像和上述驱动视频生成目标视频。
[0013]容易注意到的是，本申请实施例基于给定的源图像和驱动视频，根据源图像中携带的目标对象的外观信息，以及驱动视频中携带的目标对象的动作信息，采用深度神经网络进行处理生成目标视频。
[0014]由此，本申请实施例达到了生成时域动作较为连贯、高分辨率且细节逼真的动作视频的目的，从而实现了提升生成动作视频的质量的技术效果，进而解决了现有技术中生成动作视频的质量较低，且存在较为明显的时域抖动和跳变的技术问题。
附图说明
[0015]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0016]图1是根据本申请实施例的一种用于实现视频生成方法的计算机终端(或移动设备)的硬件结构框图；
[0017]图2是根据本申请实施例的一种视频生成方法的流程图；
[0018]图3是根据本申请实施例的一种视频生成方法的场景示意图；
[0019]图4是根据本申请实施例的另一种视频生成方法的流程图；
[0020]图5是根据本申请实施例的另一种视频生成方法的流程图；
[0021]图6是根据本申请实施例的又一种视频生成方法的流程图；
[0022]图7是根据本申请实施例的一种视频生成装置的结构示意图；
[0023]图8是根据本申请实施例的另一种视频生成装置的结构示意图；
[0024]图9是根据本申请实施例的又一种视频生成装置的结构示意图；
[0025]图10是根据本申请实施例的另一种计算机终端的结构框图。
具体实施方式
[0026]为了使本
的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0027]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第
二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0028]实施例1
[0029]根据本申请实施例，提供了一种视频生成方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0030]本申请实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现视频生成方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，
……
，102n来示出)处理器102(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频生成方法，其特征在于，包括：获取源图像和驱动视频，其中，所述源图像用于描述目标对象的外观信息，所述驱动视频用于描述所述目标对象的动作信息；基于所述源图像和所述驱动视频生成目标视频。2.根据权利要求1所述的视频生成方法，其特征在于，基于所述源图像和所述驱动视频生成所述目标视频包括：基于所述源图像和所述驱动视频中包含的驱动帧逐帧进行多尺度运动估计，得到目标运动流数据；利用所述源图像和所述目标运动流数据逐帧确定多个目标视频帧，并将所述多个目标视频帧合成为所述目标视频。3.根据权利要求2所述的视频生成方法，其特征在于，基于所述源图像和所述驱动视频中包含的驱动帧逐帧进行多尺度运动估计，得到所述目标运动流数据包括：基于所述源图像和所述驱动视频的多个不同时刻中每个时刻对应的驱动帧逐帧进行多尺度运动估计，得到初始运动流数据；对所述初始运动流数据进行上采样处理，得到所述目标运动流数据。4.根据权利要求2所述的视频生成方法，其特征在于，利用所述源图像和所述目标运动流数据逐帧确定所述多个目标视频帧，并将所述多个目标视频帧合成为所述目标视频包括：将所述源图像输入至少一个编码层，输出多尺度图像特征；对所述目标运动流数据中与所述多尺度图像特征中每个尺度图像特征对应的数据流进行空域变换，输出变换结果；将所述多尺度图像特征和所述变换结果输入至少一个重建层，输出所述多个目标视频帧，并将所述多个目标视频帧合成为所述目标视频。5.根据权利要求4所述的视频生成方法，其特征在于，所述方法还包括：基于所述源图像和所述驱动视频中包含的驱动帧逐帧进行多尺度运动估计，得到权重矩阵，其中，所述权重矩阵用于在深度神经网络的训练过程中进行时域一致性约束损失计算。6.根据权利要求5所述的视频生成方法，其特征在于，所述方法还包括：将待训练视频中相邻的第一视频帧和第二视频帧输入至预先训练完毕的光流估计模型，输出所述第二视频帧至所述第一视频帧的光流，其中，所述待训练视频与所述目标视频相同，所述第一视频帧为当前时刻的视频帧，所述第二视频帧为上一个时刻的视频帧；采用所述光流对当前时刻的目标视频帧进行空域变换，得...

【专利技术属性】
技术研发人员：杨凌波，高占宁，任沛然，谢宣松，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：