视频生成方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种视频生成方法、装置、设备及计算机可读存储介质，视频生成方法包括：获取当前帧控制信号和历史帧控制信号，根据所述当前帧控制信号和所述历史帧控制信号对训练好的目标视频生成单元网络中所有网络层进行参数注入，基于参数注入结果确定初步生成图像；确定所述历史帧控制信号对应的历史图像，并根据所述历史图像确定光流和掩膜；根据所述初步生成图像、所述光流和所述掩膜确定当前帧图像，并根据所述当前帧图像构建视频。本发明专利技术避免了依赖CG技术生成视频的流程过于复杂的现象发生。现象发生。现象发生。

【技术实现步骤摘要】
视频生成方法、装置、设备及计算机可读存储介质


[0001]本专利技术涉及图像处理
，尤其涉及一种视频生成方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]CG即计算机图形学技术，是利用计算机和数学算法将三维物体转换为图像或视频的计算。随着计算机计算能力的提升，CG技术被广泛运用于电影、游戏、广告和交互系统等场景中。但是采用CG技术生成画面流程复杂，需要建模、设计材质、布局灯光和渲染等一系列操作。并且人物CG更为复杂，若想要表现出逼真的人物效果，则需要极其精细的建模、细腻的材质、复杂的毛发系统、强大的渲染引擎等作为支持。

技术实现思路

[0003]本专利技术的主要目的在于提供一种视频生成方法、装置、设备及计算机可读存储介质，旨在解决如何避免视频生成流程过于复杂的现象发生的技术问题。
[0004]为实现上述目的，本专利技术提供一种视频生成方法，包括以下步骤：
[0005]获取当前帧控制信号和历史帧控制信号，根据所述当前帧控制信号和所述历史帧控制信号对训练好的目标视频生成单元网络中所有网络层进行参数注入，基于参数注入结果确定初步生成图像；
[0006]确定所述历史帧控制信号对应的历史图像，并根据所述历史图像确定光流和掩膜；
[0007]根据所述初步生成图像、所述光流和所述掩膜确定当前帧图像，并根据所述当前帧图像构建视频。
[0008]可选地，根据所述初步生成图像、所述光流和所述掩膜确定当前帧图像的步骤，包括：
[0009]计算预设定值和所述掩膜之间的差值，并根据所述初步生成图像和所述差值进行按位相乘得到第一按位相乘结果；
[0010]根据所述历史图像和所述光流确定形变结果，根据所述形变结果和所述掩膜进行按位像乘，得到第二按位相乘结果；
[0011]基于第一按位相乘结果和第二按位相乘结果确定当前帧图像。
[0012]可选地，根据所述当前帧控制信号和所述历史帧控制信号对训练好的目标视频生成单元网络中所有网络层进行参数注入的步骤，包括：
[0013]将所述当前帧控制信号和所述历史帧控制信号作为控制参数，根据预设的多层感知机将所述控制参数投射至隐式空间；
[0014]对所述隐式空间中的控制参数进行升维处理，得到控制变量，并根据所述控制变量对训练好的目标视频生成单元网络中所有网络层进行参数注入。
[0015]可选地，基于参数注入结果确定初步生成图像的步骤，包括：
[0016]获取输入的常数张量，并根据所述参数注入结果和所述目标视频生成单元网络中的上采样层对所述常数张量进行模型训练，得到初步生成图像。
[0017]可选地，确定所述历史帧控制信号对应的历史图像，并根据所述历史图像确定光流和掩膜的步骤，包括：
[0018]若所述历史帧控制信号对应的历史图像为前一帧图像和前两帧图像，则确定所述前两帧图像和所述前一帧图像之间的像素偏移量，并根据所述像素偏移量确定光流；
[0019]确定所述前两帧图像和所述前一帧图像之间的遮挡区域，并根据所述遮挡区域确定掩膜。
[0020]可选地，根据所述当前帧控制信号和所述历史帧控制信号对训练好的目标视频生成单元网络中所有网络层进行参数注入的步骤之前，包括：
[0021]获取待训练的控制信号，确定所述待训练的控制信号对应的视频序列；
[0022]根据所述待训练的控制信号和所述视频序列确定匹配数据，并根据所述匹配数据和预设的损失函数对预设的视频生成单元网络进行优化，得到训练好的目标视频生成单元网络。
[0023]可选地，损失函数包括像素损失函数、感知损失函数、特征匹配损失函数、对抗损失函数、时序损失函数和光流损失函数中的至少一种。
[0024]此外，为实现上述目的，本专利技术还提供一种视频生成装置，包括：
[0025]获取模块，用于获取当前帧控制信号和历史帧控制信号，根据所述当前帧控制信号和所述历史帧控制信号对训练好的目标视频生成单元网络中所有网络层进行参数注入，基于参数注入结果确定初步生成图像；
[0026]确定模块，用于确定所述历史帧控制信号对应的历史图像，并根据所述历史图像确定光流和掩膜；
[0027]构建模块，用于根据所述初步生成图像、所述光流和所述掩膜确定当前帧图像，并根据所述当前帧图像构建视频。
[0028]此外，为实现上述目的，本专利技术还提供一种视频生成设备，视频生成设备包括存储器、处理器及存储在存储器上并可在处理器上运行的视频生成程序，视频生成程序被处理器执行时实现如上述的视频生成方法的步骤。
[0029]此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，计算机可读存储介质上存储有视频生成程序，视频生成程序被处理器执行时实现如上述的视频生成方法的步骤。
[0030]本专利技术通过根据当前帧控制信号和历史帧控制信号对目标视频生成单元所有网络层进行参数注入，从而有效地防止控制信号的信号衰减现象发生，让生成的初步生成图像质量更高，并且还会根据历史帧控制信号对应的历史图像确定光流和掩膜，再根据初步生成图像、光流和掩膜确定当前帧图像，根据当前帧图像构建视频，从而实现不依赖CG技术，仅仅使用目标视频生成网络即可以生成视频，避免了目前依赖CG技术导致视频生成流程过于复杂的现象发生，提高了视频生成过程的整体效率，因此也提高了渲染效率。
附图说明
[0031]图1是本专利技术实施例方案涉及的硬件运行环境的终端\装置结构示意图；
[0032]图2为本专利技术视频生成方法第一实施例的流程示意图；
[0033]图3为本专利技术视频生成装置的装置单元示意图；
[0034]图4为本专利技术视频生成方法中的训练和部署流程示意图；
[0035]图5为本专利技术视频生成方法中目标视频生成单元网络的架构示意图。
[0036]本专利技术目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0037]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0038]如图1所示，图1是本专利技术实施例方案涉及的硬件运行环境的终端结构示意图。
[0039]本专利技术实施例终端为视频生成设备。
[0040]如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI
‑
FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non
‑
volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频生成方法，其特征在于，所述视频生成方法包括以下步骤：获取当前帧控制信号和历史帧控制信号，根据所述当前帧控制信号和所述历史帧控制信号对训练好的目标视频生成单元网络中所有网络层进行参数注入，基于参数注入结果确定初步生成图像；确定所述历史帧控制信号对应的历史图像，并根据所述历史图像确定光流和掩膜；根据所述初步生成图像、所述光流和所述掩膜确定当前帧图像，并根据所述当前帧图像构建视频。2.如权利要求1所述的视频生成方法，其特征在于，所述根据所述初步生成图像、所述光流和所述掩膜确定当前帧图像的步骤，包括：计算预设定值和所述掩膜之间的差值，并根据所述初步生成图像和所述差值进行按位相乘得到第一按位相乘结果；根据所述历史图像和所述光流确定形变结果，根据所述形变结果和所述掩膜进行按位像乘，得到第二按位相乘结果；基于第一按位相乘结果和第二按位相乘结果确定当前帧图像。3.如权利要求1所述的视频生成方法，其特征在于，所述根据所述当前帧控制信号和所述历史帧控制信号对训练好的目标视频生成单元网络中所有网络层进行参数注入的步骤，包括：将所述当前帧控制信号和所述历史帧控制信号作为控制参数，根据预设的多层感知机将所述控制参数投射至隐式空间；对所述隐式空间中的控制参数进行升维处理，得到控制变量，并根据所述控制变量对训练好的目标视频生成单元网络中所有网络层进行参数注入。4.如权利要求1所述的视频生成方法，其特征在于，所述基于参数注入结果确定初步生成图像的步骤，包括：获取输入的常数张量，并根据所述参数注入结果和所述目标视频生成单元网络中的上采样层对所述常数张量进行模型训练，得到初步生成图像。5.如权利要求1所述的视频生成方法，其特征在于，所述确定所述历史帧控制信号对应的历史图像，并根据所述历史图像确定光流和掩膜的步骤，包括：若所述历史帧控制信号对应的历史图像为前一帧...

【专利技术属性】
技术研发人员：张进，申童，张炜，梅涛，王苏君，
申请(专利权)人：中国移动通信集团有限公司北京京东尚科信息技术有限公司，
类型：发明
国别省市：