一种自动生成风格化视频的风格迁移方法技术

本发明专利技术公开一种自动生成风格化视频的风格迁移方法，构建包括基于知识蒸馏的高压缩自编码器模型和基于语义对齐的特征迁移模块的自动生成风格化视频的风格迁移模型；自编码器分为编码器和解码器两个部分，编码器能够将原始的视频内容帧以及风格图像编码为特征图，而特征迁移模块能够基于语义对齐地对编码器编码得到的内容特征和风格特征进行融合，最后得到基于语义对齐的融合迁移特征，最后通过解码器得到风格化后的视频帧。本发明专利技术能够保证迁移后视频的稳定性，能够实现任意风格进行任意视频的风格化，且风格迁移过程的速度非常快，具备更高的实用性。

【技术实现步骤摘要】
一种自动生成风格化视频的风格迁移方法
本专利技术属于计算机应用领域，具体涉及一种自动生成风格化视频的风格迁移方法。
技术介绍
随着互联网和移动互联网的发展普及，越来越多的短视频平台开始兴起，基于此人们对于视频的艺术化需求逐步提升，而通过专业艺术家或者专业剪辑师创作的形式不仅不方便，而且成本很高。因此，通过计算机技术根据视频自动生成任意艺术风格视频受到人们的关注和青睐。给定一张内容图和一张目标风格图，风格迁移的目的是产生一张能够同时具备内容图结构和风格图纹理的风格化图像。基于单个图像的风格迁移方法已经有了大量的研究工作，目前大量的注意力已将开始转向视频风格迁移领域，因为视频风格迁移具有非常广阔的应用前景(包括短视频艺术转化等)；显然，较比于单图像的风格迁移，视频的风格迁移是更具有实用性和挑战性的。较比于传统的图像风格迁移，视频风格迁移更为困难的点在于要同时兼顾风格化质量，稳定性以及计算效率。目前已有的视频风格迁移方法可根据是否使用光流大致分为两类。第一类是使用光流的方法，他们通过光流的监督约束，提出了时序一致性损失来获得相本文档来自技高网...

【技术保护点】
1.一种自动生成风格化视频的风格迁移方法，其特征在于，包括如下步骤：/n(1)构建视频风格迁移网络模型，所述模型包括基于知识蒸馏的高压缩自编码器模块和基于语义对齐的特征迁移模块；所述自编码器模块中包括了轻量级编码器和轻量级解码器；/n(2)对于内容视频帧和风格图进行编码器编码：将轻量级编码器基于VGG网络进行知识蒸馏，让编码器在足够轻量级的同时学到教师网络VGG编码器的编码能力，将原始的视频内容帧以及风格图像编码为特征图；/n(3)基于语义对齐的特征迁移模块：对编码器编码得到的内容特征和风格特征进行融合，得到基于语义对齐的融合迁移特征；/n(4)将轻量级解码器基于VGG网络进行知识蒸馏：让解码...

【技术特征摘要】
1.一种自动生成风格化视频的风格迁移方法，其特征在于，包括如下步骤：
(1)构建视频风格迁移网络模型，所述模型包括基于知识蒸馏的高压缩自编码器模块和基于语义对齐的特征迁移模块；所述自编码器模块中包括了轻量级编码器和轻量级解码器；
(2)对于内容视频帧和风格图进行编码器编码：将轻量级编码器基于VGG网络进行知识蒸馏，让编码器在足够轻量级的同时学到教师网络VGG编码器的编码能力，将原始的视频内容帧以及风格图像编码为特征图；
(3)基于语义对齐的特征迁移模块：对编码器编码得到的内容特征和风格特征进行融合，得到基于语义对齐的融合迁移特征；
(4)将轻量级解码器基于VGG网络进行知识蒸馏：让解码器在足够轻量级的同时能够去学到教师网络VGG解码器的解码能力，并且对于融合迁移后的特征进行解码器解码从而得到风格化后的视频帧，最终合成视频。


2.根据权利要求1所述的自动生成风格化视频的风格迁移方法，其特征在于，所述步骤(2)的实现需要优化损失函数如下：



其中，I为原始图像，VGG的网络中的编码器为E，轻量级编码器为I'是重构的图片，Ek(I)为原始VGG编码器中第k层输出特征图，为轻量级编码器中第k层输出特征图，λ和γ均为超参数。


3.根据权利要求1所述的自动生成风格化视频的风格迁移方法，其...

【专利技术属性】
技术研发人员：霍静，孔美豪，李文斌，高阳，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32