【技术实现步骤摘要】
一种面向视频的非均匀风格迁移方法
本专利技术属于计算机视频
，涉及针对视频的风格迁移方法，具体为一种面向视频的非均匀风格迁移方法。
技术介绍
视频风格迁移是指参照给定图像的风格，对一个视频进行渲染，使得生成与给定图风格一致的风格化视频。其中，被风格化的视频称为内容视频，作为风格的图像称为风格图像，风格迁移生成的结果称为风格化视频。视频风格迁移可以帮助人们轻松的编辑视频，取得特定效果的编辑结果。传统的视频风格迁移方法是对视频的每一帧单独进行风格化，再将所有帧的风格化结果合并成视频。这种做法效率通常不高，每个视频帧的处理通常需要几十秒；且由于各个视频帧的风格化是独立的，导致每帧的风格化结果一致性较差，生成的风格化视频会存在明显的闪烁(参考文献1、4)。针对风格化效率低下的问题，一些学者提出了近实时的视频风格化方法，极大地提升了风格化速度(参考文献3、5)；针对风格化视频闪烁的问题，一些学者提出了光流约束的方法，可以保证相邻帧之间的相同区域有着相似的风格化结果(参考文献2、6)。但是，视频风格迁移中的另一个关...
【技术保护点】
1.一种面向视频的非均匀风格迁移方法，其特征是在视频中，对视频的不同区域采用不同的风格化，生成非均匀的风格迁移结果。/n
【技术特征摘要】
20180913 CN 20181106822211.一种面向视频的非均匀风格迁移方法，其特征是在视频中，对视频的不同区域采用不同的风格化，生成非均匀的风格迁移结果。
2.根据权利要求1所述的面向视频的非均匀风格迁移方法，其特征是对视频帧的不同区域设定不同的风格化程度，对各视频帧计算风格迁移中的内容损失和风格损失，并对相邻视频帧的风格化结果计算时间一致性损失，最小化总损失，对视频生成非均匀的风格迁移结果，所述总损失为内容损失、风格损失及时间一致性损失之和。
3.根据权利要求2所述的面向视频的非均匀风格迁移方法，其特征是包括以下步骤：
1)对于待风格化的视频，采用人工或者自动的方式，为所有视频帧上各个像素区域设定风格化程度；
2)对于视频的某个视频帧，将其表示为一层或多层特征图，同时采用相同的方法将风格图像表示为一层或多层特征图，计算对应层的特征图在风格迁移中的内容损失和风格损失；
3)对照相邻视频帧的风格化结果，计算时间一致性损失；
4)将内容损失、风格损失和时间一致性损失相融合，计算风格迁移中的总损失；
5)在对视频进行风格化的过程中，最小化风格迁移总损失函数，生成风格迁移结果。
4.根据权利要求3所述的面向视频的非均匀风格迁移方法，其特征是步骤1)所述设定风格化程度的方式为：对于第t帧中位置(i,j)的像素通过人工或者自动的方式为其设定风格化程度
5.根据权利要求3所述的面向视频的非均匀风格迁移方法，其特征是步骤2)采用卷积神经网络提取视频帧和风格图像的多层特征图，所述内容损失Lcontent和风格损失Lstyle为：
其中，Fl、Al、Xl分别是内容视频帧、风格图像、风格化视频帧的第l层特征图，Ml×Nl表示特征图在第l层的大小，Ωl是由内容视频帧的各个像素的风格化程度组成的矩阵调整大小后在第l层上的结果，所述调整指将风格化程...
【专利技术属性】
技术研发人员：任桐炜，武港山，刘星宇，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。