视频风格迁移方法及视频风格迁移装置制造方法及图纸

本申请提出了一种视频风格迁移方法及视频风格迁移装置，其中，所述视频风格迁移方法包括：获取待处理视频；将所述待处理视频输入至预先训练好的风格迁移网络模型，得到所述待处理视频对应的风格迁移数据；其中，所述风格迁移网络模型是基于三维卷积核构建，所述三维卷积核是将二维卷积核在时间维度上进行扩展得到，所述三维卷积核用于提取所述待处理视频在时间和空间维度上的特征。基于本申请提供的视频风格迁移方法，能够更好得捕获视频时间维度的帧间运动信息，生成具有时间一致性的风格化视频，提升视频风格迁移效果。提升视频风格迁移效果。提升视频风格迁移效果。

【技术实现步骤摘要】
视频风格迁移方法及视频风格迁移装置


[0001]本专利技术涉及计算机视觉和深度学习
，具体而言，涉及一种视频风格迁移方法及视频风格迁移装置。

技术介绍

[0002]近年来，由深度学习引领的人工智能技术浪潮，开始越来越广泛地应用到社会各个领域。其中，人工智能与艺术的交叉碰撞，在相关的
和艺术领域引起了高度关注，最为核心的就是基于深度学习的风格迁移，风格迁移是指将现有的艺术风格迁移至任意多媒体形式上。
[0003]现有的视频风格迁移技术将每个视频帧视为独立的图像，将图像风格迁移技术直接扩展到视频中，但是生成的风格迁移视频中有闪烁伪影。有些技术为了抑制闪烁伪影引入光流信息，但是提取光流信息计算复杂度高，需要较多的计算负载，最终形成的重量级视频风格迁移模型直接导致无法进行实时的视频风格迁移。

技术实现思路

[0004]本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一，提高视频风格迁移的效率及效果。
[0005]有鉴于此，本专利技术的一个目的在于提供一种视频风格迁移方法，所述方法包括：获取待处理视频本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频风格迁移方法，其特征在于，包括：获取待处理视频；将所述待处理视频输入至预先训练好的风格迁移网络模型，得到所述待处理视频对应的风格迁移数据；其中，所述风格迁移网络模型是基于三维卷积核构建，所述三维卷积核是将二维卷积核在时间维度上进行扩展得到，所述三维卷积核用于提取所述待处理视频在时间和空间维度上的特征。2.根据权利要求1所述的方法，其特征在于，所述三维卷积核包括时空3D卷积核和时序一致性3D卷积核；其中，所述时空3D卷积核是将二维卷积核在时间维度上进行复制得到，所述时序一致性3D卷积核是时序一致性提取卷积，所述时序一致性3D卷积核用于在时间维度上提取时序一致性。3.根据权利要求1或2所述的方法，其特征在于，所述三维卷积核包括时空3D卷积核和时序一致性3D卷积核；所述时空3D卷积核作用于输入特征提取时空特征；所述时序一致性3D卷积核作用于输入特征提取时序一致性特征；所述时空特征及所述时序一致性特征进行相加得到具有时序一致性的时空特征，所述三维卷积核用于提取所述待处理视频具有时序一致性的时空特征，生成具有时序一致性的风格迁移视频。4.根据权利要求1所述的方法，其特征在于，所述风格迁移网络模型的训练步骤包括：获取原始训练视频；对所述原始训练视频进行空间位置增强和/或多尺度增强，得到待训练视频序列。5.根据权利要求4所述的方法，其特征在于，所述对所述原始训练视频进行空间位置增强，得到待训练视频序列，包括：在原始训练视频中确定起始帧位置，基于所述起始帧位置从所述原始训练视频中提取预定数量的视频帧序列；确定目标位置，并基于所述目标位置对所...

【专利技术属性】
技术研发人员：陈遥，李晨辉，王国喜，肖雅雯，
申请(专利权)人：东方证券股份有限公司，
类型：发明
国别省市：