视频处理方法、装置、电子设备及非暂时性可读存储介质制造方法及图纸

本申请提供一种视频处理方法、装置、电子设备及非暂时性可读存储介质，其中，首先获取待处理视频中的目标视频图像的第一参考图像，及其第二参考图像，第一参考图像的风格特征为对应目标风格的风格特征，第二参考图像为待处理视频中与目标视频图像间隔预设帧数的视频图像；然后，根据第一参考图像、第二参考图像以及目标视频图像，确定目标视频图像的仿射变换系数，并根据确定的仿射变换系数对目标视频图像进行仿射变换，得到变换图像；最后，根据目标视频图像的变换图像，生成待处理视频的变换视频。以此，本申请利用同一视频的参考图像约束对视频图像的风格变换，减小不同视频图像在风格变换后的风格差异，从而提升视频风格变换后的连续性。的连续性。的连续性。

【技术实现步骤摘要】
视频处理方法、装置、电子设备及非暂时性可读存储介质


[0001]本申请涉及视频处理
，具体涉及一种视频处理方法、装置、电子设备及非暂时性可读存储介质。

技术介绍

[0002]图像风格变换是指可根据需求将待处理图像的风格变换成任意参考图像的风格，从而使得变换后的待处理图像具有原待处理图像的内容和参考图像的风格。比如，根据一漫画风格的参考图像对拍摄的建筑物图像进行风格变换，可以将该建筑物图像变换为具有漫画风格的建筑物图像。
[0003]然而，相关技术在对视频进行风格变换时，往往是直接应用图像风格变换技术独立地对视频中的各视频图像进行变换，变换后的视频图像之间可能出现巨大的风格差异，导致整个变换后的视频出现闪烁跳变，降低了视频的连续性。

技术实现思路

[0004]本申请提供一种视频处理方法、装置、电子设备及非暂时性可读存储介质，能够提升对视频进行风格变换后的连续性。
[0005]本申请提供的视频处理方法，包括：
[0006]获取待处理视频中目标视频图像的第一参考图像，以及所述目标视频图像的第二参考图像，所述第一参考图像的风格特征为对应目标风格的风格特征，所述第二参考图像为所述待处理视频中与所述目标视频图像间隔预设帧数的视频图像；
[0007]根据所述第一参考图像、所述第二参考图像以及所述目标视频图像，确定所述目标视频图像的仿射变换系数；
[0008]根据所述仿射变换系数对所述目标视频图像进行仿射变换，得到变换图像；
[0009]根据所述变换图像，生成所述待处理视频的变换视频。
[0010]本申请提供的视频处理装置，包括：
[0011]图像获取模块，用于获取待处理视频中目标视频图像的第一参考图像，以及获取所述目标视频图像的第二参考图像，所述第一参考图像的风格特征为对应目标风格的风格特征，所述第二参考图像为所述待处理视频中与所述目标视频图像间隔预设帧数的视频图像；
[0012]系数确定模块，用于根据所述第一参考图像、所述第二参考图像以及所述目标视频图像，确定所述目标视频图像的仿射变换系数；
[0013]图像变换模块，用于根据所述仿射变换系数对所述目标视频图像进行仿射变换，得到变换图像；
[0014]视频生成模块，用于根据所述变换图像，生成所述待处理视频的变换视频。
[0015]本申请提供的电子设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器通过加载所述计算机程序，执行如本申请提供的视频处理方法中的步骤。
[0016]本申请提供的非暂时性可读存储介质，其上存储有计算机程序，所述计算机程序被处理器进行加载，执行如本申请提供的视频处理方法中的步骤。
[0017]本申请中，首先获取待处理视频中的目标视频图像的第一参考图像，以及该目标视频图像的第二参考图像，第一参考图像的风格特征为对应目标风格的风格特征，第二参考图像为待处理视频中与目标视频图像间隔预设帧数的视频图像；然后，根据第一参考图像、第二参考图像以及目标视频图像，确定目标视频图像的仿射变换系数，并根据确定的仿射变换系数对目标视频图像进行仿射变换，得到变换图像；最后，根据目标视频图像的变换图像，生成待处理视频的变换视频。以此，本申请在对视频中的视频图像进行风格变换时，除了选择具有目标风格的外部图像作为参考图像之外，还选择同一视频中的其它视频图像作为参考图像，利用同一视频的参考图像约束对视频图像的风格变换，从而减小不同视频图像在风格变换后的风格差异，达到提升视频风格变换后连续性的目的。
附图说明
[0018]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1是本申请实施例提供的视频处理系统的场景示意图；
[0020]图2是本申请实施例提供的视频处理方法的流程示意图；
[0021]图3是本申请实施例中对目标视频图像、第一参考图像和第二参考图像进行下采样的示例图。
[0022]图4是本申请实施例中时空特征转换网络的结构示意图。
[0023]图5是本申请实施例中时空特征转换网络的细化结构示意图。
[0024]图6是本申请实施例中抛雪球模块的细化结构示意图。
[0025]图7是本申请实施例中局部特征增强网络的结构示意图。
[0026]图8是本申请实施例中全局特征增强网络的结构示意图。
[0027]图9是本申请实施例提供的视频处理装置的结构示意图。
[0028]图10是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0029]需要说明的是，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其他具体实施例。
[0030]本申请以下实施例中所涉及的诸如第一和第二等关系术语仅用于将一个对象或者操作与另一个对象或者操作区分开来，并不用于限定这些对象或操作之间存在着实际的顺序关系。
[0031]本申请提供一种视频处理方法、视频处理装置、电子设备及非暂时性可读存储介质。其中，视频处理方法可由视频处理装置执行，或者由集成了该视频处理装置的电子设备执行。
[0032]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0033]请参照图1，本申请还提供一视频处理系统，如图1所示，该视频处理系统包括电子设备100，电子设备100中集成有本申请提供的视频处理装置。比如，电子设备100首先获取待处理视频中目标视频图像的第一参考图像，以及获取目标视频图像的第二参考图像，第一参考图像的风格特征为对应目标风格的风格特征，第二参考图像为待处理视频中与目标视频图像间隔预设帧数的视频图像；然后，电子设备100根据第一参考图像、第二参考图像以及目标视频图像，确定目标视频图像的仿射变换系数，并根据仿射变换系数对目标视频图像进行仿射变换，得到变换图像；最后，电子设备根据变换图像，生成待处理视频的变换视频。
[0034]其中，电子设备100可以是任何配置有处理器而具备处理能力的设备，比如智能手机、平板电脑、掌上电脑、笔记本电脑等具备处理器的可移动式电子设备，或者台式电脑、电视、服务器等具备处理器的固定式电子设备。
[0035]另外，如图1所示，该视频处理系统还可以包括存储设备200，用于存储数据，比如，电子设备100将获取到的目标视频图像、第一参考图像、第二参考图像、变换图像以及变换视频等存入存储设备200中。
[0036]需要说明的是，图1所示的视频处理系统仅仅是一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：获取待处理视频中目标视频图像的第一参考图像，以及所述目标视频图像的第二参考图像，所述第一参考图像的风格特征为对应目标风格的风格特征，所述第二参考图像为所述待处理视频中与所述目标视频图像间隔预设帧数的视频图像；根据所述第一参考图像、所述第二参考图像以及所述目标视频图像，确定所述目标视频图像的仿射变换系数；根据所述仿射变换系数对所述目标视频图像进行仿射变换，得到变换图像；根据所述变换图像，生成所述待处理视频的变换视频。2.如权利要求1所述的视频处理方法，其特征在于，所述根据所述第一参考图像、所述第二参考图像以及所述目标视频图像，确定所述目标视频图像的仿射变换系数，包括：获取所述第一参考图像的第一下采样图像；获取所述第二参考图像的第二下采样图像；获取所述目标视频图像的第三下采样图像；根据所述第一下采样图像、所述第二下采样图像以及所述第三下采样图像，确定所述目标视频图像的仿射变换系数。3.如权利要求2所述的视频处理方法，其特征在于，所述根据所述第一下采样图像、所述第二下采样图像以及所述第三下采样图像，确定所述目标视频图像的仿射变换系数，包括：通过已训练的特征编码网络分别对所述第一下采样图像、所述第二下采样图像以及所述第三下采样图像进行特征编码，得到所述第一下采样图像的第一特征图、所述第二下采样图像的第二特征图和所述第三下采样图像的第三特征图；根据所述第一特征图和所述第二特征图，通过已训练的时空特征转换网络对所述第三特征图进行特征转换，得到目标转换特征图；根据所述目标转换特征图，确定所述仿射变换系数。4.如权利要求3所述的视频处理方法，其特征在于，所述第一特征图包括N尺度的第一金字塔特征图，所述第二特征图包括N尺度的第二金字塔特征图，所述第三特征图包括N尺度的第三金字塔特征图，N为大于2的正整数，所述时空特征转换网络包括时空自适应实例标准化子网络和抛雪球子网络，所述根据所述第一特征图和所述第二特征图，通过已训练的时空特征转换网络对所述第三特征图进行特征转换，得到目标转换特征图，包括：根据所述第一金字塔特征图中第i尺度的特征图，所述第二金字塔特征图中第i尺度的特征图，通过所述时空自适应实例标准化子网络对所述第三金字塔特征图中第i尺度的特征图进行特征转换，得到第i尺度的转换特征图，i∈[2,N]；根据所述第i尺度的转换特征图，所述第一金字塔特征图中第1尺度的特征图以及所述二金字塔特征图中第1尺度的特征图，通过所述抛雪球子网络对所述第三金字塔特征图中第1尺度的特征图进行特征转换，得到所述目标转换特征图。5.如权利要求4所述的视频处理方法，其特征在于，所述时空自适应实例标准化子网络包括N
‑
1个第一时空自适应实例标准化单元，所述根据所述第一金字塔特征图中第i尺度的特征图，所述第二金字塔特征图中第i尺度的特征图，通过所述时空自适应实例标准化子网络对所述第三金字塔特征图中第i尺度的特征图进行特征转换，得到第i尺度的转换特征
图，包括：根据所述第二金字塔特征图中第i尺度的特征图的均值和方差，通过第i
‑
1个第一时空自适应实例标准化单元对所述第三金字塔特征图中第i尺度的特征图的均值和方差进行调整；根据所述第一金字塔特征图中第i尺度的特征图的均值和方差、所述第三金字塔特征图中第i尺度的特征图调整后的均值和方差，通过所述第i
‑
1个第一时空自适应实例标准化单元对所述第三金字塔特征图中第i尺度的特征图进行特征转换，得到所述第i尺度的转换特征图。6.如权利要求4所述的视频处理方法，其特征在于，所述抛雪球子网络包括N
‑
1个抛雪球模块，所述抛雪球模块包括特征转换分支和卷积分支，所述根据所述第i尺度的转换特征图，所述第一金字塔特征图中第1尺度的特征图以及所述二金字塔特征图中第1尺度的特征图，通过所述抛雪球子网络对所述第三金字塔特征图中第1尺度的特征图进行特征转换，得到所述目标转换特征图，包括：根据第2尺度的转换特征图、所述第一金字塔特征图中第1尺度的特征图以及所述第二金字塔特征中第1尺度的特征图，通过第1个抛雪球模块的特征转换分支对所述第三金字塔特征图中第1尺度的特征图进行特征转换，得到1阶转换特征图，以及通过第1个抛雪球模块的卷积分支对所述第一金字塔特征图中第1尺度的特征图进行卷积操作，得到1阶卷积特征图；根据第j尺度的转换特征图，第j
‑
2阶卷积特征图以及所述第二金字塔特征图中第1尺度的特征图，通过第j
‑
1个抛雪球模块的特征转换分支对所述第j
‑
2阶卷积特征图进行特征转换，得到j
‑
1阶转换特征图，以及通过第j
‑
1个抛雪球模块的卷积分支对所述j
‑
2阶卷积特征图进行卷积操作，得到j
‑
1阶卷积特征图，j∈[3，N]；从第N
‑
1个抛雪球模块的特征转换分支获取N
‑
1阶转换特征图；根据所述N
‑
1阶转换特征图，确定所述目标转换特征图。7.如权利要求6所述的视频处理方法，其特征在于，所述特征转换分支包括第一卷积单元、第二时空自适应实例标准化单元、加法单元、第二卷积单元以及第三卷积单元，所述卷积分支包括第四卷积单元和第五卷积单元，所述根据第2...

【专利技术属性】
技术研发人员：陈巍，刘阳兴，
申请(专利权)人：武汉TCL集团工业研究院有限公司，
类型：发明
国别省市：