基于循环卷积神经网络的视频帧率上变换方法及系统技术方案

本发明专利技术提供了一种基于循环卷积神经网络的视频帧率上变换方法及系统，该方法包括：接收发送端传输的初始视频；将所述初始视频划分为包含连续两帧图像的多组图像块；将所述图像块中的连续两帧图像作为目标循环卷积神经网络的输入，合成所述连续两帧图像对应的中间帧图像；其中，所述目标循环卷积神经网络是通过预设的训练数据集训练得到的；将所述中间帧图像插入所述图像块内，得到视频帧率上变换后的目标视频。从而可以完成从前后两帧到中间帧的映射，提高原有视频的帧率，更好地完成了视频帧率的上变换。

【技术实现步骤摘要】
基于循环卷积神经网络的视频帧率上变换方法及系统
本专利技术涉及视频处理
，具体地，涉及基于循环卷积神经网络的视频帧率上变换方法及系统。
技术介绍
视频的帧率是衡量视频质量的重要标准之一。视频的帧率代表每秒显示的帧数，帧率越高则表示视频画面流畅度越好。另外，由于网络视频的传输受到网络环境的影响，在低带宽的视频传输中，视频一般会经过一定程度的帧率降采样和压缩处理，从而以更低的码率传输。因此，在接收端，需要恢复原始视频的帧率，即在原始视频的两帧之间插入一帧或多帧，从而提高视频的帧率。这也使得视频帧率上变换技术显得尤为重要，成为了视频处理技术中关键的一环。在传统方法中，视频帧率的上变换一般分为两步，首先利用运动估计得到运动矢量，然后通过运动补偿插值生成中间帧。近年来，深度学习被广泛应用于计算机视觉领域的各个方面。例如图像分类、动作识别和视频超分辨率等领域，深度学习算法达到了很好的性能表现。但是，中间帧的质量很大程度受到运动估计准确度的影响。对于视频帧率上变换技术，使用深度学习算法得到的生成帧还是存在过度平滑、细节缺失等问题。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于循环卷积神经网络的视频帧率上变换方法及系统。第一方面，本专利技术实施例提供一种基于循环卷积神经网络的视频帧率上变换方法，包括：接收发送端传输的初始视频；将所述初始视频划分为包含连续两帧图像的多组图像块；将所述图像块中的连续两帧图像作为目标循环卷积神经网络的输入，合成所述连续两帧图像对应的中间帧图像；其中，所述目标循环卷积神经网络是通过预设的训练数据集训练得到的；将所述中间帧图像插入所述图像块内，得到视频帧率上变换后的目标视频。可选地，在接收发送端传输的初始视频之前，还包括：构建初始循环卷积神经网络；构建训练数据集和验证数据集；通过所述训练数据集训练所述初始循环卷积神经网络，得到训练后的循环卷积神经网络；通过所述验证数据集对所述训练后的循环卷积神经网络进行验证，若验证通过，则得到所述目标循环卷积神经网络。可选地，所述构建训练数据集和验证数据集，包括：获取样本视频，所述样本视频为保留原始帧率的视频；对所述样本视频进行剪切，得到多组包含连续三帧图像的图像块，将所述图像块中的连续三帧图像分别记为：前帧图像、中间帧图像、后帧图像；将所述前帧图像、中间帧图像、后帧图像作为训练数据集和验证数据集。可选地，通过所述训练数据集训练所述初始循环卷积神经网络，得到训练后的循环卷积神经网络，包括：以所述训练数据集中图像块的前帧图像、后帧图像作为所述初始循环卷积神经网络的输入，以所述图像块中的中间帧图像为目标输出；通过构建一维像素特征和高维感知特征综合的目标损失函数来优化所述初始循环卷积神经网络；并通过所述训练数据集对所述初始循环卷积神经网络进行迭代训练，得到训练后的循环卷积神经网络。可选地，对所述样本视频进行剪切，得到多组包含连续三帧图像的图像块，包括：通过FFmpeg从1080p的样本视频中随机抽出多组连续三帧图像；将所述连续三帧图像分别切割成256×256分辨率的图像块。可选地，所述目标损失函数为如下的极小值优化问题：其中：表示合成的中间帧图像、Igt表示真实的中间帧图像，表示循环卷积神经网络的一维像素特征损失函数，表示高维感知特征损失函数；λ是超参数，用于控制一维像素特征损失函数和高维感知特征损失函数的比重。可选地，一维像素特征损失函数的计算公式如下：其中：||||1表示1范数，即为绝对值之和。可选地，高维感知特征损失函数的计算公式如下：其中：表示2范数，vgg()表示从训练后的循环卷积神经网络中提取出高维感知特征。可选地，所述初始循环卷积神经网络包括：编码器、解码器、线性插值层；其中：所述编码器包含：6个卷积块×3个卷积层，一共18个卷积层，且在除最后一层以外的每个卷积块后面插入一个池化层；所述解码器包含：5个循环卷积块×3个卷积层，一共15个卷积层，且在每个卷积块后面插入一个双线性的升采样层；所述编码器和所述解码器之间采用跳跃式连接，所述编码器的第i个卷积块的最后一个卷积层和所述解码器的第n-i个升采样层连接，n为6，i∈[2,5]；所述线性插值层，用于根据解码器、编码器以及连续两帧图像映射得到的运动信息，合成对应的中间帧图像。第二方面，本专利技术实施例提供一种基于循环卷积神经网络的视频帧率上变换系统，包括：处理器和存储器，其特征在于，所述存储器中存储有程序指令，所述处理器用于调取所述程序指令以执行如第一方面中任一项所述的基于循环卷积神经网络的视频帧率上变换方法。与现有技术相比，本专利技术具有如下的有益效果：本专利技术提供的基于循环卷积神经网络的视频帧率上变换方法及系统，将传统方法的运动估计和线性插值融为一步，形成了端到端的视频前后两帧到中间帧的映射，提高了中间帧的合成质量。在可选方案中，本专利技术通过在循环卷积神经网络中加入了循环卷积层，显著提高了运动矢量的准确性和视频帧率上变换结果的客观评价指标。在可选方案中，本专利技术通过在目标损失函数中增添了高维感知特征的损失函数，提高了映射结果的视觉效果。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1是本专利技术一实施例提供的基于循环卷积神经网络的视频帧率上变换方法的流程图；图2是本专利技术一实施例中循环卷积神经网络的网络结构框图；图3是本专利技术一实施例中循环卷积层的结构框图；图4是本专利技术一实施例中的图像生成结果与现有方法的效果对比示意图。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。如图1所示，本专利技术提供的基于循环卷积神经网络的视频帧率上变换方法可以包括如下步骤：S1：读取原始高帧率视频，剪切为多组连续三帧的图像块，其中前后两帧作为输入，中间帧作为标签，组成有监督的数据集，用于步骤S3中的训练和步骤S4中的验证；S2：以循环卷积神经网络为基础，建立端到端的编解码器和线性插值模型，其中解码器中包含循环卷积层，得到循环卷积神经网络经过步骤S3的训练即可完成前后两帧到中间帧的映射操作，在步骤S4中验证结果；S3：建立由一维像素特征和高维感知特征综合的目标损失函数，采用步骤S1中建立的训练数据集，不断训练和优化得到可以实现前后两帧到中间帧映射的循环卷积神经网络模型；S4：将步骤S1中建立的用于验证的数据集输入至经步骤S1～步骤S3建立的卷积神经模型，生成高帧率的视频，并对输出结果进行评价。其中，步骤S1、步骤S3建立数据集和循环卷积神经网络，步骤S3通过设定的目标损失函数训练得到能完成前后两帧到中间帧的循环卷积神经网络模型，步骤S4对训练得到的循环卷积神经网络模型进行评估。下面介绍前后两帧到中间帧映射的循环卷积神经网络模型的建立过程。以下通过具体实施例对上述各个步骤中涉及的详细技术操作进行说明，应当理解的是，以下仅仅是本专利技术部分实施例。高帧率和低帧率视频对应的数据集的建立：建立数据集时，将已有的高帧率视频，剪切为多组连续三帧的图像块，其中前后两帧作为输入，中间本文档来自技高网...

【技术保护点】
1.一种基于循环卷积神经网络的视频帧率上变换方法，其特征在于，包括：接收发送端传输的初始视频；将所述初始视频划分为包含连续两帧图像的多组图像块；将所述图像块中的连续两帧图像作为目标循环卷积神经网络的输入，合成所述连续两帧图像对应的中间帧图像；其中，所述目标循环卷积神经网络是通过预设的训练数据集训练得到的；将所述中间帧图像插入所述图像块内，得到视频帧率上变换后的目标视频。

【技术特征摘要】
1.一种基于循环卷积神经网络的视频帧率上变换方法，其特征在于，包括：接收发送端传输的初始视频；将所述初始视频划分为包含连续两帧图像的多组图像块；将所述图像块中的连续两帧图像作为目标循环卷积神经网络的输入，合成所述连续两帧图像对应的中间帧图像；其中，所述目标循环卷积神经网络是通过预设的训练数据集训练得到的；将所述中间帧图像插入所述图像块内，得到视频帧率上变换后的目标视频。2.根据权利要求1所述的基于循环卷积神经网络的视频帧率上变换方法，其特征在于，在接收发送端传输的初始视频之前，还包括：构建初始循环卷积神经网络；构建训练数据集和验证数据集；通过所述训练数据集训练所述初始循环卷积神经网络，得到训练后的循环卷积神经网络；通过所述验证数据集对所述训练后的循环卷积神经网络进行验证，若验证通过，则得到所述目标循环卷积神经网络。3.根据权利要求2所述的基于循环卷积神经网络的视频帧率上变换方法，其特征在于，所述构建训练数据集和验证数据集，包括：获取样本视频，所述样本视频为保留原始帧率的视频；对所述样本视频进行剪切，得到多组包含连续三帧图像的图像块，将所述图像块中的连续三帧图像分别记为：前帧图像、中间帧图像、后帧图像；将所述前帧图像、中间帧图像、后帧图像作为训练数据集和验证数据集。4.根据权利要求3所述的基于循环卷积神经网络的视频帧率上变换方法，其特征在于，通过所述训练数据集训练所述初始循环卷积神经网络，得到训练后的循环卷积神经网络，包括：以所述训练数据集中图像块的前帧图像、后帧图像作为所述初始循环卷积神经网络的输入，以所述图像块中的中间帧图像为目标输出；通过构建一维像素特征和高维感知特征综合的目标损失函数来优化所述初始循环卷积神经网络；并通过所述训练数据集对所述初始循环卷积神经网络进行迭代训练，得到训练后的循环卷积神经网络。5.根据权利要求3所述的基于循环卷积神经网络的视频帧率上变换方法，其特征在于，对所述样本视频进行剪切，得到多组包含连续...

【专利技术属性】
技术研发人员：宋利，张智峰，解蓉，陈立，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31