基于卷积神经网络的视频插帧方法技术

本发明专利技术提出一种基于卷积神经网络的视频插帧方法，包括：先获取视频连续帧，输入到卷积神经网络中进行降采样和上采样处理，同时进行视频插帧特征的提取和输出；再通过LSTM卷积层，循环输出中间帧；接着计算光流的均方误差并将其作为视频非均匀插帧计算的优化目标函数，实现视频插帧的优化。本发明专利技术避免了现有插帧方法中运动估计过程对插帧质量的影响，可通过深度卷积神经网络直接输出中间帧。

【技术实现步骤摘要】
基于卷积神经网络的视频插帧方法
本专利技术属于计算机图像处理
，尤其涉及一种非均匀的视频插帧方法。
技术介绍
视频帧率转换技术是利用视频中相邻两帧之间的相关信息并应用插值的方法将中间帧重建出来的一种技术。由于该技术能在编码中去除冗余信息并降低视频传输过程中的帧率，减少视频网络传输的数据量，因此可应用于视频压缩或增强视频连续性。传统的视频插帧方法主要包括两个步骤，即光流估计和像素合成。在该方法中视频插帧技术的效果往往取决于光流估计的质量，而光流估计的过程容易受到遮挡、模糊的影响出现明显的错误。随着深度学习的发展，基于深度学习的视频插帧技术也有了新的突破，利用卷积神经网络尝试进行视频插帧取得了一定的成功。视频插帧技术是指利用视频中相邻前后帧之间的相关信息，应用插值的方法获得中间帧。视频插帧的目的是在视频中合成新的中间帧，提高视频的帧率。根据新的插值帧的数量与输入视频帧的数量关系，视频插帧可分为均匀插帧与非均匀插帧。均匀插帧是指新的插值帧与输入的视频帧序列按照1:1的比例合成最后新的视频序列，非均匀插帧一般是指新的插值帧与输入的视频序列按照一定的比例合成新的视频序列。传统的视频插帧技术主要是找出视频前后两帧图像的像素间明显的对应关系，最常见的方法就是获取视频前后两帧之间的光流信息。将光流场的信息作为视频前后两帧图像间的对应关系，并利用光流场信息合成中间帧图像。这种传统的方法，插帧质量的好坏很大程度上依赖于光流场信息的质量。在视频插帧技术中，运动估计占有重要的地位，除了直接寻找相邻两帧图像间的运动关系外，一些可代替直接估计相邻帧运动信息的方法也在不断产生，这些方法都是基于相位方法的改编，主要思想大多是对相邻视频帧图像间的相位差中的运动部分进行编码。
技术实现思路
为避免相邻两帧间运动估计过程对插帧质量的影响，本专利技术目的是提供一种基于卷积神经网络的视频插帧方法，该方法训练一个深度卷积神经网络，将视频中相邻的两帧作为神经网络的输入，并直接输出中间帧。本专利技术的技术解决方案是：一种基于卷积神经网络的视频插帧方法，包括以下步骤：1)获取视频连续帧：从真实视频帧中选取相关联的前后帧，并进行归一化，然后输入到卷积神经网络中；2)提取视频运动信息并恢复视频空间：卷积神经网络前半部分编码模块对归一化处理后的前后帧进行降采样处理，提取前后帧视频间运动信息；然后卷积神经网络后半部分解码模块对降采样处理后的视频间运动信息进行上采样处理，恢复视频空间维度并补偿细节；同时，卷积神经网络中间部分，采取skip-connection的方式将网络底层的信息传输到深层网络中，进行视频插帧特征的提取和输出；3)输出多个中间帧：将步骤2中进行上采样处理后的信息以及视频插帧特征，输入双向LSTM卷积层，循环输出至少一个中间视频帧；4)计算光流的均方误差：通过预训练的FlowNet分别计算步骤3中的中间视频帧光流和真实视频帧光流；然后计算中间视频帧光流与真实视频帧光流之间的均方误差；5)优化插帧：将步骤4中的均方误差作为视频非均匀插帧计算的优化目标函数，使FlowNet参与网络优化中梯度后向传播过程，实现视频插帧的优化。上述步骤2中，卷积神经网络前半部分编码模块对归一化处理后的前后帧最好进行两次降采样处理；卷积神经网络后半部分解码模块对降采样处理后的视频间运动信息相应进行两次上采样处理。上述卷积神经网络优选编解码U-Net模块，且编码模块为3层卷积模块。在进行上采样和降采样之前，还可分别使用稠密连接网络进行卷积特征提取。上述上采样采用sub-pixel算法；上述降采样采用Conv-LSTM算法。上述步骤2中，卷积神经网络中间部分，通过skip-connection连接，将网络底层的信息传输到深层网络中。上述步骤2还包括使用带有stride的卷积算法将采样从视频空间扩大网络视野场。本专利技术的有益效果：1、本专利技术基于视频运动估计的视频非均匀插帧算法，利用空间几何关系和时域运动关系进行视频插帧，通过深度学习用于运动估计和补偿预测，可用于视频帧率的提升，增加时间分辨率。2、本专利技术方法，基于视频运动估计进行视频非均匀插帧，在编码中去除冗余信息并降低视频传输过程中的帧率，减少视频网络传输的数据量，因此可应用于视频压缩或增强视频连续性。3、本专利技术方法，基于视频运动估计进行视频非均匀插帧，从而提升视频时间分辨率，提升视频流畅度，补偿缺失的运动信息。4、本专利技术方法通过降采样提取视频运动信息，从而减少空间维度，并使用带有stride的卷积算法将采样从视频空间扩大网络视野场，扩大网络的感受野，并以此增强网络的运动估计能力。5、本专利技术方法通过上采样过程中使用sub-pixel算法进行卷积特征的上采样恢复视频空间维度，并补偿细节。6、本专利技术方法使用skip-connection算法将卷积神经网络的底层信息传输到网络的深层，用以视频插帧的特征提取和输出，提升卷积神经网络的特征的提取能力，并且可以避免网络优化时出现梯度爆炸。7、本专利技术方法通过Conv-LSTM算法，学习视频时间序列上运动信息，并且基于Conv-LSTM具有在时间维度上可以输出多个卷积结果的特点，用以实现基于视频运动估计的视频多帧插帧。附图说明图1为本专利技术方法的流程图。图2为本专利技术方法所用的神经网络结构图。图3和图4为本专利技术的运动估计模块，其中，图3为卷积神经网络的前半部分即运动估计的降采样过程，图4为卷积神经网络的后半部分即运动估计的上采样过程。图5和图6是本专利技术实施例的两个相关联的真实视频帧1和真实视频帧2。图7至图9是本专利技术实施例中生成的三个插入帧，即中间插帧1、中间插帧2、中间插帧3。具体实施方式参见图1，本专利技术基于卷积神经网络的视频插帧方法，包括以下步骤：1)从输入视频中选取相关联的前后帧，并进行归一化，然后输入到卷积神经网络中；2)参见图2，使用稠密连接网络对归一化处理后的前后帧进行卷积特征提取；再使用带有stride的卷积算法将采样从视频空间扩大网络视野场，然后卷积神经网络前半部分对归一化处理后的前后帧进行降采样处理(参见图3)，提取前后帧视频间运动信息；再次使用稠密连接网络对降采样处理后的前后帧进行卷积特征提取，然后卷积神经网络后半部分编码模块对降采样处理后的前后帧视频间运动信息进行上采样处理(参见图4)，恢复视频空间维度并补偿细节；同时，卷积神经网络中间部分，通过skip-connection连接，将网络底层的信息传输到深层网络中；其中，网络的整体结构为编解码U-Net模块，编码模块为3层卷积模块，降采样优选Conv-LSTM算法，上采样优选sub-pixel算法；3)将步骤2中进行上采样处理后的信息，输入双向LSTM卷积层，循环输出多个中间视频帧；4)通过预训练的Flow本文档来自技高网...

【技术保护点】
1.基于卷积神经网络的视频插帧方法，其特征在于，包括以下步骤：/n1)获取视频连续帧：/n从真实视频帧中选取相关联的前后帧，并进行归一化，然后输入到卷积神经网络中；/n2)提取视频运动信息并恢复视频空间：/n卷积神经网络前半部分编码模块对归一化处理后的前后帧进行降采样处理，提取前后帧视频间运动信息；然后卷积神经网络后半部分解码模块对降采样处理后的视频间运动信息进行上采样处理，恢复视频空间维度并补偿细节；/n同时，卷积神经网络中间部分，采取skip-connection的方式将网络底层的信息传输到深层网络中，进行视频插帧特征的提取和输出；/n3)输出多个中间帧：/n将步骤2中进行上采样处理后的信息以及视频插帧特征，输入双向LSTM卷积层，循环输出至少一个中间视频帧；/n4)计算光流的均方误差：/n通过预训练的FlowNet分别计算步骤3中的中间视频帧光流和真实视频帧光流；然后计算中间视频帧光流与真实视频帧光流之间的均方误差；/n5)优化插帧：/n将步骤4中的均方误差作为视频非均匀插帧计算的优化目标函数，使FlowNet参与网络优化中梯度后向传播过程，实现视频插帧的优化。/n

【技术特征摘要】
1.基于卷积神经网络的视频插帧方法，其特征在于，包括以下步骤：
1)获取视频连续帧：
从真实视频帧中选取相关联的前后帧，并进行归一化，然后输入到卷积神经网络中；
2)提取视频运动信息并恢复视频空间：
卷积神经网络前半部分编码模块对归一化处理后的前后帧进行降采样处理，提取前后帧视频间运动信息；然后卷积神经网络后半部分解码模块对降采样处理后的视频间运动信息进行上采样处理，恢复视频空间维度并补偿细节；
同时，卷积神经网络中间部分，采取skip-connection的方式将网络底层的信息传输到深层网络中，进行视频插帧特征的提取和输出；
3)输出多个中间帧：
将步骤2中进行上采样处理后的信息以及视频插帧特征，输入双向LSTM卷积层，循环输出至少一个中间视频帧；
4)计算光流的均方误差：
通过预训练的FlowNet分别计算步骤3中的中间视频帧光流和真实视频帧光流；然后计算中间视频帧光流与真实视频帧光流之间的均方误差；
5)优化插帧：
将步骤4中的均方误差作为视频非均匀插帧计算的优化目标函数，使FlowNet参与网络优化中梯度后向传播过程，实现视频插帧的优化。


2.根据权...

【专利技术属性】
技术研发人员：罗斌，贺大林，穆力越，常云鹏，刘军，
申请(专利权)人：西安蓝极医疗电子科技有限公司，
类型：发明
国别省市：陕西;61