The invention provides a video frame rate up-conversion method and system based on convolution neural network. The method includes: receiving the initial video transmitted by the sender; dividing the initial video into multiple image blocks containing two consecutive frames of images; taking two consecutive frames of the image blocks as input of the target convolution neural network, and synthesizing the corresponding two consecutive frames of images. Interframe image; where the target convolution neural network is trained by preset training data sets, the target convolution neural network includes: encoder, decoder and optical flow prediction layer; the intermediate frame image is inserted into the image block to obtain the target video after the video frame rate up-conversion. So it can complete the mapping from the front and back frames to the middle frames, improve the frame rate of the original video, and better complete the up-conversion of the video frame rate.
【技术实现步骤摘要】
基于卷积神经网络的视频帧率上变换方法及系统
本专利技术涉及视频处理
，具体地，涉及基于卷积神经网络的视频帧率上变换方法及系统。
技术介绍
随着电视广播、互联网和电影产业的快速发展，视频已经成为了人们不可或缺的娱乐消遣方式之一。与此同时，在满足视频内容需求的前提下，人们对于视频质量的追求也在不断提高。视频帧率、码率和分辨率是衡量视频质量的重要标准。视频的帧率代表每秒显示的帧数，直接影响视频画面的流畅程度。视频帧率越高则画面流畅度越好，越没有跳动感。另外，由于网络视频的传输受到网络环境的影响。在低带宽的视频传输中，视频往往受到一定程度的压缩和帧率降采样，从而以更低的码率传输。因此在接收端，需要在原始视频的两帧之间插入一帧或多帧，从而提高视频的帧率。这也使得视频帧率上变换技术应运而生，成为了视频处理技术中的热点课题之一。在传统方法中，视频帧率的上变换一般分为两步，首先利用运动估计得到运动矢量，然后通过运动补偿插值得到中间一帧。近年来，深度学习被广泛应用于计算机视觉领域。在高维度方面，例如图像分类、动作识别和行为检测等方面，深度学习算法展现了强大的功能。而在低维度方...
【技术保护点】
1.一种基于卷积神经网络的视频帧率上变换方法，其特征在于，包括：接收发送端传输的初始视频；将所述初始视频划分为包含连续两帧图像的多组图像块；将所述图像块中的连续两帧图像作为目标卷积神经网络的输入，合成所述连续两帧图像对应的中间帧图像；其中，所述目标卷积神经网络是通过预设的训练数据集训练得到的，所述目标卷积神经网络包括：编码器、解码器以及光流预测层；将所述中间帧图像插入所述图像块内，得到视频帧率上变换后的目标视频。
【技术特征摘要】
1.一种基于卷积神经网络的视频帧率上变换方法，其特征在于，包括：接收发送端传输的初始视频；将所述初始视频划分为包含连续两帧图像的多组图像块；将所述图像块中的连续两帧图像作为目标卷积神经网络的输入，合成所述连续两帧图像对应的中间帧图像；其中，所述目标卷积神经网络是通过预设的训练数据集训练得到的，所述目标卷积神经网络包括：编码器、解码器以及光流预测层；将所述中间帧图像插入所述图像块内，得到视频帧率上变换后的目标视频。2.根据权利要求1所述的基于卷积神经网络的视频帧率上变换方法，其特征在于，在接收发送端传输的初始视频之前，还包括：构建初始卷积神经网络；构建训练数据集和验证数据集；通过所述训练数据集训练所述初始卷积神经网络，得到训练后的卷积神经网络；通过所述验证数据集对所述训练后的卷积神经网络进行验证，若验证通过，则得到所述目标卷积神经网络。3.根据权利要求2所述的基于卷积神经网络的视频帧率上变换方法，其特征在于，所述构建训练数据集和验证数据集，包括：获取样本视频，所述样本视频为保留原始帧率的视频；对所述样本视频进行剪切，得到多组包含连续三帧图像的图像块，将所述图像块中的连续三帧图像分别记为：前帧图像、中间帧图像、后帧图像；将所述前帧图像、中间帧图像、后帧图像作为训练数据集和验证数据集。4.根据权利要求3所述的基于卷积神经网络的视频帧率上变换方法，其特征在于，通过所述训练数据集训练所述初始卷积神经网络，得到训练后的卷积神经网络，包括：以所述训练数据集中图像块的前帧图像、后帧图像作为所述初始卷积神经网络的输入，以所述图像块中的中间帧图像为目标输出；通过构建一维像素特征和高维感知特征综合的目标损失函数来优化所述初始卷积神经网络；并通过所述训练数据集对所述初始卷积神经网络进行迭代训练，得到训练后的卷积神经网络。5.根据权利要求3所述的基于卷积神经网络的视频帧率上变换方法，其特征在于，对所述样本视频进行剪切，得到多组包含连续三帧图像的图像块，包括：通过...
【专利技术属性】
技术研发人员：宋利，张智峰，解蓉，陈立，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。