基于深度学习的时间维视频超分辨率方法技术

本发明专利技术公开了一种基于深度学习的时间维视频超分辨率方法，主要解决现有技术重构的视频图像插帧稳定性差和精度低的问题。其技术关键是利用神经网络训练拟合原始视频图像和下采样视频图像之间的非线性映射关系，包括：1)获取原始视频图像集和下采样视频图像集作为神经网络的训练样本；2)构建神经网络模型并利用训练样本训练神经网络的参数；3)将任给的一段视频作为测试样本，输入到训练好的神经网络模型中，神经网络的输出结果即为重构的视频图像。本发明专利技术降低了视频图像插帧重构的计算复杂度，提高了重构视频图像插帧的稳定性和精度，可用于场景插值、动画制作、实现低帧率视频的时间域插帧。

【技术实现步骤摘要】
基于深度学习的时间维视频超分辨率方法
本专利技术属于图像处理领域，具体涉及一种时间维视频超分辨方法，可用于场景插值、动画制作、实现低帧率视频的时间域插帧。
技术介绍
视频图像不仅包含了被观测目标的空间信息，而且包含了被观测目标在时间上的运动信息，具备“空时合一”的性质。由于视频图像可以把反映物体性质的空间信息和时间信息维系在一起，因此极大的提高了人类认知客观世界的能力，在遥感、军事、农业、医学、生物化学等领域都被证明有着巨大的应用价值。利用视频成像设备获取精密的视频图像成本很高，而且受到传感器和光学器件制造工艺的限制，为了提高成像视频的分辨率，通常需要对视频进行压缩，以牺牲视频的时间分辨率为代价，这显然难以满足科学研究和大规模实际应用的需求。所以利用信号处理技术从压缩后的视频图像中重建出高分辨率的视频图像成为获取视频图像的一个重要途径。KangSJ等人在“DualMotionEstimationforFrameRateUp-Conversion”中提出了一种采用运动估计和运动补偿的方法实现视频图像插帧重构的算法。该视频图像插帧重构问题是一个病态逆问题，其利用视频图图像的时间信息并结合本文档来自技高网...

【技术保护点】
基于深度学习的时间维视频超分辨率方法，包括：(1)将彩色视频图像集S＝{S1,S2,...,Si,...,SN}转换为灰度视频图像集，即原始视频图像集X＝{X1,X2,...,Xi,...,XN}，并利用下采样矩阵F对原始视频图像集X进行直接下采样，得到下采样视频图像集Y＝{Y1,Y2,...,Yi,...,YN}，其中，

【技术特征摘要】
1.基于深度学习的时间维视频超分辨率方法，包括：(1)将彩色视频图像集S＝{S1,S2,...,Si,...,SN}转换为灰度视频图像集，即原始视频图像集X＝{X1,X2,...,Xi,...,XN}，并利用下采样矩阵F对原始视频图像集X进行直接下采样，得到下采样视频图像集Y＝{Y1,Y2,...,Yi,...,YN}，其中，表示第i个原始视频图像样本，表示第i个下采样视频图像样本，1≤i≤N，N表示原始视频图像集中图像样本的数量，M表示原始视频图像块的大小，Lh表示原始视频图像集每个样本中图像块的数量，Ll表示下采样视频图像集每个样本中图像块的数量，且Lh＝r×Ll，r表示原始视频图像集对下采样视频图像集的放大倍数；(2)构建神经网络模型，并利用下采样视频图像集Y和原始视频图像集X训练神经网络参数：(2a)确定神经网络输入层节点数、输出层节点数、隐藏层数和隐藏层节点数量，随机初始化各层的连接权值W(t)和偏置b(t)，给定学习速率η，选定激活函数为：其中，g表示神经网络节点的输入值，t＝1,2,…,n，n表示神经网络的总层数；(2b)随机输入下采样视频图像集中的一个下采样视频图像Yi作为输入训练样本，同时输入对应的原始视频图像集中的一个原始视频图像Xi作为输出训练样本，使用选定的激活函数计算神经网络每一层的激活值，计算得到：第1层即输入层的激活值为：a(1)＝Yi，第t'＝2,3,...,n层的激活值为：a(t′)＝f(W(t′-1)*a(t′-1)+b(t′-1))，其中，在该网络的第二层，第三层，第四层即t'＝2，t'＝3，t'＝4时，为了充分提取视频帧间的相关性，设计了三个三维滤波器用来代替传统的二维滤波器，f(g)表示tanh(g)激活函数，g＝W(t′-1)*a(t′-1)+b(t′-1)，W(t′-1)和b(t′-1)分别表示第t'-1层的权重和偏置，a(t′-1)表示第t'-1层的激活值；(2c)计算神经网络各层的学习误差：输出层即第n层的误差为：δ(n)＝Xi-a(n)，第t"＝n-1,n-2...

【专利技术属性】
技术研发人员：董伟生，巨丹，石光明，谢雪梅，吴金建，李甫，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61