【技术实现步骤摘要】
本专利技术属于视频处理，涉及一种基于多分支对称网络的非线性运动估计视频插帧方法。
技术介绍
1、视频插帧是视频图像编码与计算机视觉领域的一个重要研究方向，其研究探讨了在视频序列中插入额外帧以改善图像质量或平滑动画的问题，在多媒体服务领域有许多实际应用。如视频帧率转换、视频压缩、合成虚拟视点图像。
2、随着深度学习和光流网络的不断进步，基于光流的视频插帧方法在深度学习的帮助下已经取得了显著的突破。这是因为光流技术能够提供视频序列中对象或场景的像素级运动估计，从而为视频插帧提供了更为准确的动态信息。基于流的方法通常遵循三个步骤：1)估计目标帧和输入帧之间的光流。2)根据光流扭曲输入帧或上下文特征。3)细化扭曲的帧或特征，并通过合成网络生成目标帧。
3、目前大多数视频插帧算法是将两个连续帧作为输入来产生中间帧，主要通过建立线性模型来捕获运动信息。然而在动态场景中，往往存在高阶非线性运动，这给插帧技术带来了严重挑战。为了捕获复杂动态场景的运动信息，一些解决方案采用二次运动模型来近似实际场景的运动，对低阶运动场景有效，但受...
【技术保护点】
1.一种基于多分支对称网络的非线性运动估计视频插帧方法，其特征在于：
2.如权利要求1所述的一种基于多分支对称网络的非线性运动估计视频插帧方法，其特征在于：所述粗帧合成网络包括编码器、编码特征融合模块、双分支上采样模块和解码特征融合模块；编码器对输入帧图像进行特征提取；编码特征融合模块将提取特征进行对称排列并拼接融合操作，得到两组融合特征；双分支上采样模块对输入的两组融合特征进行输入特征交互操作和逐层细化操作，生成两个方向的中间光流和上下文特征；解码特征融合模块将中间光流和上下文特征进行卷积操作，得到两个方向的光流以及空间采样掩膜，再结合参考帧进行帧合成操...
【技术特征摘要】
1.一种基于多分支对称网络的非线性运动估计视频插帧方法，其特征在于：
2.如权利要求1所述的一种基于多分支对称网络的非线性运动估计视频插帧方法，其特征在于：所述粗帧合成网络包括编码器、编码特征融合模块、双分支上采样模块和解码特征融合模块；编码器对输入帧图像进行特征提取；编码特征融合模块将提取特征进行对称排列并拼接融合操作，得到两组融合特征；双分支上采样模块对输入的两组融合特征进行输入特征交互操作和逐层细化操作，生成两个方向的中间光流和上下文特征；解码特征融合模块将中间光流和上下文特征进行卷积操作，得到两个方向的光流以及空间采样掩膜，再结合参考帧进行帧合成操作得到粗帧，4帧图像分别为分别是i-1、i0、i1和i2帧，其中i0和i1作为参考帧，第4帧作为t时刻的目标帧igt，0≤t≤1；
3.如权利要求2所述的一种基于多分支对称网络的非线性运动估计视频插帧方法，其特征在于：所述双分支上采样模块由两个并行且参数共享的上采样网络形成的上下两个分支构成，每一个分支上的上采样网络具有四个相同结构的单向光流生成模块。
4.如权利要求3所述的一种基于多分支对称网络的非线性运动估计视频插帧方法，其特征在于：所述的单向光流生成模块sfb(i)，i＝4,3,2,1,由一个卷积层、一个残差块和一个反卷积层组成，输出的是单个方向上的中间光流和上下文特征；首先，对输入到该模块的特征进行第一个卷积层的卷积操作，融合并提取输入特征中的关键信息；接着由残差块对卷积操作后的特征进行自适应运动补偿，获得更准确的运动信息，残差块内部包含两个跳跃连接操作和三个卷积层，每个卷积层后面都有一个prelu激活函数，第一个跳跃连接操作是残差块的输入与第二个卷积层之后的输出相加，第一个跳跃连接操作是残差块的输入与第三个卷积层之后的输出相加，每个跳跃连接操作之后都会经过prelu激活函数再输出；最后由反卷积层进行上采样卷积操作，得到该层的中间光流和上下文特征u＝0,1，i＝4,3,2,1；其中的第一个单向光流生成模块sfb(4)的输入特征是融合特征，其它三个模块的输入是通过输入特征交互操作的拼接特征。
5.如权利要求4所述的一种基于多分支对称网络的非线性运动估计视频插帧方法，其特征在于：所述的输入特征交互操作是将属于上下两个分支各自的参考特征作为...
【专利技术属性】
技术研发人员：张志，周洋，赵俊能，刘春晖，殷海兵，黄晓峰，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。