一种基于改进可变形卷积校正的视频时空超分辨率方法和装置制造方法及图纸

本发明专利技术公开了一种基于改进可变形卷积校正的视频时空超分辨率方法和装置，包括：构建包含特征提取模块、帧间校正模块以及图像重建模块的视频时空超分辨率网络；对视频时空超分辨率进行网络参数优化后备用；应用时，利用特征提取模块从输入低分率的相邻视频帧提取特征图，利用帧间校正模块依据相邻视频帧对应的特征图在进行校正处理合成中间帧特征图，利用及图像重建模块对输入的中间帧特征图和相邻视频帧对应的特征图进行帧间与帧内特征的提取，重建输出高分辨率高帧率的图像序列。通过改进可变形卷积的模式、引入显式光流估计、注意力网络等技巧，使得帧间校正网络更好地胜任视频时空超分辨率任务，大大提升了复原效果。大大提升了复原效果。大大提升了复原效果。

【技术实现步骤摘要】
一种基于改进可变形卷积校正的视频时空超分辨率方法和装置


[0001]本专利技术涉及计算机科学图像处理领域，尤其涉及一种基于改进可变形卷积校正的视频时空超分辨率方法和装置。

技术介绍

[0002]视频时空超分辨率是视频与超分辨率与视频帧插值两大视频处理领域基础问题的结合。近年来深度学习网络的快速发展为视频超分辨率与视频帧插值算法提供了一种高效的解决方案，如公布号为CN109102462A的专利申请公开的一种基于深度学习的视频超分辨率重建方法，再如公布号为CN104463793A的专利申请公开的一种基于稀疏表达与极坐标下的向量连分式插值的视频超分辨率重建方法及其系统。但是传统卷积网络较少有对一阶段同时完成视频时空超分辨率的方法进行研究。
[0003]在时空超分辨率问题中，中间帧缺少参考，且相邻输入帧为低分辨率时，对中间帧的运动估计相比尤为困难。尽管已有一些较新的研究尝试引入可变形卷积等方法改进帧间运动补偿效果，但是现有深度学习网络往往仍无法较好地同时对中间帧的位置与细节信息进行复原。传统的光流方法以预设比例建模中间帧与输入帧和两相邻输入帧的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，包括以下步骤：构建包含特征提取模块、帧间校正模块以及图像重建模块的视频时空超分辨率网络，其中，帧间校正模块包括若干个不同空间尺度的改进可变形卷积校正分支和融合单元，每个改进可变形卷积校正分支用于根据相邻视频帧计算的光流估计和偏移参数经可变性卷积得到分支中间帧特征图，融合单元用于融合所有分支中间帧特征图，得到最终的中间帧特征图；对视频时空超分辨率进行网络参数优化后备用；应用时，利用特征提取模块从输入低分率的相邻视频帧提取特征图，利用帧间校正模块依据相邻视频帧对应的特征图在进行校正处理合成中间帧特征图，利用及图像重建模块对输入的中间帧特征图和相邻视频帧对应的特征图进行帧间与帧内特征的提取，重建输出高分辨率高帧率的图像序列。2.如权利要求1所述的基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，所述特征提取模块包括至少1个卷积层和若干个残差块，用于提取低分辨率视频帧的多通道特征图，其中，残差块包括卷积层、线性整流函数和点加操作。3.如权利要求1所述的基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，每个改进可变形卷积校正分支对应唯一的空间尺度，包括改进可变形卷积校正单元和偏移参数计算单元，其中，偏移参数计算单元用于根据相邻视频帧的特征图和光流信息经过多次卷积操作获得可变性卷积偏移参数，改进可变形卷积校正单元用于根据相邻视频帧计算光流信息后，根据光流信息确定可变性卷积偏移的基底后，根据可变性卷积偏移参数和对应的基底，经过可变性卷积获得与空间尺度对应的分支中间帧特征图。4.如权利要求3所述的基于改进可变形卷积校正的视频时空超分辨率方法，其特征在于，所述偏移参数计算单元包括3个卷积层，相邻视频帧的特征图拼接后输入至第一卷积层获得第一卷积结果，第一卷积结果与相邻改进可变形卷积校正分支的偏移参数计算单元计算的可变性卷积偏移参数拼接后输入至第二卷积层获得第二卷积结果，第二卷积结果与相邻视频帧间的光流信息拼接后输入至第三卷积，经卷积操作获得当前分支的可变性卷积偏移。5.如权利要求1所述的基于改进可变形...

【专利技术属性】
技术研发人员：蒋荣欣，蔡卓骏，田翔，陈耀武，
申请(专利权)人：浙江大学，
类型：发明
国别省市：