基于时间切片的视频时空超分辨率增强方法技术

本发明专利技术公开了一种基于时间切片的视频时空超分辨率增强方法，包括：输入待增强的视频，将其转换成竖直时间切片；将竖直时间切片送入时间切片超分辨率模块，得到超分辨率之后的时间切片，再转换为视频A；所述切片超分辨率模块能够捕获竖直时间切片包含的时空相关性，从而得到与目标视频帧率一致的视频；将视频A送入特征变换模块，获得与目标视频空间分辨率一致的视频B；将视频B送入优化模块，来增强视频细节并消除伪影。该方法通过显式地对时间切片建模，更好地挖掘时空关联信息，捕获长时序的视频信息，实现视频帧率和视频空间分辨率的提升。

【技术实现步骤摘要】
基于时间切片的视频时空超分辨率增强方法
本专利技术涉及图像处理
，尤其涉及一种基于时间切片的视频时空超分辨率增强方法。
技术介绍
视频超分辨率是图像处理中的一个经典问题，其目标是从给定的低分辨率视频序列中生成高分辨率帧。视频帧率提升是一种将低帧率视频转换为高帧率视频的视频后处理方法，在相邻两视频帧之间插入内插视频帧，以达到增加帧率的目的。使用单一的方式进行视频质量增强难以满足日益增长的用户需求，为了将视频超分辨率和视频帧率提升应用到实际生活中，因此，需要一种增强低空间分辨率、低视频帧率的方法。可以通过级联现有视频超分辨率方法和视频帧率提升方法实现视频时空超分辨率。然而级联的方式难以充分捕获视频帧间的时空关联性。使用两阶段的增强方式不仅消耗大量计算资源，而且不可避免地引入累积误差。为了更好探究时间相关性并减少累积误差，研究人员们尝试利用手工设计先验知识或采用深度学习网络进行视频时空超分辨率增强。Shechtman等人(ShechtmanE,CaspiY,IraniM.Increasingspace-timeresol本文档来自技高网...

【技术保护点】
1.一种基于时间切片的视频时空超分辨率增强方法，其特征在于，包括：/n输入待增强的视频，将其转换成竖直时间切片；/n将竖直时间切片送入时间切片超分辨率模块，得到超分辨率之后的时间切片，再转换为视频A；所述切片超分辨率模块能够捕获竖直时间切片包含的时空相关性，从而得到与目标视频帧率一致的视频；/n将视频A送入特征变换模块，获得与目标视频空间分辨率一致的视频B；/n将视频B送入优化模块，来增强视频细节并消除伪影。/n

【技术特征摘要】
1.一种基于时间切片的视频时空超分辨率增强方法，其特征在于，包括：
输入待增强的视频，将其转换成竖直时间切片；
将竖直时间切片送入时间切片超分辨率模块，得到超分辨率之后的时间切片，再转换为视频A；所述切片超分辨率模块能够捕获竖直时间切片包含的时空相关性，从而得到与目标视频帧率一致的视频；
将视频A送入特征变换模块，获得与目标视频空间分辨率一致的视频B；
将视频B送入优化模块，来增强视频细节并消除伪影。


2.根据权利要求1所述的一种基于时间切片的视频时空超分辨率增强方法，其特征在于，所述时间切片超分辨率模块采用IMDN网络结构实现；
训练阶段，采用最小平均绝对误差作为目标损失函数，进行有监督训练。


3.根据权利要求1所述的一种基于时间切片的视频时空超分辨率增强方法，其特征在于，所述特征变换模块包括依次设置的：3×3卷积层与5×5卷积层...

【专利技术属性】
技术研发人员：熊志伟，肖泽宇，傅雪阳，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34