一种基于时序分组的深度特征融合视频超分辨率方法技术

本发明专利技术涉及视频超分辨率重建技术领域，且公开了一种基于时序分组的深度特征融合视频超分辨率方法，解决现有技术中忽略参考帧信息和多帧之间的互补信息等问题，提升了视频超分辨率的效果，低分辨率视频通过本发明专利技术使用的技术可以获得更清晰的视频。该基于时序分组的深度特征融合视频超分辨率方法采用时序分组方式，利用输入序列中的较远的帧的信息进行时序分组，以充分利用多帧之间的互补信息来恢复精细的细节，利用较远处的相邻帧增强特征融合的性能，利用注意模块对互补信息进行建模，慢帧速率组提供了更多的信息，快速帧率组被用来捕获一些缺失的细节，更好地处理遮挡、模糊区域和视差问题。和视差问题。和视差问题。

【技术实现步骤摘要】
一种基于时序分组的深度特征融合视频超分辨率方法


[0001]本专利技术涉及视频超分辨率重建
，具体为一种基于时序分组的深度特征融合视频超分辨率方法。

技术介绍

[0002]在实际拍摄图像和视频过程中，受到硬件条件不足或外部环境带来的影响，会导致最终拍摄的照片或视频分辨率低，随着大数据的发展，质量较差的图像或者分辨率较低的视频在信息传递的过程中已经不能满足人们的需求，为了得到更加清晰的视频，视频超分辨率重建技术应运而生，视频超分辨率的任务就是将低分辨率视频图像恢复为高分辨率视频，它是计算机视觉中的一个经典而具有挑战性的问题，视频超分辨率重建技术应用领域众多、前景广泛，例如，在无人机拍摄领域，由于无人机硬件设备受限导致拍摄的图像或视频较为模糊，如果将该项技术应用在此领域，可使得拍摄的图像和视频更加清晰，在安防领域，由于监控设备本身的硬件条件不足加上复杂的外界因素，因此拍摄到的视频分辨率普遍不高，使用超分辨率技术后，可以获得高分辨率的视频，更好的协助安防，在视频修复领域，由于早年的拍摄条件限制，所拍摄出来的图像视频都是较为模糊的低分辨率视频，而本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时序分组的深度特征融合视频超分辨率方法，其特征在于，包括以下步骤：S1、对需超分辨率的参考帧同其前后支持帧进行时序分组；S2、对各组特征序列提取信息并进行融合，生成组级特征；S3、组级特征经过时序注意力模块，得到加权注意特征生成的组特征连结；S4、构建包含MRFB的深度特征融合模块，对时间对齐特征信息进行编码；S5、逐步融合参考帧的多阶段特征，最终生成超分辨率重建框架；S6、输出HR帧。2.根据权利要求1所述的一种基于时序分组的深度特征融合视频超分辨率方法，其特征在于：在步骤S1中，为了充分利用远处帧的信息，提出的方法根据相邻帧与参考帧之间的时序距离将2N个帧划分为N个组，然后，提取时空信息并进行融合，生成组级特征，根据相邻的2N帧与参照帧的时序距离划分为N组后，将原始序列重新排序为{Q1,...,Q
n
}，是由中心帧和相邻两帧和组成的子序列，每一组中都有参考帧，该方法可以将任何帧作为输入，根据时序距离，相邻帧提供的信息也不一致，当面对大的变形、遮挡和运动模糊时尤其明显。3.根据权利要求1所述的一种基于时序分组的深度特征融合视频超分辨率方法，其特征在于：在步骤S2中，对每一组进行特征提取和融合，该模块包含三个部分，第一部分包含三个单元作为空间特征提取器，本发明提出的方法使用膨胀率来模拟相关的运动水平，膨胀率由每一组的帧率设置，距离越大，运动就越大，距离就越近，运动就越小，第二部分采用3
×3×
3核三维卷积层进行时空特征融合，第三部分利用二维密集块对信息进行深度整合，生成组级特征4.根据权利要求1所述的一种基于时序分组的深度特征融合视频超分辨率方法，其特征在于：在步骤S3中，模块可以在不同的时间给予不同程度的关注，不同组生成的组级特征包含互补的信息，慢帧速率组提供了更多的信息，因为相邻的帧更类似于参考帧，而快速帧率组被用来捕获一些缺失的细节，在每一组中，组级特征通过3
×
3卷积层生成单通道特征图然后将它们连接起来，并沿时间轴将softma...

【专利技术属性】
技术研发人员：杨敬民，吴苗志，陈圳森，杨文元，
申请(专利权)人：闽南师范大学，
类型：发明
国别省市：