一种基于时序分组的深度特征融合视频超分辨率方法技术

本发明专利技术涉及视频超分辨率重建技术领域，且公开了一种基于时序分组的深度特征融合视频超分辨率方法，解决现有技术中忽略参考帧信息和多帧之间的互补信息等问题，提升了视频超分辨率的效果，低分辨率视频通过本发明专利技术使用的技术可以获得更清晰的视频。该基于时序分组的深度特征融合视频超分辨率方法采用时序分组方式，利用输入序列中的较远的帧的信息进行时序分组，以充分利用多帧之间的互补信息来恢复精细的细节，利用较远处的相邻帧增强特征融合的性能，利用注意模块对互补信息进行建模，慢帧速率组提供了更多的信息，快速帧率组被用来捕获一些缺失的细节，更好地处理遮挡、模糊区域和视差问题。和视差问题。和视差问题。

【技术实现步骤摘要】
一种基于时序分组的深度特征融合视频超分辨率方法


[0001]本专利技术涉及视频超分辨率重建
，具体为一种基于时序分组的深度特征融合视频超分辨率方法。

技术介绍

[0002]在实际拍摄图像和视频过程中，受到硬件条件不足或外部环境带来的影响，会导致最终拍摄的照片或视频分辨率低，随着大数据的发展，质量较差的图像或者分辨率较低的视频在信息传递的过程中已经不能满足人们的需求，为了得到更加清晰的视频，视频超分辨率重建技术应运而生，视频超分辨率的任务就是将低分辨率视频图像恢复为高分辨率视频，它是计算机视觉中的一个经典而具有挑战性的问题，视频超分辨率重建技术应用领域众多、前景广泛，例如，在无人机拍摄领域，由于无人机硬件设备受限导致拍摄的图像或视频较为模糊，如果将该项技术应用在此领域，可使得拍摄的图像和视频更加清晰，在安防领域，由于监控设备本身的硬件条件不足加上复杂的外界因素，因此拍摄到的视频分辨率普遍不高，使用超分辨率技术后，可以获得高分辨率的视频，更好的协助安防，在视频修复领域，由于早年的拍摄条件限制，所拍摄出来的图像视频都是较为模糊的低分辨率视频，而超分辨率技术可以让早年的低分辨率视频以高清晰度重现在人们眼前。
[0003]现有的技术针对视频超分辨率问题提出的各种方法可分为两类，其中一种类型是单帧的超分辨率，它主要来自于单个图像的超分辨率，该方法主要采用帧内空间相关性，学习从低分辨率(Low Resolution,LR)帧到高分辨率(High Resolution,HR)帧的映射函数，另一种类型是多帧超分辨率，它使用LR帧之间的帧间时间依赖性来生成HR帧，单帧的超分辨率方法包括双三次插值、RCAN、LapSRN、CARN和DBPN等，视频多帧超分辨率的方法包括SOF
‑
VSR，SPMC，TOFlow，FRVSR，RBPN，MFFN和EDVR等，视频超分辨率中的一个重要步骤是将参考帧的特征与支撑帧的特征相融合，一些方法将低分辨率参考帧与每个LR相邻帧进行对齐，其目标是能够利用时序冗余，然后将基于相邻帧和参考帧的对齐特征进行单独融合，重建高分辨率帧，但是当视频包含遮挡、大运动和严重模糊时，对齐和融合模块的设计是一个非常大的挑战，这是因为在上述情况下，不准确的运动估计和对齐会导致视频超分辨率结果出现较大的误差，目前的一些方法使用光学算法来估计光场来进行对齐，其他方法通过动态变换或可变形卷积自适应地对齐参考帧和相邻帧，特性融合是超分辨率任务中的另一个关键步骤，现有的方法主要可分为两类，一种是在所有帧上使用卷积来进行早期融合，第二种类型是使用递归网络来逐步融合多个帧，然而，虽然上述方法已经取得了良好的效果，但现有的方法仍然可以得到改进，有些方法利用相邻帧的时间信息，而没有明确地考虑参考帧，这将导致输入序列中的较远的帧的信息集成无效，此外，强烈的运动会导致严重的模糊和融合信息的偏差，有些方法在进行特征融合时不考虑融合特征与原始参考帧之间的差异，在生成HR帧时，它可能会放大视频中的模糊，从而使模型表现不佳。

技术实现思路

[0004](一)解决的技术问题
[0005]本专利技术的目的是为了解决了现有技术中忽略参考帧信息和多帧之间的互补信息等问题，提升了视频超分辨率的效果，生产更高质量的高分辨率视频的问题，而提出的一种基于时序分组的深度特征融合视频超分辨率方法。
[0006](二)技术方案
[0007]本专利技术解决上述技术问题的技术方案如下：
[0008]一种基于时序分组的深度特征融合视频超分辨率方法，包括以下步骤：
[0009]S1、对需超分辨率的参考帧同其前后支持帧进行时序分组；
[0010]S2、对各组特征序列提取信息并进行融合，生成组级特征；
[0011]S3、组级特征经过时序注意力模块，得到加权注意特征生成的组特征连结；
[0012]S4；构建包含MRFB的深度特征融合模块，对时间对齐特征信息进行编码；
[0013]S5、逐步融合参考帧的多阶段特征，最终生成超分辨率重建框架；
[0014]S6、输出HR帧。
[0015]在上述技术方案的基础上，本专利技术还可以做如下改进。
[0016]优选地，在步骤S1中，为了充分利用远处帧的信息，提出的方法根据相邻帧与参考帧之间的时序距离将2N个帧划分为N个组，然后，提取时空信息并进行融合，生成组级特征，根据相邻的2N帧与参照帧的时序距离划分为N组后，将原始序列重新排序为是由中心帧和相邻两帧和组成的子序列，每一组中都有参考帧，该方法可以将任何帧作为输入，根据时序距离，相邻帧提供的信息也不一致，当面对大的变形、遮挡和运动模糊时尤其明显。
[0017]优选地，在步骤S2中，对每一组进行特征提取和融合，该模块包含三个部分，第一部分包含三个单元作为空间特征提取器，本专利技术提出的方法使用膨胀率来模拟相关的运动水平，膨胀率由每一组的帧率设置，距离越大，运动就越大，距离就越近，运动就越小，第二部分采用3
×3×
3核三维卷积层进行时空特征融合，第三部分利用二维密集块对信息进行深度整合，生成组级特征
[0018]优选地，在步骤S3中，模块可以在不同的时间给予不同程度的关注，不同组生成的组级特征包含互补的信息，慢帧速率组提供了更多的信息，因为相邻的帧更类似于参考帧，而快速帧率组被用来捕获一些缺失的细节，在每一组中，组级特征通过3
×
3卷积层生成单通道特征图然后将它们连接起来，并沿时间轴将softmax函数应用于通道中的每个位置，计算注意力地图W(c,v)的公式如下：
[0019][0020]公式中，W
n
(c，v)
j
表示位置(c，v)
j
处时间组注意掩码的权重；
[0021]组的加权注意特征公式表示如下：
[0022][0023]在公式中，表示组内融合模块生成的组级特征，表示相乘。
[0024]优选地，在步骤S4中，现有的视频超分辨率方法通常是将参考帧和对齐后的相邻帧的特征合并，然后将它们级联在一起作为重构网络的输入，生成HR帧，虽然这种方法是有效的，但仍有两个缺点，首先，对齐后的支持帧和参考帧在特征层面上有很多共同点，因此，当使用它们作为重建网络的输入时，会引入大量的冗余，导致消耗不必要的计算资源，其次，它不能向更深的网络层提供支持帧的有效补充信息，为了解决这些问题，我们的方法在网络不同的深度插入了一组调制残余融合块(ModulativeResidualFusionBlocks，MRFB)，使用SRRerNet的高级架构作为分支主干，MRFB内含有SFT，并以时间对齐的特征φ作为共享条件来调整其输入特征映射在φ条件下，SFT层通过缩放和移动操作对组级特征进行映射转换，计算公式如下：
[0025][0026]其中，α和β分别为比例参数和移动参数，表示像素乘法，
[0027]将φ输入到几个具有不同权值的卷积层中，得到相应的变换参数α和β，在MRFB中，每个卷积层之后带有一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时序分组的深度特征融合视频超分辨率方法，其特征在于，包括以下步骤：S1、对需超分辨率的参考帧同其前后支持帧进行时序分组；S2、对各组特征序列提取信息并进行融合，生成组级特征；S3、组级特征经过时序注意力模块，得到加权注意特征生成的组特征连结；S4、构建包含MRFB的深度特征融合模块，对时间对齐特征信息进行编码；S5、逐步融合参考帧的多阶段特征，最终生成超分辨率重建框架；S6、输出HR帧。2.根据权利要求1所述的一种基于时序分组的深度特征融合视频超分辨率方法，其特征在于：在步骤S1中，为了充分利用远处帧的信息，提出的方法根据相邻帧与参考帧之间的时序距离将2N个帧划分为N个组，然后，提取时空信息并进行融合，生成组级特征，根据相邻的2N帧与参照帧的时序距离划分为N组后，将原始序列重新排序为{Q1,...,Q
n
}，是由中心帧和相邻两帧和组成的子序列，每一组中都有参考帧，该方法可以将任何帧作为输入，根据时序距离，相邻帧提供的信息也不一致，当面对大的变形、遮挡和运动模糊时尤其明显。3.根据权利要求1所述的一种基于时序分组的深度特征融合视频超分辨率方法，其特征在于：在步骤S2中，对每一组进行特征提取和融合，该模块包含三个部分，第一部分包含三个单元作为空间特征提取器，本发明提出的方法使用膨胀率来模拟相关的运动水平，膨胀率由每一组的帧率设置，距离越大，运动就越大，距离就越近，运动就越小，第二部分采用3
×3×
3核三维卷积层进行时空特征融合，第三部分利用二维密集块对信息进行深度整合，生成组级特征4.根据权利要求1所述的一种基于时序分组的深度特征融合视频超分辨率方法，其特征在于：在步骤S3中，模块可以在不同的时间给予不同程度的关注，不同组生成的组级特征包含互补的信息，慢帧速率组提供了更多的信息，因为相邻的帧更类似于参考帧，而快速帧率组被用来捕获一些缺失的细节，在每一组中，组级特征通过3
×
3卷积层生成单通道特征图然后将它们连接起来，并沿时间轴将softma...

【专利技术属性】
技术研发人员：杨敬民，吴苗志，陈圳森，杨文元，
申请(专利权)人：闽南师范大学，
类型：发明
国别省市：