一种基于多帧分组与反馈网络的视频超分辨率方法技术

本发明专利技术公开了一种基于多帧分组与反馈网络的视频超分辨率方法，包括：构建初始超分辨率网络模型，获取训练视频数据集；确定需超分的目标帧，对其进行上采样，获得初步超分视频帧；将训练视频数据包含的视频帧序列分组；提取分组的视频帧序列的特征图，并对其进行对齐、融合操作，获得LR特征图；对LR特征图进行逐步反馈超分，获得超分特征图序列；对超分特征图序列进行重建，获得重建超分残差信息序列，并与初步超分视频帧相加，获得目标帧的最终超分视频帧序列；设置损失函数，对初始超分辨率网络模型进行训练，获得训练好的超分辨率网络模型；本发明专利技术提高了视频超分辨率效果，重建出的视频帧细节保持效果明显提高。的视频帧细节保持效果明显提高。的视频帧细节保持效果明显提高。

【技术实现步骤摘要】
一种基于多帧分组与反馈网络的视频超分辨率方法


[0001]本专利技术涉及视频处理的
，更具体地，涉及一种基于多帧分组与反馈网络的视频超分辨率方法。

技术介绍

[0002]视频超分辨率方法是从低分辨率视频中生成高分辨率视频的方法，作为一种典型的计算机视觉问题，几十年来得到了广泛的研究。近些年，大量高清显示设备的涌现以及超高清分辨率的出现，进一步推动了视频超分辨率的发展。与此同时，它在卫星图像、视频监控、医学成像、军事科技也有很广泛的应用前景，已成为计算机视觉领域的热点研究问题之一。
[0003]视频超分辨率任务和单帧超分辨率相比增加了时序信息。按照利用时序信息的不同方式，基于深度学习的视频超分辨率技术可以大致分为基于多帧级联的方法、基于3D卷积的方法和基于循环结构的方法。基于多帧级联的方法可以看作是单帧超分辨率换成多帧输入。这种方法如果想要利用好时序信息都离不开相邻帧对齐，而相邻帧对齐方式又可以分为光流法对齐和可变形卷积对齐。Wang等人提出的EDVR网络就是属于这类方法中的可变形卷积对齐，EDVR通过多尺度的变形卷积将相临帧的特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多帧分组与反馈网络的视频超分辨率方法，其特征在于，包括以下步骤：S1：获取视频数据，对视频数据进行预处理，获得训练视频数据，组成训练视频数据集；S2：确定需超分的目标帧，对该目标帧进行上采样，获得初步超分视频帧；S3：将每条训练视频数据包含的视频帧序列在时间轴上分组；S4：将分组的视频帧序列输入构建的初始超分辨率网络模型，提取每组视频帧序列的特征图，对每组视频帧序列的特征图进行对齐、融合操作，获得每组视频帧序列的LR特征图；S5：对每组视频帧序列的LR特征图进行逐步反馈超分，获得目标帧的超分特征图序列；S6：对目标帧的超分特征图序列进行重建，获得目标帧的重建超分残差信息序列，并与S2中目标帧的初步超分视频帧相加，获得目标帧的最终超分视频帧序列；S7：设置损失函数，对初始超分辨率网络模型进行训练，获得训练好的超分辨率网络模型；S8：利用训练好的超分辨率网络模型对待超分视频进行超分辨率重建。2.根据权利要求1所述的基于多帧分组与反馈网络的视频超分辨率方法，其特征在于，所述对视频数据进行预处理包括：S1.1：对所有视频数据在相同的位置截取高分辨率视频帧；S1.2：对高分辨率视频帧进行下采样，得到低分辨率视频帧；S1.3：将所有低分辨率视频帧进行归一化处理；S1.4：将归一化处理后的低分辨率视频帧进行随机的数据增强操作，所述数据增强操作包括翻转操作和镜像操作。3.根据权利要求2所述的基于多帧分组与反馈网络的视频超分辨率方法，其特征在于，所述步骤S1.2中，采用高斯模糊下采样方法对高分辨率视频帧进行下采样。4.根据权利要求1所述的基于多帧分组与反馈网络的视频超分辨率方法，其特征在于，所述步骤S2中，采用双三次插值上采样方法对训练视频数据的目标帧进行上采样操作，获得初步超分视频帧。5.根据权利要求1所述的基于多帧分组与反馈网络的视频超分辨率方法，其特征在于，所述步骤S3中，将每条训练视频数据包含的视频帧序列在时间轴上分为n组，获得n个视频帧序列的子集，并且每个子集都包含目标帧。6.根据权利要求5所述的基于多帧分组与反馈网络的视频超分辨率方法，其特征在于，所述初始超分辨率网络模型包括可变形卷积对齐模块和融合模块；所述可变形卷积对齐模块具体为现有的EDVR模型前端的PCD特征对齐模块，包括多尺度特征提取单元和特征对齐单元；将分组获得的n个视频帧序列的子集输入多尺度特征提取单元，每帧视频获得n种size的特征图，将每种size的特征图输入特征对齐单元进行可变形卷积对齐操作，获得每组视频帧序列的对齐特征图；所述融合模块具体为现有的EDVR网络模型的TSA融合模块；将每组视频帧序列的对齐特征图由小到大逐步向上融合，获得每组视频帧序列的LR特征图(F
g1
、F
g2
、
…
、F
gn
)，其中，n表示视频帧序列的分组的组数，F
gn
表示第n个视频帧序列子集的LR特征图。
7.根据权利要求6所述的基于多帧分组与反馈网络的视频超分辨率方法，其特征在于，所述初始超分辨率网络模还包括反馈模块；将每组视频帧序列的LR特征图(F
g1
、F
g2
、
…
、F
gn
)输入反馈模块，按分组顺序进行n次迭代，每次迭代进行逐步反馈超分的输入为该次迭代对应的视频帧序列子集的LR特征图和上次迭代输出的目标帧的超分特征图，输出每次迭代的目标帧的超分特征图，即：F
(out，n)
...

【专利技术属性】
技术研发人员：朱鉴，张庆武，向宇，蔡金峰，陈炳丰，蔡瑞初，郝志峰，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：