基于深度学习的视频超分辨率重建方法、系统及介质技术方案

本发明专利技术涉及一种基于深度学习的视频超分辨率重建方法、系统及介质，特别涉及视频处理技术领域。所述方法包括：将待处理视频的各帧输入超分模型得到所述待处理视频各帧对应的超分辨率图像；根据所述待处理视频各帧图像对应的超分辨率图像得到所述待处理视频对应的超分辨率视频，超分模型为以待训练视频为输入，以所述待训练视频对应的超分辨率视频为输出，以频率损失函数最小为目标对BasicVSR模型进行训练得到的；所述BasicVSR模型的前向分支和后向分支均包括GDFN模块。本发明专利技术可提高高分辨率视频图像的质量。辨率视频图像的质量。辨率视频图像的质量。

【技术实现步骤摘要】
基于深度学习的视频超分辨率重建方法、系统及介质


[0001]本专利技术涉及视频处理
，特别是涉及一种基于深度学习的视频超分辨率重建方法、系统及介质。

技术介绍

[0002]分辨率是一组用于评估图像中蕴含细节信息丰富程度的性能参数，包括时间分辨率、空间分辨率及色阶分辨率等，体现了成像系统实际所能反映物体细节信息的能力。相较于低分辨率图像，高分辨率图像通常包含更大的像素密度、更丰富的纹理细节及更高的可信赖度。但在实际上情况中，受采集设备与环境、网络传输介质与带宽、视频退化模型本身等诸多因素的约束，通常并不能直接得到具有边缘锐化、无成块模糊的理想高分辨率图像。提升图像分辨率的最直接的做法是对采集系统中的光学硬件进行改进，但是由于制造工艺难以大幅改进并且制造成本十分高昂，因此物理上解决图像低分辨率问题往往代价太大。
[0003]视频的超分辨率重建技术指的是将给定的低分辨率图像通过特定的算法恢复成相应的高分辨率视频。与图像超分相比，视频超分可以利用相邻多帧的信息，以达到更好的超分效果。传统的超分算法，如插值等会使得高分辨率的视频图像出现边缘模糊，效果不佳。

技术实现思路

[0004]本专利技术的目的是提供一种基于深度学习的视频超分辨率重建方法、系统及介质，可提高高分辨率视频图像的质量。
[0005]为实现上述目的，本专利技术提供了如下方案：
[0006]一种基于深度学习的视频超分辨率重建方法，包括：
[0007]构建超分模型；所述超分模型为以待训练视频各帧对应的图像为输入，以所述待训练视频各帧对应的超分辨率图像为输出，以频率损失函数最小为目标对BasicVSR模型进行训练得到的；所述BasicVSR模型的前向分支和后向分支均包括GDFN模块；
[0008]获取待处理视频；
[0009]将所述待处理视频的各帧图像输入所述超分模型得到所述待处理视频各帧图像对应的超分辨率图像；
[0010]根据所述待处理视频各帧图像对应的超分辨率图像得到所述待处理视频对应的超分辨率视频。
[0011]可选的，所述BasicVSR模型包括前向分支、后向分支和上采样分支；所述前向分支的输出端与所述后向分支的输出端均与所述上采样分支的输入端连接。
[0012]可选的，所述前向分支包括N个前向传播模块；所述后向分支包括N个后向传播模块；所述上采样分支包括N个上采样传播模块；N为大于1的正整数；
[0013]第i个前向传播模块的第一输入端与第i
‑
1个前向传播模块的第一输出端连接；所述第i个前向传播模块的第二输入端用于输入所述待处理视频的第i帧图像和第i
‑
1帧图
像；所述第i个前向传播模块的第一输出端与所述第i+1个前向传播模块的第一输入端连接；所述第i个前向传播模块的第二输出端与第i个上采样模块的第一输入端连接；
[0014]第i个后向传播模块的第一输入端与第i+1个后向传播模块的第一输出端连接；所述第i个后向传播模块的第二输入端用于输入所述待处理视频的第i帧图像和第i
‑
1帧图像；所述第i个后向传播模块的第一输出端与所述第i
‑
1个后向传播模块的第一输入端连接；所述第i个后向传播模块的第二输出端与第i个上采样模块的第二输入端连接。
[0015]可选的，所述前向传播模块和所述后向传播模块均包括光流估计模块、空间扭曲模块和深度残差块，所述光流估计模块、所述空间扭曲模块、所述GDFN模块和所述深度残差块依次连接。
[0016]可选的，所述频率损失函数具体为：
[0017][0018]其中，表示频率损失函数，表示将所述待训练视频输入BasicVSR模型生成的图像，I表示所述待训练视频对应的超分辨率图像，∈表示第一常数，α表示第二常数，表示对进行快速傅立叶变换，表示对I进行快速傅立叶变换。
[0019]一种基于深度学习的视频超分辨率重建系统，包括：
[0020]构建模块，用于构建超分模型；所述超分模型为以待训练视频各帧对应的图像为输入，以所述待训练视频各帧对应的超分辨率图像为输出，以频率损失函数最小为目标对BasicVSR模型进行训练得到的；所述BasicVSR模型的前向分支和后向分支均包括GDFN模块；
[0021]获取模块，用于获取待处理视频；
[0022]超分辨率图像确定模块，用于将所述待处理视频的各帧图像输入所述超分模型得到所述待处理视频各帧图像对应的超分辨率图像；
[0023]超分辨率视频确定模块；根据所述待处理视频各帧图像对应的超分辨率图像得到所述待处理视频对应的超分辨率视频。
[0024]可选的，所述BasicVSR模型包括前向分支、后向分支和上采样分支；所述前向分支的输出端与所述后向分支的输出端均与所述上采样分支的输入端连接。
[0025]可选的，所述前向分支包括N个前向传播模块；所述后向分支包括N个后向传播模块；所述上采样分支包括N个上采样传播模块；N为大于1的正整数；
[0026]第i个前向传播模块的第一输入端与第i
‑
1个前向传播模块的第一输出端连接；所述第i个前向传播模块的第二输入端用于输入所述待处理视频的第i帧图像和第i
‑
1帧图像；所述第i个前向传播模块的第一输出端与所述第i+1个前向传播模块的第一输入端连接；所述第i个前向传播模块的第二输出端与第i个上采样模块的第一输入端连接；
[0027]第i个后向传播模块的第一输入端与第i+1个后向传播模块的第一输出端连接；所述第i个后向传播模块的第二输入端用于输入所述待处理视频的第i帧图像和第i
‑
1帧图像；所述第i个后向传播模块的第一输出端与所述第i
‑
1个后向传播模块的第一输入端连接；所述第i个后向传播模块的第二输出端与第i个上采样模块的第二输入端连接。
[0028]可选的，所述前向传播模块和所述后向传播模块均包括光流估计模块、空间扭曲模块和深度残差块，所述光流估计模块、所述空间扭曲模块、所述GDFN模块和所述深度残差
块依次连接。
[0029]可选的，一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的基于深度学习的视频超分辨率重建方法。
[0030]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术使用GDFN模块来达到更好的特征融合效果，可提高高分辨率视频图像的质量。
附图说明
[0031]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0032]图1为本专利技术实施例提供的一种基于深度学习的视频超分辨率重建方法的流程图；
[0033]图2为BasicVSR模型的具体架构图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的视频超分辨率重建方法，其特征在于，包括：构建超分模型；所述超分模型为以待训练视频各帧对应的图像为输入，以所述待训练视频各帧对应的超分辨率图像为输出，以频率损失函数最小为目标对BasicVSR模型进行训练得到的；所述BasicVSR模型的前向分支和后向分支均包括GDFN模块；获取待处理视频；将所述待处理视频的各帧图像输入所述超分模型得到所述待处理视频各帧图像对应的超分辨率图像；根据所述待处理视频各帧图像对应的超分辨率图像得到所述待处理视频对应的超分辨率视频。2.根据权利要求1所述的一种基于深度学习的视频超分辨率重建方法，其特征在于，所述BasicVSR模型包括前向分支、后向分支和上采样分支；所述前向分支的输出端与所述后向分支的输出端均与所述上采样分支的输入端连接。3.根据权利要求2所述的一种基于深度学习的视频超分辨率重建方法，其特征在于，所述前向分支包括N个前向传播模块；所述后向分支包括N个后向传播模块；所述上采样分支包括N个上采样传播模块；N为大于1的正整数；第i个前向传播模块的第一输入端与第i
‑
1个前向传播模块的第一输出端连接；所述第i个前向传播模块的第二输入端用于输入所述待处理视频的第i帧图像和第i
‑
1帧图像；所述第i个前向传播模块的第一输出端与所述第i+1个前向传播模块的第一输入端连接；所述第i个前向传播模块的第二输出端与第i个上采样模块的第一输入端连接；第i个后向传播模块的第一输入端与第i+1个后向传播模块的第一输出端连接；所述第i个后向传播模块的第二输入端用于输入所述待处理视频的第i帧图像和第i
‑
1帧图像；所述第i个后向传播模块的第一输出端与所述第i
‑
1个后向传播模块的第一输入端连接；所述第i个后向传播模块的第二输出端与第i个上采样模块的第二输入端连接。4.据权利要求3所述的一种基于深度学习的视频超分辨率重建方法，其特征在于，所述前向传播模块和所述后向传播模块均包括光流估计模块、空间扭曲模块和深度残差块，所述光流估计模块、所述空间扭曲模块、所述GDFN模块和所述深度残差块依次连接。5.根据权利要求1所述的一种基于深度学习的视频超分辨率重建方法，其特征在于，所述频率损失函数具体为：其中，表示频率损失函数，表示将所述待训练视频输入BasicVSR模型生成的图像，I表示所述待训练视频对应的超分辨率图像，∈表示第一常数，α表示第二常数，表示对进行快速傅立叶变换，表示对I...

【专利技术属性】
技术研发人员：季栋浩，潘金山，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：