当前位置: 首页 > 专利查询>中南大学专利>正文

基于深度学习的模糊视频超分辨率方法及系统技术方案

技术编号:22566255 阅读:45 留言:0更新日期:2019-11-16 12:32
本发明专利技术公开了一种基于深度学习的模糊视频超分辨率方法,在单帧深度反投影超分辨率模型的基础上,设计了多帧模糊视频超分辨率模型,提升了模糊视频超分辨率重建质量并且支持高倍数(×8)重建。针对运动模糊视频超分辨率重建后视频边缘轮廓等细节信息不清晰,视频质量低的问题,本发明专利技术通过在深度反投影超分辨率模型上引入递归学习和多帧融合策略构建模糊视频超分辨率模型。该模型通过学习模糊低分辨率视频帧到清晰高分辨率视频帧的非线性映射,能够重建边缘轮廓清晰的超分辨率视频,提升了运动模糊视频超分辨率重建的质量,使得人们能够更好的获取视频信息,例如超分辨率重建医疗视频帮助医生清楚观察患者的病灶部位,提高疾病确诊和治愈的可能。

Super-resolution method and system of fuzzy video based on deep learning

The invention discloses a fuzzy video super-resolution method based on depth learning. On the basis of single frame depth back projection super-resolution model, a multi frame fuzzy video super-resolution model is designed, which improves the quality of fuzzy video super-resolution reconstruction and supports high multiple (\u00d7 8) reconstruction. Aiming at the problem of unclear details such as video edge contour and low video quality after super-resolution reconstruction of motion blurred video, the present invention constructs the super-resolution model of fuzzy video by introducing recursive learning and multi frame fusion strategy on the deep back projection super-resolution model. By learning the nonlinear mapping from fuzzy low-resolution video frame to clear high-resolution video frame, the model can reconstruct the super-resolution video with clear edge contour, improve the quality of super-resolution reconstruction of motion fuzzy video, and make people better access to video information, such as super-resolution reconstruction medical video to help doctors clearly observe the focus of patients and improve The possibility of diagnosis and cure.

【技术实现步骤摘要】
基于深度学习的模糊视频超分辨率方法及系统
本专利技术涉及视频超分辨率处理领域,特别是一种基于深度学习的模糊视频超分辨率方法及系统。
技术介绍
随着高分辨率硬件设备的迅速发展,视频分辨率的标准越来越高。但是,由于成像环境、设备工艺、存储限制、网络传输、电路集成度、功耗等因素,当前多数视频的分辨率未达到高分辨率设备的播放要求。因此,研究基于低分辨率视频重建相应高分辨视频的超分辨率算法成为亟待解决的问题。视频超分辨率技术是指通过单幅或多幅相同场景下的低分辨率视频帧重建对应高分辨率视频帧的过程。多帧超分辨率技术需要利用相邻帧之间的冗余信息来恢复当前视频帧,通常比单帧的超分辨拥有更多的图像细节。视频超分辨率算法通过低分辨率视频重建高分辨率视频,实现了视频分辨率的提升;但在重建视频分辨率时需要考虑许多因素的影响,例如通常我们所获得的低分辨率视频由于成像环境、传感器、网络传输等原因容易受到运动模糊、噪音、光学失真、空气干扰等污染。如果直接在模糊的视频基础上重建超分辨率视频,得到的高分辨率视频质量较低,视频细节信息特征过于平滑,难以从重建视频中获取有效信息。在视频超分辨率的研究基础上结合去噪算法,提出模糊视频的超分辨率方法,实现在视频超分辨率重建的同时去掉视频的部分噪音,能够有效提高视频质量,增强视频细节信息特征,便于从视频中获取有效信息。从而提升了模糊视频超分辨率重建的质量,使得人们能够更好的获取视频信息,例如帮助医生确诊断病情,从而提高疾病确诊和治愈的可能性。单图像超分辨率方法忽略了帧间关系,无法利用同一视频场景相邻帧的有用信息,因此视频超分辨率的重建往往采用多帧超分辨模型。在多帧超分辨率上,早期的研究多集中在使用贝叶斯框架,从一系列的LR图像中重构一个HR图像。贝叶斯视频超分辨率方法采用了光流算法或分层块匹配方法来寻找运动场,以便能够处理真实世界中运动过程较为复杂的视频。Cheng等人提出了一种使用全连接层的patch-based视频超分辨率算法,使用5个连续的LR帧来重建一个中心HR帧。其需要对视频进行patchwise处理,其中网络的输入为5×5×5的大小,输出为HR图像重建的3×3个patch。并且使用patch与相邻帧进行块匹配,得到5×5个patch或相邻帧。VESPCN将亚像素卷积的效率与时空网络的性能和运动补偿相结合,得到了快速、准确的视频超分辨率算法。VESPCN研究了早期融合、慢融合和三维卷积对时间维的不同处理方法,同时建立了一个基于空间变压器的运动补偿方案,并结合时空模型,得到了一个非常有效的视频SR运动补偿方法。VSRNET(VideoSuper-ResolutionWithConvolutionalNeuralNetworks)是一种利用CNN同时学习视频空间维度和时间维度的视频超分辨率算法。视频帧序列在运动补偿后作为CNN的输入,最后重建出高分辨率的视频帧。现有技术存在以下缺陷:现有视频超分辨率重建模型在运动模糊视频重建上,重建的视频内容较模糊,视频帧细节信息不清晰;列出的视频超分辨率重建模型都是前馈结构,在高质量视频的重建中,需要建立一个非常深的网络结构,不适合于高倍数(×8)视频的重建。
技术实现思路
本专利技术所要解决的技术问题是,针对现有技术不足,提供一种基于深度学习的模糊视频超分辨率方法,重建内容和细节清晰的视频。为解决上述技术问题,本专利技术所采用的技术方案是:一种基于深度学习的模糊视频超分辨率方法,包括以下步骤:1)对运动模糊视频帧进行预处理,得到运动补偿后的去模糊视频帧序列;2)以运动补偿后的去模糊视频帧序列为输入,构建深度反投影视频超分辨率模型;3)使用DIV2K数据集通过Ptorch训练出针对不同尺寸的超分辨率模型,将训练好的超分辨率模型参数提供给深度反投影视频超分辨率模型使用;4)对新输入的运动模糊视频帧,经步骤1)预处理后通过步骤3)的深度反投影视频超分辨率模型重建视频帧序列。步骤1)中,对运动模糊视频帧进行预处理包括:使用基于条件对抗网络的运动模糊网络去除低分辨率运动模糊视频帧的运动模糊;使用基于深度学习的光流估计方法获取去除了运动模糊的低分辨率运动模糊视频帧间的运动估计;根据运动模糊视频帧间的运动估计进行视频帧间的运动补偿。步骤2)的具体实现过程包括:a)对以某一运动模糊视频帧为中心的连续三帧运动补偿的图像,各使用一个卷积层提取低分辨率图像的初始特征;b)利用一个卷积层融合步骤a)得到的所有初始特征;c)利用1×1卷积处理融合后的初始特征,得到处理后的低分辨率特征图像;d)将低分辨率特征图像输入到第一递归学习模块;所述第一递归学习模块包括上投影模块和下投影模块;e)使用反卷积将输入的低分辨率视频帧Lt-1放大为然后用卷积将生成的高分辨率视频帧缩小,将缩小结果与Lt-1相减计算残差,最后将残差放大到与同一尺寸,加上放大的残差后得到该投影单元生成的高分辨率图像;f)将所述高分辨率图像送入下投影模块,使用卷积将输入Ht缩小,然后用反卷积将缩小生成的放大,将结果与Ht相减计算残差,最后将残差缩小与同一尺寸,加上缩小的残差后得到该下投影单元生成的低分辨率图像;g)执行一次与步骤e)、步骤f)相同的操作;h)重复执行e)~g)4次;i)重复执行步骤e)到h)n次,深度级联所有步骤e)产生的高分辨率特征图像,得到高分辨率特征图像集合;j)使用一个卷积层通过高分辨率特征图像集合重建出超分辨率图像;k)使用pytorch将步骤a)-j)构建为深度反投影视频超分辨率模型。步骤3)的具体实现过程包括:1)将DIV2K数据集处理成不同缩放尺度的低分辨率图像和高分辨率图像;2)根据DIV2K数据集不同缩放尺度,将不同尺寸的低分辨率图像和对应的高分辨率图像输入到深度反投影视频超分辨率模型中进行训练,采用Pytorch深度学习框架分别训练出不同缩放尺度的单尺度超分辨率模型参数;3)在使用不同尺度的超分辨率模型时,将训练好的对应尺度超分辨率模型参数进行加载,以重建运动模糊视频帧。本专利技术还提供了一种基于深度学习的模糊视频超分辨率方法,其包括以下步骤:预处理单元,用于对运动模糊视频帧进行预处理,得到运动补偿后的去模糊视频帧序列;建模单元,用于以运动补偿后的去模糊视频帧序列为输入,构建深度反投影视频超分辨率模型;训练单元,用于使用DIV2K数据集通过Ptorch训练出针对不同尺寸的超分辨率模型,将训练好的超分辨率模型参数提供给深度反投影视频超分辨率模型使用;重建单元,用于对新输入的运动模糊视频帧,经预处理单元预处理后通过深度反投影视频超分辨率模型的深度反投影视频超分辨率模型重建视频帧序列。所述训练单元包括:处理模块,用于将DIV2K数据集处理成不同缩放尺度的低分辨率图像和高分辨率图像;参数确定单元,用于根据DIV2K数据集不同缩放尺度,将不同尺寸的低分辨率图像和对应的高分辨率本文档来自技高网
...

【技术保护点】
1.一种基于深度学习的模糊视频超分辨率方法,其特征在于,包括以下步骤:/n1)对运动模糊视频帧进行预处理,得到运动补偿后的去模糊视频帧序列;/n2)以运动补偿后的去模糊视频帧序列为输入,构建深度反投影视频超分辨率模型;/n3)使用DIV2K数据集通过Ptorch训练出针对不同尺寸的超分辨率模型,将训练好的超分辨率模型参数提供给深度反投影视频超分辨率模型使用;/n4)对新输入的运动模糊视频帧,经步骤1)预处理后通过步骤3)的深度反投影视频超分辨率模型重建视频帧序列。/n

【技术特征摘要】
1.一种基于深度学习的模糊视频超分辨率方法,其特征在于,包括以下步骤:
1)对运动模糊视频帧进行预处理,得到运动补偿后的去模糊视频帧序列;
2)以运动补偿后的去模糊视频帧序列为输入,构建深度反投影视频超分辨率模型;
3)使用DIV2K数据集通过Ptorch训练出针对不同尺寸的超分辨率模型,将训练好的超分辨率模型参数提供给深度反投影视频超分辨率模型使用;
4)对新输入的运动模糊视频帧,经步骤1)预处理后通过步骤3)的深度反投影视频超分辨率模型重建视频帧序列。


2.根据权利要求1所述的基于深度学习的模糊视频超分辨率方法,其特征在于,步骤1)中,对运动模糊视频帧进行预处理包括:使用基于条件对抗网络的运动模糊网络去除低分辨率运动模糊视频帧的运动模糊;使用基于深度学习的光流估计方法获取去除了运动模糊的低分辨率运动模糊视频帧间的运动估计;根据运动模糊视频帧间的运动估计进行视频帧间的运动补偿。


3.根据权利要求1所述的基于深度学习的模糊视频超分辨率方法,其特征在于,步骤2)的具体实现过程包括:
a)对以某一运动模糊视频帧为中心的连续三帧运动补偿的图像,各使用一个卷积层提取低分辨率图像的初始特征;
b)利用一个卷积层融合步骤a)得到的所有初始特征;
c)利用1×1卷积处理融合后的初始特征,得到处理后的低分辨率特征图像;
d)将低分辨率特征图像输入到第一递归学习模块;所述第一递归学习模块包括上投影模块和下投影模块;
e)使用反卷积将输入的低分辨率视频帧Lt-1放大为然后用卷积将生成的高分辨率视频帧缩小,将缩小结果与Lt-1相减计算残差,最后将残差放大到与同一尺寸,加上放大的残差后得到该投影单元生成的高分辨率图像;
f)将所述高分辨率图像送入下投影模块,使用卷积将输入Ht缩小,然后用反卷积将缩小生成的放大,将结果与Ht相减计算残差,最后将残差缩小与同一尺寸,加上缩小的残差后得到该下投影单元生成的低分辨率图像;
g)执行一次与步骤e)、步骤f)相同的操作;
h)重复执行e)~g)4次;
i)重复执行步骤e)到h)n次,深度级...

【专利技术属性】
技术研发人员:郭海富郭克华任盛
申请(专利权)人:中南大学
类型:发明
国别省市:湖南;43

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1