The invention discloses a fuzzy video super-resolution method based on depth learning. On the basis of single frame depth back projection super-resolution model, a multi frame fuzzy video super-resolution model is designed, which improves the quality of fuzzy video super-resolution reconstruction and supports high multiple (\u00d7 8) reconstruction. Aiming at the problem of unclear details such as video edge contour and low video quality after super-resolution reconstruction of motion blurred video, the present invention constructs the super-resolution model of fuzzy video by introducing recursive learning and multi frame fusion strategy on the deep back projection super-resolution model. By learning the nonlinear mapping from fuzzy low-resolution video frame to clear high-resolution video frame, the model can reconstruct the super-resolution video with clear edge contour, improve the quality of super-resolution reconstruction of motion fuzzy video, and make people better access to video information, such as super-resolution reconstruction medical video to help doctors clearly observe the focus of patients and improve The possibility of diagnosis and cure.
【技术实现步骤摘要】
基于深度学习的模糊视频超分辨率方法及系统
本专利技术涉及视频超分辨率处理领域,特别是一种基于深度学习的模糊视频超分辨率方法及系统。
技术介绍
随着高分辨率硬件设备的迅速发展,视频分辨率的标准越来越高。但是,由于成像环境、设备工艺、存储限制、网络传输、电路集成度、功耗等因素,当前多数视频的分辨率未达到高分辨率设备的播放要求。因此,研究基于低分辨率视频重建相应高分辨视频的超分辨率算法成为亟待解决的问题。视频超分辨率技术是指通过单幅或多幅相同场景下的低分辨率视频帧重建对应高分辨率视频帧的过程。多帧超分辨率技术需要利用相邻帧之间的冗余信息来恢复当前视频帧,通常比单帧的超分辨拥有更多的图像细节。视频超分辨率算法通过低分辨率视频重建高分辨率视频,实现了视频分辨率的提升;但在重建视频分辨率时需要考虑许多因素的影响,例如通常我们所获得的低分辨率视频由于成像环境、传感器、网络传输等原因容易受到运动模糊、噪音、光学失真、空气干扰等污染。如果直接在模糊的视频基础上重建超分辨率视频,得到的高分辨率视频质量较低,视频细节信息特征过于平滑,难以从重建视频中获取有效信息。在视频超分辨率的研究基础上结合去噪算法,提出模糊视频的超分辨率方法,实现在视频超分辨率重建的同时去掉视频的部分噪音,能够有效提高视频质量,增强视频细节信息特征,便于从视频中获取有效信息。从而提升了模糊视频超分辨率重建的质量,使得人们能够更好的获取视频信息,例如帮助医生确诊断病情,从而提高疾病确诊和治愈的可能性。单图像超分辨率方法忽略了帧间关系,无法利用同一视频场景相邻帧的 ...
【技术保护点】
1.一种基于深度学习的模糊视频超分辨率方法,其特征在于,包括以下步骤:/n1)对运动模糊视频帧进行预处理,得到运动补偿后的去模糊视频帧序列;/n2)以运动补偿后的去模糊视频帧序列为输入,构建深度反投影视频超分辨率模型;/n3)使用DIV2K数据集通过Ptorch训练出针对不同尺寸的超分辨率模型,将训练好的超分辨率模型参数提供给深度反投影视频超分辨率模型使用;/n4)对新输入的运动模糊视频帧,经步骤1)预处理后通过步骤3)的深度反投影视频超分辨率模型重建视频帧序列。/n
【技术特征摘要】
1.一种基于深度学习的模糊视频超分辨率方法,其特征在于,包括以下步骤:
1)对运动模糊视频帧进行预处理,得到运动补偿后的去模糊视频帧序列;
2)以运动补偿后的去模糊视频帧序列为输入,构建深度反投影视频超分辨率模型;
3)使用DIV2K数据集通过Ptorch训练出针对不同尺寸的超分辨率模型,将训练好的超分辨率模型参数提供给深度反投影视频超分辨率模型使用;
4)对新输入的运动模糊视频帧,经步骤1)预处理后通过步骤3)的深度反投影视频超分辨率模型重建视频帧序列。
2.根据权利要求1所述的基于深度学习的模糊视频超分辨率方法,其特征在于,步骤1)中,对运动模糊视频帧进行预处理包括:使用基于条件对抗网络的运动模糊网络去除低分辨率运动模糊视频帧的运动模糊;使用基于深度学习的光流估计方法获取去除了运动模糊的低分辨率运动模糊视频帧间的运动估计;根据运动模糊视频帧间的运动估计进行视频帧间的运动补偿。
3.根据权利要求1所述的基于深度学习的模糊视频超分辨率方法,其特征在于,步骤2)的具体实现过程包括:
a)对以某一运动模糊视频帧为中心的连续三帧运动补偿的图像,各使用一个卷积层提取低分辨率图像的初始特征;
b)利用一个卷积层融合步骤a)得到的所有初始特征;
c)利用1×1卷积处理融合后的初始特征,得到处理后的低分辨率特征图像;
d)将低分辨率特征图像输入到第一递归学习模块;所述第一递归学习模块包括上投影模块和下投影模块;
e)使用反卷积将输入的低分辨率视频帧Lt-1放大为然后用卷积将生成的高分辨率视频帧缩小,将缩小结果与Lt-1相减计算残差,最后将残差放大到与同一尺寸,加上放大的残差后得到该投影单元生成的高分辨率图像;
f)将所述高分辨率图像送入下投影模块,使用卷积将输入Ht缩小,然后用反卷积将缩小生成的放大,将结果与Ht相减计算残差,最后将残差缩小与同一尺寸,加上缩小的残差后得到该下投影单元生成的低分辨率图像;
g)执行一次与步骤e)、步骤f)相同的操作;
h)重复执行e)~g)4次;
i)重复执行步骤e)到h)n次,深度级...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。