基于时空特征融合和双向循环神经网络的视频去模糊方法技术

本发明专利技术公开了一种基于时空特征融合和双向循环神经网络的视频去模糊方法，包括以下步骤S1：对模糊视频分成基本序列单元；S2：建视频去模糊模型包括前向单元、反向单元和时空特征融合重建模块；S3：计算输入的模糊视频和其对应清晰视频图像L1损失，反向传播训练去模糊模型；S4：输入模糊的视频到训练好的去模糊模型中，输出并保存生成的重建清晰视频。本发明专利技术提供一种基于循环神经网路框架构，对视频帧之间的时间序列特征进行双向建模；时空特征融合重建模块捕获相邻帧和当前帧的时间依赖关系，融合有效信息对当前帧进行重建。通过该方法，可以提高模型对相邻帧信息的利用效率，增强对输入视频特征表达和重构能力，提高视频的清晰度。度。度。

【技术实现步骤摘要】
基于时空特征融合和双向循环神经网络的视频去模糊方法


[0001]本专利技术涉及计算机视觉领域，更具体来说涉及一种基于时空特征融合和双向循环神经网络的视频去模糊方法。

技术介绍

[0002]随着高速运动拍摄的普及，快门速度过慢、运动模糊、手持相机晃动等因素导致的视频图像模糊问题日益普遍，直接影响了用户的视觉体验。同时，随着计算机视觉技术的不断发展，对清晰图像的需求也越来越高。为了提高视觉质量并满足用户需求，视频去模糊已成为一项重要的视觉任务，旨在从低质量的模糊视频序列中重建出清晰的图像序列。
[0003]随着深度学习技术的不断发展，基于深度学习的视频去模糊方法不断涌现。与传统方法相比，基于深度学习的方法的处理效果和速度都有极大的提升。这些方法主要利用深度神经网络从图像数据中学习模糊图像与清晰图像之间的映射关系，从而实现去模糊效果。其中，以循环神经网络作为解决视频去模糊问题的主要框架，因为循环神经网络能够捕捉时间序列的依赖关系，对视频帧之间的时间序列特征进行建模。同时，通过反向传播对多层网络进行训练，可以提高模型的鲁棒性和准确性。使用循环神本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于时空特征融合和双向循环神经网络的视频去模糊方法，其特征在于，具体包括以下步骤：步骤S1，数据预处理：将输入的模糊视频划分为以当前帧和其前后四帧图像为基本单元的序列，并以此作为输入到基于时空特征融合和双向循环神经网络的视频去模糊模型中；步骤S2，构建视频去模糊模型：包括前向单元、反向单元和时空特征融合重建模块；所述前向单元和后向单元分别将当前帧的特征信息在时间上向后和向前传播；所述时空特征融合重建模块分别利用前后帧的特征与当前帧进行有效的时间特征融合并重建；步骤S3，训练视频去模糊模型：基于输入的模糊视频和其对应的清晰视频图像计算L1损失进行反向传播，以更新模型参数；步骤S4，重建清晰视频：输入模糊的视频到训练好的去模糊模型中，输出并保存生成的清晰视频。2.根据权利要求1所述的基于时空特征融合和双向循环神经网络的视频去模糊方法，所述步骤S2中，具体包括以下步骤：将所述输入基本单元序列输入至前向单元中提取图像特征，得到不同时刻前向潜在特征；将所述前向潜在特征输入至后向单元中继续提取模糊特征，得到不同时刻后向潜在特征；将所述不同时刻的后向潜在特征输入值时空特征融合重建模块，进行当前帧重建，重复此过程得到清晰的视频序列。3.根据权利要求1所述的基于时空特征融合和双向循环神经网络的视频去模糊方法，其特征在于，所述步骤S2中，前向单元和后向单元由基于密集注意力块（DAB）的RNN单元组成，具体包括：在所述前向单元中，首先从输入的模糊帧中提取特征，然后与上一前向单元输出的隐藏状态拼接，再由级联的多个DAB提取模糊特征，输出的隐藏状态传播到后一前向单元，输出的前向潜在特征输入到后向单元；在所述后...

【专利技术属性】
技术研发人员：赵唯肖，董明刚，王彦，武天昊，
申请(专利权)人：桂林理工大学，
类型：发明
国别省市：