一种基于时空频率感知的深度图像去模糊方法技术

本发明专利技术涉及图像去模糊技术领域，公开了一种基于时空频率感知的深度图像去模糊方法，将频率

【技术实现步骤摘要】
一种基于时空频率感知的深度图像去模糊方法


[0001]本专利技术涉及图像去模糊
，具体涉及一种基于时空频率感知的深度图像去模糊方法。

技术介绍

[0002]视频去模糊作为一项基础的视觉任务，旨在通过利用内在的时间信息从模糊序列中恢复清晰帧。因此，许多研究都致力于探索模糊序列中隐藏的时间信息的潜力，这些研究可以分为两大类：传统优化方法和基于深度学习的方法。
[0003]传统优化方法通常强调对模糊退化过程的假设，并应用一些手工设计的时间先验来缓解视频去模糊，例如，时间清晰度先验、运动模糊先验和时间连贯性先验。然而，这些先验很难设计，相应的方法也很难优化，从而限制了它们的实用性。
[0004]近年来，基于深度学习的视频去模糊方法在解决上述挑战方面的取得了很多进展。它们大多遵循通用的流程：特征提取、对齐、融合和优化。比如，先驱性的EDVR通过重新设计的可变形卷积来隐式地进行对齐，还有些工作采用了渐进式的细化方案来执行更精确的时间建模的运动补偿。但上述策略只从空间域的角度研究了时间信息，并没有充分探索其潜力。
[0005]本专利技术提供一种新的解决方案，以有效地建模时间先验信息，并最终实现图像去模糊。

技术实现思路

[0006]为解决上述技术问题，本专利技术首先分别在空间域和频域重新审视模糊
‑
锐利对之间的差异，然后沿着时间维度展开模糊
‑
清晰图像对在频谱上的能量信息；通过对这些先验信息的有效探索，本专利技术设计了一种基于时空频率感知的深度图像去模糊方法。
[0007]为解决上述技术问题，本专利技术采用如下技术方案：
[0008]一种基于时空频率感知的深度图像去模糊方法，将频率
‑
时间信息整合到视频去模糊框架，将(2N+1)个连续的模糊帧B
t+i
,i＝0,
±
1,
±
2,
…
,
±
N输入到完成训练的视频去模糊框架中，在清晰图像S
t
的指导下，得到复原图像I
t
；t表示当前时刻；
[0009]视频去模糊框架的主要元素包括空间
‑
频率特征提取模块、谱先验引导的对齐模块、时序能量注意力模块；
[0010]模糊帧B
t+i
通过若干层卷积层后得到初始特征为
[0011]空间
‑
频率特征提取模块包括空间分支和频率分支，空间
‑
频率特征提取模块的输入为初始特征输出的特征为空间分支采用了若干卷积来捕获空间内容和细节；频率分支负责模糊退化建模，并通过离散傅里叶变换将输入特征分成幅度谱和相位谱；空间分支和频率分支融合后得到输出的特征
[0012]将特征输入谱先验引导的对齐模块，输出对齐特性谱先验引导的对齐模块首先采用傅里叶变换来获取空间特性的频谱，由于频谱上包含了运动方向的信息，因此在提取到的频谱特征的引导下，输入特征被更好地实现对齐；对齐部分采用一个可形变卷积以及图像金字塔策略来从第t+i帧的特性中隐式地学习到第t帧的特性的变形函数；
[0013]时序能量注意力模块，将对齐特性输入到时序能量注意力模块，时序能量注意力模块将相邻帧中的较清晰的区域并聚合到复原图像中，并在空间和频率信息的指导下，多帧信息被融合并输出融合特征
[0014]融合特征经过空间
‑
频率特征提取模块以及若干个卷积层得到最终的复原图像I
t
；
[0015]通过使用空间损失和频率损失来衡量恢复图像I
t
和清晰图像S
t
之间的差异，来训练视频去模糊框架；其中，空间损失L
spa
为在空间域中采用的Charbonnier惩罚函数；频率损失由来自地面真实幅度的监督L
spec
和来自能量光谱的监督L
ener
所组成。
[0016]进一步地，空间
‑
频率特征提取模块得到输出特征的过程，具体包括：
[0017]空间分支采用了若干卷积来捕获空间内容和细节；
[0018]频率分支负责模糊退化建模，并通过离散傅里叶变换将输入特征分成幅度谱和相位谱；
[0019]对幅度谱和相位谱进行卷积处理，并通过离散傅里叶逆变换将卷积处理结果反转到空间域：
[0020][0021]其中，表示从频谱的角度提取到的频谱特征，Amp(
·
)和Pha(
·
)分别表示幅度谱和相位谱，而F
‑1代表离散傅里叶逆变换；
[0022]结合空间分支和频率分支，且为了保证网络收敛性，采用了残差连接，即加上了初始特征，得到特征
[0023][0024]其中c1、c2和c3代表不同的卷积层。
[0025]进一步地，谱先验引导的对齐模块根据特征并采用了图像金字塔策略实现多级对齐，生成第t+i时刻的对齐特性具体包括：
[0026]对做傅里叶变换来获取光谱特性；
[0027]采用可变形卷积从第t+i帧的特性中隐式地学习到第t帧的特性的变形函数，以对齐相邻帧，对于可变形卷积，每个位置的学习偏移通常由每2M个通道获得，其中M表示卷积核的大小；第t+i帧的特性指的是第t+i帧的内容；第t+i帧的特性指的是第t+i帧的内容；
[0028]对光谱特性执行全局平均池化，以利用全局运动信息调整每个位置的偏移：给定
提取的特性和对应的光谱特性第t+i时刻的偏移Δx
t+i
为：
[0029][0030]其中c4(
·
)和g(
·
)分别表示由若干个标准卷积组成的函数和全局平均池化函数。
[0031]进一步地，将对齐特性输入到时序能量注意力模块，输出的过程，具体包括：
[0032]对于频率域，取多帧的能量光谱作为分类器来判断这些帧的重要性，频率注意图按照softmax函数计算为：
[0033][0034]其中，表示注意力模块计算出的权重，f(
·
)表示由傅里叶变换、卷积层和Lrelu激活函数按顺序组成的一个新的函数，|
·
|表示L2范数，表示第(t+i)时刻对齐后的特性。
[0035]执行空间注意力机制，与时序能量注意力模块并联在一起；
[0036]在空间和频率信息的指导下，多帧信息融合并输出，得到
[0037]进一步地，训练视频去模糊框架时，所述空间损失L
spa
为：
[0038][0039]其中，ε为常数，通常设置为0.001；
[0040]L
spec
和L
ener
分别为：
[0041][0042]L
ener
＝Norm[F(I
i
)
‑
Norm[F(S
i
)；
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空频率感知的深度图像去模糊方法，将频率
‑
时间信息整合到视频去模糊框架，将(2N+1)个连续的模糊帧B
t+i
,i＝0,
±
1,
±
2,
…
,
±
N输入到完成训练的视频去模糊框架中，在清晰图像S
t
的指导下，得到复原图像I
t
；t表示当前时刻；视频去模糊框架包括空间
‑
频率特征提取模块、谱先验引导的对齐模块、时序能量注意力模块；模糊帧B
t+i
通过若干层卷积层后得到初始特征空间
‑
频率特征提取模块包括空间分支和频率分支，空间
‑
频率特征提取模块的输入为初始特征输出的特征为空间分支采用了若干卷积来捕获空间内容和细节；频率分支负责模糊退化建模，并通过离散傅里叶变换将输入特征分成幅度谱和相位谱；空间分支和频率分支融合后得到输出的特征将特征输入谱先验引导的对齐模块，输出对齐特性谱先验引导的对齐模块首先采用傅里叶变换来获取空间特性的频谱，由于频谱上包含了运动方向的信息，因此在提取到的频谱特征的引导下，特征能够被用于实现对齐；对齐部分采用一个可形变卷积以及图像金字塔策略来从第t+i帧的特性中隐式地学习到第t帧的特性的变形函数；时序能量注意力模块，将对齐特性输入到时序能量注意力模块，时序能量注意力模块将相邻帧中的较清晰的区域并聚合到复原图像中，并在空间和频率信息的指导下，多帧信息被融合并输出融合特征融合特征经过空间
‑
频率特征提取模块以及若干个卷积层得到最终的复原图像I
t
；通过使用空间损失和频率损失来衡量恢复图像I
t
和清晰图像S
t
之间的差异，来训练视频去模糊框架；其中，空间损失L
spa
为在空间域中采用的Charbonnier惩罚函数；频率损失由来自地面真实幅度的监督L
spec
和来自能量光谱的监督L
ener
所组成。2.根据权利要求1所述的基于时空频率感知的深度图像去模糊方法，其特征在于，空间
‑
频率特征提取模块得到输出特征的过程，具体包括：空间分支采用了若干卷积来捕获空间内容和细节；频率分支负责模糊退化建模，并通过离散傅里叶变换将输入特征分成幅度谱和相位谱；对幅度谱和相位谱进行卷积处理，并通过离散傅里叶逆变换将卷积处理结果反转到空间域：其中，表示从频谱的角度提取到的频谱特征，A...

【专利技术属性】
技术研发人员：赵峰，朱齐，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：