一种基于事件相机的图像去模糊方法技术

本发明专利技术公开了一种基于事件相机的图像去模糊方法，首先对事件信息进行处理，获取事件特征图；然后通过SFT模块对现有去模糊网络进行改进，将事件特征图融入去模糊网络；最后训练改进后的去模糊网络。本发明专利技术提出了使用事件信息的新方法，并提出制作事件特征图用于去模糊网络中，能够提升运动去模糊的效果。本发明专利技术通过SFT模块，将特征融入网络的这一方法，能够让网络学习到特征图的信息，以提高网络对模糊图的去模糊能力。本发明专利技术适用在任一去模糊网络中，加入事件特征图后并能比之前效果有提升。加入事件特征图后并能比之前效果有提升。加入事件特征图后并能比之前效果有提升。

【技术实现步骤摘要】
一种基于事件相机的图像去模糊方法


[0001]本专利技术属于计算机视觉中的深度学习、去模糊领域，具体涉及一种充分利用事件相机以及深度学习的图像去模糊技术，可以进一步的提高图像去模糊的效果。

技术介绍

[0002]随着图像传输和处理技术的飞速发展，基于图像的分类、目标检测和语义分割等应用变得越来越普遍和重要。但是，这些应用的有效性都受到图像质量的影响。由相机和物体运动引起的模糊是严重降低图像质量的常见因素。
[0003]传统的去模糊方法通常将模糊图像建模为潜在清晰图像与模糊核的卷积。他们需要估计潜在的清晰图像和模糊内核。为了限制解空间并获得合理的结果，他们要么引入清晰图像的启发式先验，要么假设模糊核的局部线性。但是，由于它们使用非凸优化，这些方法会花费大量计算时间。此外，由于模糊图像不严格符合图像先验或核假设，这些方法会导致严重的伪影甚至无法进行图像去模糊。
[0004]由于运动模糊只有模糊图是已知的，以及强度纹理的擦除导致运动去模糊是一个非适定问题。事件相机记录图像强度变化，相比较于标准相机有以下几个优势。
[0005]低延迟、高时间分辨率。事件相机对记录变化信息有超低延迟，在微妙量级，可以做到更快的控制闭环，获取到更多的信息。
[0006]高动态范围。由于事件相机像素是对数响应，可以达到非常高的场景内动态范围120dB左右，而普通相机通常只能达到60dB，因此在昏暗或者明亮的场景下更有效。
[0007]借助于事件相机的低延迟性以及高动态范围特性，可以捕捉到运行和纹理信息，而这些信息可以使用深度学习端到端的方式让网络学习到模糊图像潜在的特性信息，可以有效去解决运行去模糊的问题。

技术实现思路

[0008]针对现有技术中存在的不足，本专利技术提供一种基于事件相机的图像去模糊方法。为此，本专利技术的目的在于提高图像的清晰程度，输入为单张模糊图像，以及相对应时间内的事件信息，输出为清晰图。专利技术中的方法使用的模糊数据集为GoPro数据集，使用多张高帧连续清晰图合成得到的模糊图，事件相机的数据通过合成技术得到。使用深度学习端到端的训练，即可完成图像去模糊的任务。
[0009]一种基于事件相机的图像去模糊方法，步骤如下：
[0010]步骤(1)、对事件信息进行处理，获取事件特征图；
[0011]对事件信息的极性进行均匀采样，对T毫秒内的极性进行累加求和，并对求和得到的极性值通过分段函数赋不同的像素值作为特征值，最终得到二维图像的形式，作为事件特征图。事件特征图表述的是每个像素点在固定时间段内的强度累计变化，对应着运动模糊中的模糊轨迹信息。
[0012]步骤(2)、通过SFT模块对现有去模糊网络进行改进，将事件特征图融入去模糊网
络；
[0013]选取现有去模糊网络，在去模糊网络的结构基础上引入空间特征变换(SFT)模块将事件特征的信息从事件特征图融入到去模糊网络的特征中。SFT模块中事件特征图首先经过四个卷积层提取特征，然后通过一个映射函数，将原有去模糊网络中的特征图与经过卷积层的事件特征图进行调制。在输入模糊图经过去模糊网络的卷积层提取到特征后加入SFT模块，融入事件特征图，以此让网络学习到更多模糊图像潜在的信息，来进一步的提高去模糊效果。
[0014]步骤(3)、训练改进后的去模糊网络；
[0015]使用公开去模糊数据集GoPro合成事件相机的事件数据。根据步骤(1)得到事件特征图，以及GoPro数据集的模糊图作为输入送入改进后的去模糊网络，并用GoPro的清晰图进行监督，以此来训练出一个收敛的网络模型。
[0016]所述的现有去模糊网络采用DeblurGAN、MIMO
‑
Net或MPR
‑
Net。
[0017]本专利技术有益效果如下：
[0018](1)本专利技术提出了使用事件信息的新方法，并提出制作事件特征图用于去模糊网络中，能够提升运动去模糊的效果。
[0019](2)本专利技术提出SFT特征变换模块，将特征融入网络的这一方法，能够让网络学习到特征图的信息，以提高网络对模糊图的去模糊能力。
[0020](3)本专利技术适用在任一去模糊网络中，加入事件特征图后并能比之前效果有提升。当有新的或者效果较好的去模糊网络出现时，使用该方法能够再次提高效果。
附图说明
[0021]图1、事件信息采样得到事件特征图；
[0022]图2、将事件特征图送入SFT；
[0023]图3、DeblurGAN网络加入SFT模块结构示意图；
[0024]图4、MIMO
‑
Net网络加入SFT模块结构示意图。
具体实施方式
[0025]下面结合本专利的附图来对专利技术专利的具体实施进行详细描述。
[0026]一种基于事件相机的图像去模糊方法，，主要包含以下实施阶段：
[0027]步骤(1)、根据事件相机捕捉到的数据获取特征图：
[0028]事件相机获取到的极性公式如下：
[0029][0030]其中τ()是一个分段函数；
[0031][0032]其中p为xy点的极性，L
xy
(t
i
)为t
i
时刻xy处的强度信息，c为阈值，由此我们可知，
事件相机的属性只有+1、0、
‑
1，当t
i
时刻xy处的强度信息比t
i
‑1时刻的强度信息大时能够得到正极+1，反之为
‑
1。事件相机数据格式为(x,y,t,p)分别为像素点x轴y轴的坐标，时间以及极性。
[0033]将时间T毫秒内的极性进行累加得到P
xy
,即是在(x,y)点处t
i
到t
i
+T时间段内的极性累加结果。
[0034][0035]最后将得到的P
xy
通过分段函数得到(x,y)该点的特征值V(x,y)。
[0036][0037]由每个位置的特征值组成事件特征图。
[0038]图1为事件信息采样得到事件特征图的示意图；
[0039]步骤(2)、去模糊网络中加入SFT；
[0040]在该阶段，为了通过事件特征图提高现有去模糊网络的性能，我们需要将其有效地融合到去模糊网络中。我们通过引入空间特征变换(SFT)模块来实现这一点，旨在将事件特征的信息从事件特征图融入到去模糊网络的特征中。事件特征图首先经过四个卷积层提取特征，然后通过一个映射函数，将原有去模糊网络中的特征图与经过卷积层的事件特征图进行调制。因此，我们的方法可以方便地应用于现有的去模糊网络中。
[0041]在该阶段中，挑选一个现有效果较好的网络，例如DeblurGAN、MIMO
‑
Net或MPR
‑
Net。以MIMO
‑
Net为例，该网络结构为三层，每层都将输入模糊图进行下采样，在每层最后再进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件相机的图像去模糊方法，其特征在于，步骤如下：步骤(1)、对事件信息进行处理，获取事件特征图；步骤(2)、通过SFT模块对现有去模糊网络进行改进，将事件特征图融入去模糊网络；步骤(3)、训练改进后的去模糊网络。2.根据权利要求1所述的一种基于事件相机的图像去模糊方法，其特征在于，步骤(1)具体方法如下：对事件信息的极性进行均匀采样，对T毫秒内的极性进行累加求和，并对求和得到的极性值通过分段函数赋不同的像素值作为特征值，最终得到二维图像的形式，作为事件特征图；事件特征图表述的是每个像素点在固定时间段内的强度累计变化，对应着运动模糊中的模糊轨迹信息。3.根据权利要求2所述的一种基于事件相机的图像去模糊方法，其特征在于，步骤(2)具体方法如下：选取现有去模糊网络，在去模糊网络的结构基础上引入空间特征变换(SFT)模块将事件特征的信息从事件特征图融入到去模糊网络的特征中；SFT模块中事件特征图首先经过四个卷积层提取特征，然后通过一个映射函数，将原有去模糊网络中的特征图与经过卷积层的事件特征图进行调制；在输入模糊图经过去模糊网络的卷积层提取到特征后加入SFT模块，融入事件特征图，以此让网络学习到更多模糊图像潜在的信息，来进一步的提高去模糊效果。4.根据权利要求3所述的一种基于事件相机的图像去模糊方法，其特征在于，步骤(3)具体方法如下：使用公开去模糊数据集GoPro合成事件相机的事件数据；根据步骤(1)得到事件特征图，以及GoPro数据集的模糊图作为输...

【专利技术属性】
技术研发人员：颜成钢，张文豪，陈雨中，陈如枫，高宇涵，孙垚棋，王鸿奎，陈楚翘，胡冀，朱尊杰，殷海兵，张继勇，李宗鹏，赵治栋，
申请(专利权)人：杭电丽水研究院有限公司，
类型：发明
国别省市：