一种基于事件数据驱动的视频去模糊方法技术

本发明专利技术公开了一种基于事件数据驱动的视频去模糊方法，其步骤包括：1获取视频数据和对应的事件序列，并对事件序列进行分割；2构建编码网络对图像数据进行特征提取；3通过时间记忆模块计算相邻事件序列的关联性，提取时间特征；4通过空间融合模块将事件特征和图像特征进行空间尺度的融合；5构建解码网络生成去模糊之后的视频帧。本发明专利技术能够充分利用事件数据提供的时空先验信息，用于驱动视频去模糊，从而有效提升去模糊效果。而有效提升去模糊效果。而有效提升去模糊效果。

【技术实现步骤摘要】
一种基于事件数据驱动的视频去模糊方法


[0001]本专利技术涉及视频去模糊领域，具体说的是一种基于事件数据驱动的视频去模糊方法。

技术介绍

[0002]视频作为计算机视觉通信中的一个重要数据源，由于物体的运动而不可避免地存在模糊，从而影响主观感受质量以及更深层次的应用。由于在模糊过程中运动信息的显著损失，从运动模糊图像中恢复清晰的视频序列并不可行。最近，一种称为事件摄影机的新传感器被推荐用于记录和捕捉微秒级的场景强度变化，对事件摄像机来说，快速运动可以作为高时间速率的事件被捕获，从而为探索视频去模糊的解决方案提供了新的机会。传统相机的拍摄过程需要一个曝光时间，这个帧率极大地限制了事件捕获的延迟，如果物体存在高速运动，就会产生模糊；并且过曝现象也很常见，在光线极差或者亮度极高时，相机获取的信息有限，丢失了应有的细节。
[0003]由于卷积神经网络(CNNs)的成功，基于事件驱动的去模糊技术已被广泛开发并取得了相对较好的性能。然而，这些方法仍有一些局限性。一方面，现有的视频去模糊网络直接利用事件作为额外先验，而不考虑不同事件之间的相关性。这些网络通过将强度变化压缩为一个时间步长来实现一个独立的特征映射，因此时间信息将丢失，并且无法充分利用事件的高时间分辨率。另一方面，大部分网络只是将模糊帧和事件的特征图连接起来作为卷积神经网络的输入，忽略了丰富的亮度变化信息以及事件和视频帧之间的空间一致性。此外，现有的视频去模糊网络通常基于视频中连续模糊帧的假设，并设计基于卷积神经网络和基于循环神经网络的架构，其中编码器
>‑
解码器体系结构是作为基本主干的最流行的选择。然而，一个常见的事实是，模糊并不是连续出现在视频中，即模糊中的某些帧视频非常清晰。这些锐利的帧实际上可以被用来帮助恢复模糊的帧，但在现有的视频去模糊方法中，它们被难以区分地处理，也会导致锐利的纹理丢失。事件驱动的恢复优化方法在很大程度上依赖于事件的使用，其中设计了各种架构。在这些方法中，用于利用事件的模块不容易与现有的图像和视频去模糊方法合作，从而限制了视频去模糊和事件驱动去模糊的原则框架的发展，这些问题限制了基于事件的视频去模糊原理研究的进一步发展。

技术实现思路

[0004]本专利技术为了克服现有方法的不足之处，提供一种基于事件数据驱动的视频去模糊方法，以期能在不同情景的视频去模糊任务中达到更好的去模糊性能，从而有效提升去模糊效果。
[0005]本专利技术为解决上述技术问题，采用如下技术方案：
[0006]本专利技术为一种基于事件数据驱动的视频去模糊方法的特点是按如下步骤进行：
[0007]步骤1获取训练视频数据和对应的事件序列，并对事件序列进行分割：
[0008]步骤1.1获取训练视频数据集：
[0009]获取真实的模糊视频图像集，记为X＝{x1,x2,
…
,x
i
,
…
,x
N
}，其中，x
i
表示第i张模糊图像，i＝1,2,
…
,N，N为模糊图像的帧数量；
[0010]获取真实的清晰视频图像集，记为Y＝{y1,y2,
…
,y
i
,
…
,y
N
}，其中，y
i
表示第i张清晰图像，i＝1,2,...,N，N为正常图像的总数；
[0011]令I＝{X,Y}表示训练图像数据集；
[0012]步骤1.2对事件序列进行分割：
[0013]获取真实的模糊图像集X的真实事件序列；
[0014]将真实的模糊视频图像集X输入事件仿真器中并生成合成的事件序列；
[0015]根据真实的模糊视频图像集X中所包含的帧数量N，将真实事件序列和合成的事件序列分别划分成相同数量N的分段序列，记为E＝{e1,...,e
i
,...,e
N
},e
i
表示第i张模糊图像x
i
所对应的真实和合成的事件序列，i＝1,2,...,N，N为事件序列的总数；
[0016]步骤2构建视频去模糊神经网络，包括：编码网络、时间记忆模块、空间融合模块、解码网络；
[0017]步骤2.1、所述编码网络由M个残差模块和M个下采样层交替排列组成，其中，残差模块具有m个卷积层及其对应的跳线连接，卷积核大小为均为ks，步长均为s，各卷积层之间依次连接有LeakRelu层和批归一化层；
[0018]所述第i张模糊图像x
i
经过所述编码网络的处理后，生成M个不同尺度的图像特征其中，u
im
表示第i张模糊图像x
i
在第m个尺度的图像特征；
[0019]步骤2.2、所述时间记忆模块包括一个公用的卷积层、两个专用的卷积层、记忆单元；
[0020]第i
‑
1个事件序列e
i
‑1和第i+1个事件序列e
i+1
输入公用的卷积层中进行处理，得到两者的公共特征，再分别经过两个专用的卷积层的处理，相应得到第i
‑
1个事件序列e
i
‑1的键和值以及第i+1个事件序列e
i+1
的键和值；
[0021]所述记忆单元将第i
‑
1个事件序列e
i
‑1的键和值以及第i+1个事件序列e
i+1
的键和值进行拼接后，再分别输入两个卷积核为1
×
1的卷积层中，输出两个卷积结果后再通过乘积运算得到第i个事件序列e
i
与相邻事件序列e
i
‑1和e
i+1
的关联特征图；最后将所述关联特征图与第i个事件序列e
i
相加后，得到第i个事件特征图C
i
；
[0022]步骤2.3、所述空间融合模块包括M+1个下采样层、M个上采样层、一个卷积核为1
×
1的卷积层和融合单元；
[0023]所述M个不同尺度的图像特征输入所述空间融合模块中，并分别通过M个下采样层的处理，从而将M个不同尺度的图像特征调整为相同比例的图像特征，再经过一个卷积核为1
×
1的卷积层后获得第i个特征图F
i
；
[0024]所述第i个事件特征图C
i
通过第M+1个下采样层的处理后，得到下采样后的第i个事件特征图C
i
′
；
[0025]所述融合单元利用式(1)对所述下采样后的第i个事件特征图C
i
′
和第i个特征图F
i
进行处理，从而得到第i个融合特征图Feat
i
中第p个像素点的特征进而得到第i个融合特征图Feat
i
：
[0026][0027]式(1)中，p、q是位置索引，表示第i个事件特征图C<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件数据驱动的视频去模糊方法，其特征是按如下步骤进行：步骤1获取训练视频数据和对应的事件序列，并对事件序列进行分割：步骤1.1获取训练视频数据集：获取真实的模糊视频图像集，记为X＝{x1,x2,
…
,x
i
,
…
,x
N
}，其中，x
i
表示第i张模糊图像，i＝1,2,
…
,N，N为模糊图像的帧数量；获取真实的清晰视频图像集，记为Y＝{y1,y2,
…
,y
i
,
…
,y
N
}，其中，y
i
表示第i张清晰图像，i＝1,2,...,N，N为正常图像的总数；令I＝{X,Y}表示训练图像数据集；步骤1.2对事件序列进行分割：获取真实的模糊图像集X的真实事件序列；将真实的模糊视频图像集X输入事件仿真器中并生成合成的事件序列；根据真实的模糊视频图像集X中所包含的帧数量N，将真实事件序列和合成的事件序列分别划分成相同数量N的分段序列，记为E＝{e1,...,e
i
,...,e
N
},e
i
表示第i张模糊图像x
i
所对应的真实和合成的事件序列，i＝1,2,...,N，N为事件序列的总数；步骤2构建视频去模糊神经网络，包括：编码网络、时间记忆模块、空间融合模块、解码网络；步骤2.1、所述编码网络由M个残差模块和M个下采样层交替排列组成，其中，残差模块具有m个卷积层及其对应的跳线连接，卷积核大小为均为ks，步长均为s，各卷积层之间依次连接有LeakRelu层和批归一化层；所述第i张模糊图像x
i
经过所述编码网络的处理后，生成M个不同尺度的图像特征其中，u
im
表示第i张模糊图像x
i
在第m个尺度的图像特征；步骤2.2、所述时间记忆模块包括一个公用的卷积层、两个专用的卷积层、记忆单元；第i
‑
1个事件序列e
i
‑1和第i+1个事件序列e
i+1
输入公用的卷积层中进行处理，得到两者的公共特征，再分别经过两个专用的卷积层的处理，相应得到第i
‑
1个事件序列e
i
‑1的键和值以及第i+1个事件序列e
i+1
的键和值；所述记忆单元将第i
‑
1个事件序列e
i
‑1的键和值以及第i+1个事件序列e
i+1
的键和值进行拼接后，再分别输入两个卷积核为1
×
1的卷积层中，输出两个卷积结果后再通过乘积运算得到第i个事件序列e
i
与相邻事件序列e
i
...

【专利技术属性】
技术研发人员：查正军，傅雪阳，曹成志，时格格，黄宇坤，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：