一种基于事件相机的自监督视频去模糊和图像插帧方法技术

本发明专利技术提供一种基于事件相机的自监督视频去模糊和图像插帧方法，包括模糊视频与事件流数据集的构建、事件流预处理、构建可学习的二重积分网络与融合网络处理模糊视频与事件流、自监督框架进行网络训练并重建高帧率清晰视频。事件流的预处理方法通过联合事件生成模型与模糊图像生成模型建立，保障了本发明专利技术能够选择模糊视频曝光时间内外的任意目标时刻进行潜在清晰图像重建。预处理后的事件流和模糊图像将输入可学习的二重积分网络与融合网络进行运动模糊去除和图像插帧。最后利用模糊视频、清晰视频和事件流之间的相互关系，构建自监督框架对网络模型进行训练，并用训练后的模型处理模糊视频与事件流，重建出高帧率的清晰视频。本发明专利技术解决了运动模糊以及帧间信息丢失的问题，具有较好的去模糊和图像插帧效果。具有较好的去模糊和图像插帧效果。具有较好的去模糊和图像插帧效果。

【技术实现步骤摘要】
一种基于事件相机的自监督视频去模糊和图像插帧方法


[0001]本专利技术属于图像处理领域，特别涉及用事件相机实现自监督视频去模糊和图像插帧。

技术介绍

[0002]在高动态的场景下(如快速运动的相机或者非线性运动的目标)，视频的拍摄往往会面临运动模糊以及丢失帧间信息的问题，从而降低整体的视频质量。而运动模糊去除(Motion deblurring)和图像插帧(Frame interpolation)作为底层视觉图像处理领域的重要分支，能够从模糊、低帧率的视频中重建出清晰、高帧率的视频，在提供清晰流畅视频观感的同时还便利于后续如目标检测、跟踪、三维重建等算法处理，具有极高的应用价值。
[0003]但由于运动方向的模糊性以及模糊图像对目标边缘信息的擦除，当前基于帧图像的运动模糊去除算法难以准确地重建潜在清晰图像。此外，当前的基于帧图像的插帧方法通常假设相邻帧之间的运动是线性的，但该线性假设在现实场景难以保证，尤其是在遇到复杂的非线性运动时，因此也常导致错误的图像插帧结果。
[0004]而基于生物视觉感知机制的事件相机成为了解决以上难本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件相机的自监督视频去模糊和图像插帧方法，其特征在于，包含以下步骤：步骤1，模糊视频与事件流数据集的构建；使用单个事件相机或者结合事件相机与普通光学相机拍摄模糊视频，并完成事件流与图像帧的时空匹配，以相邻两张模糊图像帧以及其对应的事件流以及待重建的目标时刻作为一组输入数据；步骤2，事件流预处理；对于每一组输入数据，根据待重建的目标时刻切分事件流并预处理为网络输入格式；步骤3，构建网络模型，所述网络模型包括可学习的二重积分网络与融合网络，利用构建的网络模型处理模糊视频与事件流，实现运动模糊去除和图像插帧；步骤4，利用模糊视频、清晰视频和事件流之间的相互关系，构建自监督框架对网络模型进行训练；步骤5，利用训练好的网络模型处理模糊视频与事件流，重建高帧率清晰视频。2.根据权利要求1所述的一种基于事件相机的自监督视频去模糊和图像插帧方法，其特征在于：步骤1所述的一组输入数据为：其中，B
i
和B
i+1
为视频的第i和第i+l张模糊图像，记其对应曝光时间为为视频的第i和第i+l张模糊图像，记其对应曝光时间为为从B
i
曝光时间开始到B
i+1
曝光时间结束的时间段内采集的事件流数据，其中，将B
i
曝光时间开始到B
i+1
曝光时间结束的时间段记为曝光时间结束的时间段记为为其产生时刻的时间戳，p(t)∈{+1，
‑
1}为其极性，x(t)∈[1，W]与y(t)∈[1，H]表示其生成位置为相机成像平面的第x列和第y行；f为待重建的目标时刻，该目标时刻为从B
i
曝光时间开始到B
i+1
曝光时间结束的时间段内的任意时刻。3.根据权利要求2所述的一种基于事件相机的自监督视频去模糊和图像插帧方法，其特征在于：步骤2所述的事件流预处理函数为：其中f为待重建的目标时刻；t
r
为参考目标时刻；为在时间段[f，t
r
]内触发的事件流数据；为包含时间位移的事件流处理算子，其中e(t)＝p(t)
·
δ(t
‑
τ)为事件数据的连续表示，δ(
·
)为狄拉克函数；为包含时间位移，翻转，以及极性反转的事件流处理算子；假设输入模糊图像Bi的曝光开始与结束时间为t1、t2，B
i+1
的曝光开始与结束时间为t3、t4，那么对输入事件流预处理后可得到4段事件数据预处理后可得到4段事件数据作为后续网络输入。4.根据权利要求3所述的一种基于事件相机的自监督视频去模糊和图像插帧方法，其特征在于：步骤3所述的可学习二重积分网络LDI包括卷积层和ReLU激活函数，融合网络Fusion包...

【专利技术属性】
技术研发人员：余磊，张翔，
申请(专利权)人：武汉大学，
类型：发明
国别省市：