一种基于事件相机的图像去模糊方法及系统技术方案

本发明专利技术提供一种基于事件相机的图像去模糊方法及系统，属于图像处理技术领域，包括：基于模糊图像数据集的曝光时间段对事件流数据集进行预处理，得到预处理事件流数据集；采用多层感知机和可变形卷积构建尺度感知神经网络模型，将模糊图像数据集和预处理事件流数据集输入尺度感知神经网络模型，得到去模糊潜在目标图像；基于自监督框架对尺度感知神经网络模型进行图像去模糊泛化，将去模糊潜在目标图像输入泛化后的尺度感知神经网络模型，得到去模糊目标图像。本发明专利技术通过采用尺度感知网络允许输入事件与图像空间分辨率的灵活变化，并利用模糊程度的相对性构建自监督训练框架，在真实拍摄的模糊视频中直接进行训练，并从时空维度上泛化去模糊性能。度上泛化去模糊性能。度上泛化去模糊性能。

【技术实现步骤摘要】
一种基于事件相机的图像去模糊方法及系统


[0001]本专利技术涉及图像处理
，尤其涉及一种基于事件相机的图像去模糊方法及系统。

技术介绍

[0002]图像处理领域的高动态场景下，如快速运动的相机或非线性运动目标，相机的拍摄往往会面临运动模糊的问题，从而降低整体图像质量。运动模糊去除处理作为底层视觉图像处理领域的重要分支，能够从模糊的图像中重建出清晰结果，在提供清晰观感的同时还便利于后续如目标检测、跟踪、三维重建等算法处理，具有极高的应用价值。
[0003]由于运动方向的模糊性以及模糊图像对目标边缘信息的擦除，当前基于帧图像的运动模糊去除算法难以准确地重建潜在清晰图像。而基于生物视觉感知机制的事件相机成为了解决此难题的突破口。与传统光学相机不同，事件相机仅仅感知场景的对数域亮度变化，以异步的事件流取代了传统帧的表现形式，具有低延时、高动态范围、低带宽需求和低功耗等特性。与传统光学相机相比，事件相机能够以极低的延时响应场景亮度的瞬时变化，因此在高速运动场景下仍能保留目标的边缘纹理信息，补充模糊图像中丢失的运动信息，从而获得更好的去模糊性能。
[0004]目前大多数去模糊算法都依赖于在仿真数据集上的监督训练，而由于仿真训练数据与真实测试数据之间的数据分布不一致，其在真实场景测试时往往有性能下降的问题，催生了对自监督框架的需求。此外，预训练的网络模型性能通常受限于训练数据的设定与分布，如空间上事件与图像的固定尺寸比例，时间上特定的模糊程度范围，在真实应用场景中存在局限性。因此如何有效在时空维度泛化模型的去模糊性能是真实场景应用中的关键问题。

技术实现思路

[0005]本专利技术提供一种基于事件相机的图像去模糊方法及系统，用以解决现有技术中图像处理去模糊算法受限于仿真数据集与真实数据之间数据分布不一致，导致去模糊性能不佳的缺陷。
[0006]第一方面，本专利技术提供一种基于事件相机的图像去模糊方法，包括：
[0007]采集模糊图像数据集和事件流数据集；
[0008]基于模糊图像数据集的曝光时间段对所述事件流数据集进行预处理，得到预处理事件流数据集；
[0009]采用多层感知机和可变形卷积构建尺度感知神经网络模型，将所述模糊图像数据集和所述预处理事件流数据集分别输入至所述尺度感知神经网络模型，得到去模糊潜在目标图像；
[0010]基于自监督框架对尺度感知神经网络模型进行图像去模糊泛化，将所述去模糊潜在目标图像输入泛化后的尺度感知神经网络模型，得到去模糊目标图像。
[0011]根据本专利技术提供的一种基于事件相机的图像去模糊方法，所述采集模糊图像数据集和事件流数据集，包括：
[0012]结合事件相机和普通光学相机采集具有预设曝光时长的所述模糊图像数据集，确定所述模糊图像数据集的曝光时间段；
[0013]在所述曝光时间段内获取所述事件流数据集，所述事件流数据集包括事件流数据和所述目标曝光时间段，所述事件流数据包括事件产生时刻时间戳、事件极性标识、在相机成像平面中的任一行和在相机成像平面中的任一列。
[0014]根据本专利技术提供的一种基于事件相机的图像去模糊方法，所述基于模糊图像数据集的曝光时间段对所述事件流数据集进行预处理，得到预处理事件流数据集，包括：
[0015]确定所述曝光时间段的第一端点和第二端点，以及目标曝光时间段的第三端点和第四端点；
[0016]基于所述曝光时间段将事件流数据集划分为若干个时间间隔，根据所述第一端点、所述第二端点、所述第三端点和所述第四端点获取所述曝光时间段的三个目标时间间隔；
[0017]由所述若干时间间隔、所述三个目标时间间隔、事件点极性、相机成像平面高度和相机成像平面宽度，得到第一事件张量、第二事件张量和第三事件张量；
[0018]利用通道连接函数连接所述第一事件张量、所述第二事件张量和所述第三事件张量，得到所述预处理事件流数据集。
[0019]根据本专利技术提供的一种基于事件相机的图像去模糊方法，所述采用多层感知机和可变形卷积构建尺度感知神经网络模型，包括：
[0020]确定图像编码器、事件编码器、多尺度特征融合模块和解码器；
[0021]将所述图像编码器和所述事件编码器分别与所述多尺度特征融合模块相连接，所述多尺度特征融合模块与所述解码器相连接；
[0022]其中，所述图像编码器、所述事件编码器和所述解码器均包括卷积层和修正线性单元激活函数，所述多尺度特征融合模块包括所述多层感知机和所述可变形卷积。
[0023]根据本专利技术提供的一种基于事件相机的图像去模糊方法，所述将所述模糊图像数据集和所述预处理事件流数据集分别输入至所述尺度感知神经网络模型，得到去模糊潜在目标图像，包括：
[0024]将所述模糊图像数据集输入所述图像编码器，提取任一尺寸下的图像特征；
[0025]将所述预处理事件流数据集输入所述事件编码器，提取任一尺寸下的事件特征；
[0026]分别将所述任一尺寸下的图像特征和所述任一尺寸下的事件特征输入至所述多层感知机，输出目标空间坐标融合特征，所述目标空间坐标融合特征包括连续空间域二维坐标的估计融合特征和目标特征像素尺寸；
[0027]利用所述可变形卷积对所述目标空间坐标融合特征进行特征优化，获得优化后目标空间坐标融合特征；
[0028]基于所述目标曝光时间段，采用所述解码器对所述优化后目标空间坐标融合特征进行重建，输出所述去模糊潜在目标图像。
[0029]根据本专利技术提供的一种基于事件相机的图像去模糊方法，所述基于自监督框架对尺度感知神经网络模型进行图像去模糊泛化，将所述去模糊潜在目标图像输入泛化后的尺
度感知神经网络模型，得到去模糊目标图像，包括：
[0030]由所述模糊图像数据集与所述模糊图像数据集的相邻模糊图像进行平均仿真得到预设大模糊图像数据集，基于所述预设大模糊图像数据集和所述预处理事件流数据集得到预设去模糊潜在目标大图像，由所述模糊图像数据集和所述预设去模糊潜在目标大图像的L1范数确定亮度一致性约束损失函数；
[0031]利用所述尺度感知神经网络模型确定事件双积分比值，根据所述模糊图像数据集和所述预设大模糊图像数据集确定图像比值，由所述事件双积分比值的对数和所述图像比值的对数的L1范数确定结构一致性约束损失函数；
[0032]由所述亮度一致性约束损失函数和所述结构一致性约束损失函数对所述尺度感知神经网络模型进行预训练后得到固定权重的尺度感知神经网络模型，由所述固定权重的尺度感知神经网络模型确定所述曝光时间段中任一时刻数据集，和所述尺度感知神经网络模型确定目标曝光时间段中任一时刻数据集的L1范数确定时间维度泛化约束损失函数；
[0033]对所述模糊图像数据集和所述事件流数据集进行模糊图像随机下采样，得到下采样数据集，基于亮度一致性权重、结构一致性权重和时间维度泛化权重，以及所述亮度一致性约束损失函数训练所述下采样数据集、所述结构一致性约束损失函数训练所述下采样数据集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件相机的图像去模糊方法，其特征在于，包括：采集模糊图像数据集和事件流数据集；基于模糊图像数据集的曝光时间段对所述事件流数据集进行预处理，得到预处理事件流数据集；采用多层感知机和可变形卷积构建尺度感知神经网络模型，将所述模糊图像数据集和所述预处理事件流数据集分别输入至所述尺度感知神经网络模型，得到去模糊潜在目标图像；基于自监督框架对尺度感知神经网络模型进行图像去模糊泛化，将所述去模糊潜在目标图像输入泛化后的尺度感知神经网络模型，得到去模糊目标图像。2.根据权利要求1所述的基于事件相机的图像去模糊方法，其特征在于，所述采集模糊图像数据集和事件流数据集，包括：结合事件相机和普通光学相机采集具有预设曝光时长的所述模糊图像数据集，确定所述模糊图像数据集的曝光时间段；在所述曝光时间段内获取所述事件流数据集，所述事件流数据集包括事件流数据和所述目标曝光时间段，所述事件流数据包括事件产生时刻时间戳、事件极性标识、在相机成像平面中的任一行和在相机成像平面中的任一列。3.根据权利要求1所述的基于事件相机的图像去模糊方法，其特征在于，所述基于模糊图像数据集的曝光时间段对所述事件流数据集进行预处理，得到预处理事件流数据集，包括：确定所述曝光时间段的第一端点和第二端点，以及目标曝光时间段的第三端点和第四端点；基于所述曝光时间段将事件流数据集划分为若干个时间间隔，根据所述第一端点、所述第二端点、所述第三端点和所述第四端点获取所述曝光时间段的三个目标时间间隔；由所述若干时间间隔、所述三个目标时间间隔、事件点极性、相机成像平面高度和相机成像平面宽度，得到第一事件张量、第二事件张量和第三事件张量；利用通道连接函数连接所述第一事件张量、所述第二事件张量和所述第三事件张量，得到所述预处理事件流数据集。4.根据权利要求1所述的基于事件相机的图像去模糊方法，其特征在于，所述采用多层感知机和可变形卷积构建尺度感知神经网络模型，包括：确定图像编码器、事件编码器、多尺度特征融合模块和解码器；将所述图像编码器和所述事件编码器分别与所述多尺度特征融合模块相连接，所述多尺度特征融合模块与所述解码器相连接；其中，所述图像编码器、所述事件编码器和所述解码器均包括卷积层和修正线性单元激活函数，所述多尺度特征融合模块包括所述多层感知机和所述可变形卷积。5.根据权利要求4所述的基于事件相机的图像去模糊方法，其特征在于，所述将所述模糊图像数据集和所述预处理事件流数据集分别输入至所述尺度感知神经网络模型，得到去模糊潜在目标图像，包括：将所述模糊图像数据集输入所述图像编码器，提取任一尺寸下的图像特征；将所述预处理事件流数据集输入所述事件编码器，提取任一尺寸下的事件特征；
分别将所述任一尺寸下的图像特征和所述任一尺寸下的事件特征输入至所述多层感知机，输出目标空间坐标融合特征，所述目标空间坐标融合特征包括连续空间域二维坐标的估计融合特征和目标特征像素尺寸；利用所述可变形卷积对所述目标空间坐标融合特征进行特征优化，获得优化后目标空间坐标融合特征；基于所述目标曝光时间段，采用所述解码器对所述优化后目标空间坐标融合特征进行重建，输出所述去模糊...

【专利技术属性】
技术研发人员：余磊，张翔，林明远，
申请(专利权)人：武汉大学，
类型：发明
国别省市：