基于神经网络的事件相机图像重建方法技术

本发明专利技术公开了一种基于神经网络的事件相机图像重建方法，属于数字图像处理领域

【技术实现步骤摘要】
基于神经网络的事件相机图像重建方法


[0001]本专利技术属于数字图像处理领域，具体讲，涉及基于深度学习和计算机视觉的事件相机视频重建方法
。

技术介绍

[0002]事件相机是一种新型的视觉传感器，也被称为动态视觉传感器或
DAVIS(Dynamic and Active
‑
Pixel Vision Sensor)。
它受到生物视觉系统的启发，从“仅感知运动物体”出发，通过异步
、
独立的成像范式实现了高时间分辨率
、
高动态范围
、
低功耗等特点，解决了普通相机空间冗余
、
动态模糊等问题，在高速运动估计
、
高动态范围建图
、
特征检测与跟踪等领域应用广泛并表现良好
。
[0003]不同于传统相机通过曝光使感光元件积累光子的成像方式，事件相机的每个像素都对应一个独立的光电传感模块，当该像素的亮度变化超过设定的阈值，就会输出一个差分脉冲信号
(
又称事件数据
)。
事件数据被编码为四元向量
(x
i
,y
i
,t
i
,p
i
)
的格式，其中
(x
i
,y
i
)
表示像素坐标，
t
i
表示触发时间，
p
i
表示亮度变化极性
。
由于所有像素独立工作，所以事件相机的数据输出是时间异步
、
空间稀疏的，这样的成像范式减少了大量冗余数据并消除了传统相机成像时间单位的概念
。
但其非欧几里得式的数据结构使得现有图像重建算法难以对事件数据进行重建，因此设计新的针对事件数据的时空特性的算法是必要的
。
[0004]目前事件数据的主流处理方式主要分为两种：
event
‑
by
‑
event
的方法和
group
‑
of
‑
events
的方法
。
前者为逐个事件的处理方法，常用于事件降噪
、
提取特征和图像重建的滤波器中，通过差分计算的方式完成系统状态的更新
。
基于
group
‑
of
‑
events
的处理方法为了解决单个事件携带数据少的问题，对固定事件窗口中的事件数据进行累计处理，具体表征方式包括事件帧，体栅格和
3D
点集
。
[0005]近年来深度学习在图像处理领域大放异彩，基于深度学习框架的事件相机图像重建工作相比于传统方法也取得了性能突破，但在纹理和对比度等重建细节上仍存在性能缺失
。
为了解决该问题，本专利技术提出一种基于神经网络的事件相机图像重建方法
。

技术实现思路

[0006]本专利技术的目的在于提出一种基于神经网络的事件相机图像重建方法以解决现有技术重建细节较差的问题
。
[0007]为了实现上述目的，本专利技术采用了如下技术方案：
[0008]一种基于神经网络的事件相机图像重建方法，所述方法基于神经网络，利用图像金字塔
、
特征金字塔
、ConvGRU、
条件标准化和
2D
卷积模块构造一个类金字塔的多层重建网络，通过融合不同层
、
不同尺度的重建结果生成最后的灰度重建图像，具体包括以下步骤：
[0009]S1、
仿真数据集构建：采用
ESIM
仿真器，结合渲染引擎和时间模拟器动态自适应地采集事件数据，生成仿真数据集，并将数据集划分为训练集和测试集；
[0010]S2、
事件数据预处理：综合考虑算法执行速度和算法重建结果，采取
group
‑
of
‑
events
的方法将
S1
中的事件数据表示为事件帧；
[0011]S3、
数据增广：利用旋转
、
随机裁剪的方式对
S1
中所得的仿真数据集进行数据增广；对
S2
中所得的事件帧添加高斯噪声和热点噪声；
[0012]S4、
图像重建网络设计：基于
S3
中所得数据，将其作为训练集来设计事件相机图像重建网络，具体包括如下内容：
[0013]①
图像金字塔设计：将经过预处理的事件帧输入图像金字塔进行特征提取；所述图像金字塔由三个子特征提取模块组成，每个子特征提取模块由两个卷积层
、
两个
Batch Normalization
层和两个激活函数组成；
[0014]②
特征金字塔设计：与图像金字塔相对应，对特征金字塔进行设计，所述特征金字塔设计为三层，每一层包括一个
ConvLSTM
层
、
一个
Spade
标准化层和一个残差组合；
[0015]③
多尺寸迭代更新重建：将特征金字塔每一层对应设计一组重建模块，将重建特征解码为重建结果；所述特征金字塔的前两层的重建模块由两个卷积层
、
一个
Batch Normalization
层
、
一个
Sigmod
激活函数组成；所述特征金字塔的第三层的重建模块采用多尺度迭代重建模块进行迭代更新；
[0016]④
重建结果输出：利用
pixel shuffle
对第二层和第三层的重建结果进行上采样融合，得到最终的重建结果，具体公式表示为：
[0017][0018]其中，
I
t
表示
t
时刻重建的灰度图像；
Up
表示
pixel shuffle
上采样方式；
[0019]⑤
损失函数设计：基于
L1
损失函数
、
感知损失函数和时间一致性损失函数，将上述三个损失函数的加权和作为最终损失对图像重建网络进行监督；
[0020]S5、
搭建
、
训练模型：基于
S4
中所设计的图像重建网络来搭建模型，然后在
pytorch
框架下，采用
Adam
优化器对所得模型进行训练，得到最终模型；
[0021]S6、
输出结果：将测试集中的图像输入至
S5
中所得的最终模型中，得到相应的重建图像输出结果
。
[0022]优选地，所述
S2
具体包括如下内容：将事件间隔
Δ
T...

【技术保护点】

【技术特征摘要】
1.
一种基于神经网络的事件相机图像重建方法，其特征在于，所述方法基于神经网络，利用图像金字塔
、
特征金字塔
、ConvGRU、
条件标准化和
2D
卷积模块构造一个类金字塔的多层重建网络，通过融合不同层
、
不同尺度的重建结果生成最后的灰度重建图像，具体包括以下步骤：
S1、
仿真数据集构建：采用
ESIM
仿真器，结合渲染引擎和时间模拟器动态自适应地采集事件数据，生成仿真数据集，并将数据集划分为训练集和测试集；
S2、
事件数据预处理：综合考虑算法执行速度和算法重建结果，采取
group
‑
of
‑
events
的方法将
S1
中的事件数据表示为事件帧；
S3、
数据增广：利用旋转
、
随机裁剪的方式对
S1
中所得的仿真数据集进行数据增广；对
S2
中所得的事件帧添加高斯噪声和热点噪声；
S4、
图像重建网络设计：基于
S3
中所得数据，将其作为训练集来设计事件相机图像重建网络，具体包括如下内容：
①
图像金字塔设计：将经过预处理的事件帧输入图像金字塔进行特征提取；所述图像金字塔由三个子特征提取模块组成，每个子特征提取模块由两个卷积层
、
两个
Batch Normalization
层和两个激活函数组成；
②
特征金字塔设计：与图像金字塔相对应，对特征金字塔进行设计，所述特征金字塔设计为三层，每一层包括一个
ConvLSTM
层
、
一个
Spade
标准化层和一个残差组合；
③
多尺寸迭代更新重建：将特征金字塔每一层对应设计一组重建模块，将重建特征解码为重建结果；所述特征金字塔的前两层的重建模块由两个卷积层
、
一个
Batch Normalization
层
、
一个
Sigmod
激活函数组成；所述特征金字塔的第三层的重建模块采用多尺度迭代重建模块进行迭代更新；
④
重建结果输出：利用
pixel shuffle
对第二层和第三层的重建结果进行上采样融合，得到最终的重建结果，具体公式表示为：其中，
I
t
表示
t
时刻重建的灰度图像；
Up
表示
pixel shuffle
上采样方式；
⑤
损失函数设计：基于
L1
损失函数
、
感知损失函数和时间一致性损失函数，将上述三个损失函数的加权和作为最终损失对图像重建网络进行监督；
S5、
搭建
、
训练模型：基于
S4
中所设计的图像重建网络来搭建模型，然后在
pytorch
框架下，采用
Adam
优化器对所得模型进行训练，得到最终模型；
S6、
输出结果：将测试集中的图像输入至
S5
中所得的最终模型中，得到相应的重建图像输出结果
。2.
根据权利要求1所述的基于神经网络的事件相机图像重建方法，其特征在于，所述
S2
具体包括如下内容：将事件间隔
Δ
T
＝
t
k
‑
t0内的事件点通过线性插值的方法编码为事件帧，每个事件点的极性
p
i
被映射到距离其最近的两个通道，公式表示如下：其中，
E
k
表示
Δ
T
间隔内事件点的编码结果；
p
i
表示事件点极性；
B
表示体素网格通道数；
t
i
表示事件点的时间戳
。
3.
根据权利要求1所述的基于神经网络的事件相机图像重建方法，其特征在于，所述图像金字塔的三个子特征提取模块分别在不同尺寸提取输入事件帧的特征
F1、F2、F3，相比于原尺寸归一化尺寸为1，
1/2
，
1/4
，分别包括边缘
、
结构和语义信息，用于特征金字塔的特征信息补充，具体公式如下：
F
su...

【专利技术属性】
技术研发人员：杨敬钰，高广涵，岳焕景，李坤，
申请(专利权)人：天津大学，
类型：发明
国别省市：