【技术实现步骤摘要】
一种基于事件相机的密集三维重建方法
[0001]本专利技术属于计算机视觉三维重建领域，涉及一种基于事件相机的密集三维重建方法，属于动态视觉传感器三维重建方法。
技术介绍
[0002]事件相机(动态视觉传感器)是一种不同于传统摄像机的新型传感器，相较于传统相机拍摄一幅完整的图像，每个像素由事件异步触发，此处的事件指的是照射在每个像素上亮度的变化，如果亮度增加或减少的量超过了某个设定好的阈值，则输出事件。与传统相机相比，事件相机具有低延迟、极低功耗、信息可用量高、高动态范围和无运动模糊的优点。由于事件是由强度边缘的明显运动引起的，因此大多数三维重建仅由场景边缘组成，即半密集重建，这对于某些应用来说是不够的。鉴于此，本文专利技术了一种基于事件相机的密集三维重建方法，此方法首先利用深度学习从事件中重建强度图像；然后利用基于SFM的运动恢复结构来估计相机的内参、姿态以及稀疏点云，最后使用基于MVS的多立体视图完成密集重建。在高动态范围，缺少光照，以及高速运动的特殊环境下，传统相机会出现模糊、过曝、以及欠曝的情况，这将会很大程度地影响重...
【技术保护点】
【技术特征摘要】
1.一种基于事件相机的密集三维重建方法，其特征在于：所述事件相机为动态视觉传感器，三维重建步骤分为强度图像重建、运动结构恢复和密集三维重建三部分，具体过程如下：一、强度图像重建：步骤1.1：建立基于UNet的强度图像重建神经网络，包括头部层H，主体层B和预测层P；主体层B包括三个循环卷积模块R1、R2、R3五个参数一致的分组卷积模块G1、G2、G3、G4、G5，以及三个亚像素卷积模块U1、U2、U3；步骤1.2：将事件进行编码，得到神经网络输入固定大小的通道张量输入神经网络，经过头部层H中的卷积层和RELU激活函数，得到输出通道大小为32的张量；其中卷积核大小为3
×
3；步骤1.3：将头部层H的输出送入三个循环卷积模块R1、R2、R3进行下采样操作，输入经过每个循环卷积块后输出通道数扩大了两倍，每个卷积块通道的张量高宽缩小了两倍；所述每个循环卷积卷积块包括一个CBR和一个ConvLSTM模块，采用ConvLSTM后保留以前的状态信息，状态信息用于结合当前输入更新当前状态；所述CBR为卷积核大小为5
×
5的卷积层+正则化(BatchNorm)层+ReLU激活函数；所述ConvLSTM模块的卷积核大小为3
×
3；步骤1.4：将经过三个循环卷积块的输出数据再输入到两个分组卷积块G1和G2中，将输入层的不同特征图进行分组，然后再对各个组进行卷积；所述分组卷积模块先将输入通道数为N的通道张量送入一个卷积核大小为1
×
1的卷积层，将通道数减半，然后经过一个每组张量数量为4的、卷积核大小为3
×
3的分组卷积层，得到了通道数为N/2的输出，最后再将这个输出送入一个卷积核大小为1
×
1的卷积层，将通道数翻倍，得到了通道数为N的输出；步骤1.5：将三个循环卷积模块的输出分别输入到一个分支，每个分支由一个分组卷积块构成为G3、G4和G5；分组卷积模块先将输入通道数为N的通道张量送入一个卷积核大小为1
×
1的卷积层，将通道数减半；然后经过一个每组张量数量为4的、卷积核大小为3
×
3的分组卷积层，得到了通道数为N/2的输出；最后再送入一个卷积核大小为1
×
1的卷积层，将通道数翻倍，得到了通道数为N的输出；步骤1.6：将通道数为N的输出再由三个连续的亚像素卷积模块U1、U2、U3进行上采样操作；每个亚像素卷积模块先对输入进行亚像素拼接操作，即上采样时输入大小为a
×
b
×
c，经过拼接操作后的输出为2a
×
2b
×
c/4，然后经过一个卷积核大小为3
×
3的卷积层，得到了整个主体层B的输出；其中：经过每个亚像素卷积块后输出通道数缩小了两倍，每个卷积块通道的张量高宽扩大了两倍；每个亚像素卷积模块的输入是对应的循环卷积模块经过分组卷积分支处理后G3、G4、G5的输出和前一个亚像素卷积模块的输出；步骤1.7：将第一个循环卷积模块R1的输出输入到一个亚像素卷积模块U0中进行上采样操作，并将上采样的结果和整个主体层B的输出作为输入送到预测层中；预测层得到输入后，先将其送入一个卷积层进行卷积，然后送入一个正则化层，最后通过Sigmoid激活函数
得到输出，输出是对每个像素预测一个在0到1之间的值；二、运动结构恢复：步骤2.1：将经过神经网络重建后的强度图像作为输入图像集...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。