【技术实现步骤摘要】
基于事件及视频融合的去遮挡成像方法及装置
[0001]本申请涉及计算机视觉及神经形态计算
，特别涉及一种基于事件及视频融合的去遮挡成像方法及装置。
技术介绍
[0002]通常，在场景内存在遮挡物的情况下，难以对遮挡物背后的场景进行观测，使用传统相机记录被遮挡的场景，难以获取有效的场景信息。
[0003]相关技术仅能使用纯视频或者纯事件流生成去遮挡的观测图像：
[0004]一、使用纯视频生成去遮挡的观测图像的方法，由于输入的包含遮挡的视频帧信噪比极低，难以提供有效的被遮挡场景的视觉信息；
[0005]二、使用纯事件流作为生成去遮挡的观测图像的方法，使用事件流提供每个像素点的亮度变化记录，但由于缺乏每个像素点的初始亮度值，仅依靠亮度变化记录进行亮度估计是一种欠定问题，也导致生成的图像质量较差。
[0006]综上所述，相关技术中输入数据的信噪比极低，且缺少每个像素点的初始亮度值，仅依靠亮度变化记录进行亮度估计，从而导致生成的图像质量较差，难以满足成像要求，降低使用体验，有待改善。
专利...
【技术保护点】
【技术特征摘要】
1.一种基于事件及视频融合的去遮挡成像方法，其特征在于，包括以下步骤：在遮挡环境系下，从事件相机获取遮挡环境下的事件流数据和视频数据；基于时间，将所述视频数据均分为第一至第三子视频数据，且分别取出每段子视频数据的中间帧图像，得到第一至第三图像；将所述事件流数据输入至预设的脉冲神经网络进行前向传播，得到事件流数据特征向量；以及将所述事件流数据特征向量和所述第一至第三图像组合，并输入至预设的去遮挡成像网络进行前向传播，得到去遮挡成像结果。2.根据权利要求1所述的方法，其特征在于，在将所述事件流数据输入至所述预设的脉冲神经网络进行前向传播之前，还包括：使用Spike Response模型作为神经元动力学模型，构建所述脉冲神经网络。3.根据权利要求1所述的方法，其特征在于，所述去遮挡成像网络使用U
‑
Net结构，输入层的输入通道数为32+3k，且输出层的输出通道数为k，其中，k为所述视频数据的图像帧的通道数。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述第一至第三图像的位于时刻的计算公式为：其中，T为完整事件流ε的持续时间长度。5.一种基于事件及视频融合的去遮挡成像装置，其特征在于，包括：第一获取模块，用于在遮挡环境系下，从事件相机获取遮挡环境下的事件流数据和视频数据；分流模块，用于基于时间，将所述视频数据均分为第一至第三子视频数据，且分别取出每段...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。