一种基于事件相机和RGB图像的图片去遮挡方法技术

本发明专利技术公开了一种基于事件相机和RGB图像的图片去遮挡方法。本发明专利技术方法利用动态视觉传感器的优越性能，融合RGB图像的纹理细节，可以克服过曝欠曝的极端光照条件和密集遮挡的成像条件，通过采集多视角的事件流数据清晰完整地恢复被遮挡的物体。该方法可以有效地应用在各种应用场景，比如视频去遮挡，视频追踪等任务。对于过曝或欠曝等问题具有极强的鲁棒性，同时事件相机的输出具有低冗余性，具备落地的条件。条件。条件。

【技术实现步骤摘要】
一种基于事件相机和RGB图像的图片去遮挡方法


[0001]本专利技术涉及计算机视觉领域，使用可学习的深度学习方法读出图片的前景遮挡。

技术介绍

[0002]事件相机是一款新型的仿生传感器。不同于传统相机拍摄一幅完整的图像，事件相机捕捉像素对数亮度强度的变化，可以简单理解为“像素亮度的变化”，即事件相机输出的是像素亮度的变化情况。
[0003]传统相机，无论是CMOS传感器，还是CCD传感器，亦或是RGBD相机，都有一个参数：帧率。它们是以恒定的频率拍摄获取图像。这样，即使帧率能够达到1KHz，那也具有1ms的延时。所以传统相机存在一定的延迟问题。除此之外，传统相机相邻两帧之间重复像素值较多，具有很大的冗余信息。这些传统相机无法避免的劣势制约着基于帧的任务的发展。
[0004]事件摄像机是一种异步传感器，在获取视觉信息的方式上造成了范式的转变。事件相机的工作机制是当某个像素所处位置的亮度值发生变化达到所设定的阈值时，相机就会回传一个事件，每一个事件数据有四个属性，其中前两项为事件的像素坐标，第三项为事件发生的时间戳，最后一项取值为极性0、1(或者
‑
1、1)，代表亮度是由低到高还是由高到低，也常被称作Positive或Negtive Event。就这样，在整个相机视野内，只要有一个像素值变化，就会回传一个事件，这些所有的事件都是异步发生的(再小的时间间隔也不可能完全同时)，所以事件的时间戳均不相同，由于回传很简单，所以和传统相机相比，它具有低时延的特性，可以捕获很短时间间隔内的像素变化。事件相机的优点是：非常高的时间分辨率和低延迟(都是微秒级的)，非常高的动态范围(140dB vs.60dB)，低功耗。因此，事件相机在机器人和可穿戴设备应用方面有很大的潜力。
[0005]图像重建一直是计算机视觉领域的一个热点问题，其中包括非常多重要的上游任务，例如图像超分辨、去模糊和去遮挡。通过研究人员的不懈努力，在去遮挡任务上取得了很大进展。但是在密集遮挡的情况下，这项任务变得极具挑战性，因为图像因前景遮挡丢失了太多信息，获得的结果无法达到令人满意的性能。在密集的遮挡场景中捕捉清晰完整的后景图像对于计算机视觉的下游任务非常重要，例如物体检测和视频跟踪。
[0006]合成孔径成像(Synthetic Aperture Imaging,以下简称SAI)方法旨在从输入的多视图遮挡帧中恢复完整的图像。传统的基于帧的SAI方法利用多个视点实现固定深度的透视效果，并从输入帧中重建被遮挡的目标，然而，极度密集的遮挡和光照总是导致重建失败。基于U
‑
Net的变体方法检索摄像机阵列的多视图图像以重建被遮挡的对象，并实现了显着的质量改进。
[0007]由于基于帧的相机固有的局限性，使用图像帧作为输入很容易受到极端光照条件的干扰，致使方法性能在很大程度上依赖于光照条件，无法解决曝光不足或过度曝光的情况以及密集遮挡场景。
[0008]由于事件相机的工作原理，事件相机并不是通过在一定的曝光时间内记录亮度值来获取图像的。因此，事件相机可以摆脱运动模糊。事件相机的延迟在微秒量级，对光照条
件不敏感，这意味着它可以在极端情况下正常工作光照条件。通过利用这些优势，使用事件流来处理遮挡问题效果明显提升，在密集遮挡和极端光照条件下取得了显著进步。
[0009]事件相机因为只采集光强的变化，所以缺少纹理细节信息，融合事件相机和RGB图像的优势特点可以很好的解决图片遮挡问题。
[0010]最近这些年，计算机视觉研究人员在不同领域做了大量工作，包括视频分类，图像重建和分割等。基于深度学习的方法在图像处理领域变得非常流行，因为它可以从多个层次学习特征，并自动构建原始输入的高级表示。而且，与传统方法不同的是，深度学习可以完全自动地提取特征，例如深度学习使用的局部感知、权重共享、多卷积核、下采样等方法。从图像的一部分而不是整个图像中学习局部特征，且最终的识别结果由多个卷积层的结果决定。基于Unet的生成网络由编码器和解码器组成，可以很好地完成图像重建任务。
[0011]因为事件相机数据的优越特性，目前有越来越多的研究人员开始关注事件流和深度学习网络的结合，使用事件相机的event数据，可以有效地克服传统相机的劣势，抵抗环境光强的干扰，是一个极具前景的研究方向和产业化方向。

技术实现思路

[0012]针对现有技术中存在的不足，本专利技术提出一种基于事件相机和RGB图像的图片去遮挡方法。该方法利用动态视觉传感器的优越性能，融合RGB图像的纹理细节，可以克服过曝欠曝的极端光照条件和密集遮挡的成像条件，通过采集多视角的事件流数据清晰完整地恢复被遮挡的物体。该方法可以有效地应用在各种应用场景，比如视频去遮挡，视频追踪等任务。对于过曝或欠曝等问题具有极强的鲁棒性，同时事件相机的输出具有低冗余性，具备落地的条件。
[0013]对于去除遮挡成像，应满足以下要求：
[0014]1.高效率。
[0015]2.视觉效果清晰。
[0016]对于去遮挡成像，难点在于在重建的图像上不保留遮挡痕迹同时使后景清晰。事件相机提供的数据可以收集到连续视角的视觉信息，同时不惧怕过曝或欠曝的光照条件影响，可以很好地完成去遮挡任务。所以，基于事件相机的特性，我们结合目前已有的图像重建技术，综合考量关键要求，选择了使用基于卷积神经网络的方法作为解决方案。下面，将详细结合算法对本专利进行阐述。
[0017]一种基于事件相机和RGB图像的图片去遮挡方法，步骤如下：
[0018]步骤一：数据采集。
[0019]使用事件相机，分别在室内和室外采集数据，相机固定在可移动的滑轨上，通过相机线性移动采集多视角数据，并将相机通过USB接口连接到电脑端，使用DV平台收集数据。每一组遮挡数据的采集时间为八秒，其中遮挡数据的真值在滑轨中间取得。
[0020]步骤二；数据处理；
[0021]对于收集到的每一组事件流数据，时长共八秒。沿时间维度将事件流均匀划分为N份，将每一份事件流分别对正负极性累加求和，共得到2N通道的事件帧。
[0022]对于事件相机采集到的RGB图像数据，将数据帧均分为N份，每份随机抽取一帧。
[0023]步骤三：去遮挡模型搭建；
[0024]所述的去遮挡模型采用现有的Unet网络作为主干网络，包括编码器和解码器；
[0025]事件流数据处理为具有多通道的事件帧，每一通道都代表了一个相机的视角。处理好的事件帧被编码器进行下卷积编码；对于RGB图像帧，也同样使用编码器进行下卷积编码；将编码后的事件流数据和RGB图像流数据进行融合，然后通过解码器处理获得清晰的去遮挡图像。
[0026]步骤四：去遮挡模型训练；
[0027]通过事件相机采集大量的去遮挡数据，通过步骤二处理后对去遮挡模型进行大规模数据集训练，以此来获得相对理想的模型参数，并通过测试集验证效果。
[0028]步骤五：通过训练好的去遮挡模型完成图片去遮挡；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件相机和RGB图像的图片去遮挡方法，其特征在于，步骤如下：步骤一：数据采集；使用事件相机，分别在室内和室外采集数据，相机固定在可移动的滑轨上，通过相机线性移动采集多视角数据，并将相机通过USB接口连接到电脑端，使用DV平台收集数据；每一组遮挡数据的采集时间为八秒，其中遮挡数据的真值在滑轨中间取得；步骤二；数据处理；对于收集到的每一组事件流数据，时长共八秒；沿时间维度将事件流均匀划分为N份，将每一份事件流分别对正负极性累加求和，共得到2N通道的事件帧；对于事件相机采集到的RGB图像数据，将数据帧均分为N份，每份随机抽取一帧；步骤三：去遮挡模型搭建；步骤四：去遮挡模型训练；通过事件相机采集大量的去遮挡数据，通过步骤二处理后对去遮挡模型进行大规模数据集训练...

【专利技术属性】
技术研发人员：薛轶天，戴振宇，路荣丰，颜成钢，高宇涵，孙垚棋，朱尊杰，陈楚翘，王鸿奎，胡冀，殷海兵，张继勇，李宗鹏，赵治栋，
申请(专利权)人：杭电丽水研究院有限公司，
类型：发明
国别省市：