一种基于融合事件和RGB数据的水下暗光场景重建方法技术

本发明专利技术是一种基于融合事件和RGB数据的水下暗光场景重建方法。本发明专利技术涉及水下机器视觉技术领域，本发明专利技术利用事件相机采集的水下暗光事件序列和弱曝光RGB帧构建基准数据集；针对事件序列的异步稀疏性，对每一场景事件序列采用体素网格方式进行分段化表征；利用特征编码网络对事件序列和RGB帧进行特征编码，利用基于特征金字塔的多级Transformer编码器，得到多尺度事件和RGB特征提取分支；利用多阶段残差学习，融合事件和RGB特征，利用逐级上采样特征解码器，最终输出清晰的水下重建场景。实现对事件数据和RGB数据的高效融合，并在水下暗光场景重建清晰的图像，为水下的检测、识别和追踪任务提供了鲁棒的视觉表达。追踪任务提供了鲁棒的视觉表达。追踪任务提供了鲁棒的视觉表达。

【技术实现步骤摘要】
一种基于融合事件和RGB数据的水下暗光场景重建方法


[0001]本专利技术涉及水下机器视觉
，是一种基于融合事件和RGB数据的水下暗光场景重建方法。

技术介绍

[0002]随着科技的进步和发展，人类逐渐向海洋探索，开展海洋环境与生物的科学研究。然而，水下视觉光照严重不足，视觉相机拍摄的水下场景往往暗淡模糊，无法有效开展诸多视觉任务，例如基于水下机器智能的目标检测、识别与跟踪等。因此，在水下暗光场景下，重建清晰的视觉图像对于上述视觉任务至关重要。近年来，机器视觉领域已经展开了许多基于帧图像的低光场景增强的研究工作，并取得较高质量的重建结果。但是，现有的RGB传感器和算法在水下暗光条件下所能利用的视觉信息严重受限，因此很难重建清晰鲁棒的水下场景图像。
[0003]事件相机是一种新型的基于仿生学的动态视觉传感器，具有低功耗、高动态范围以及高时空分辨率的特点，在机器视觉领域受到越来越多的关注，例如低光场景重建、目标检测、目标追踪、高动态范围成像、高速目标识别和轨迹恢复等。不同于传统相机捕获全局固定帧率图像，事件相机以异步方式在微秒级别上记录光度的变化信息，并将触发的事件流保存为稀疏离散的四元组数据，即（x, y, t, p），分别代表坐标、微秒级时间戳和极性。由于事件相机高动态范围以及高时空分辨率的特点，许多方法将事件相机应用到具有挑战性场景的重建任务中，例如室外夜晚的低光场景或阳光充足的过曝光场景。然而，这些基于事件相机的方法缺少足够充分的视觉信息，例如无法获取图像的初始像素值、只能针对亮度的变化信息进行处理，进而导致无法计算图像中每个像素的绝对强度值。因此，基于事件相机恢复低光场景结构和细节信息本质上是个不适定的问题。进一步地，对于低光场景下的视觉信息重建，事件相机的潜力还尚未完全挖掘，尤其对于水下暗光场景的视觉应用。

技术实现思路

[0004]本专利技术为克服现有技术的不足，本专利技术利用事件和RGB数据实现水下视觉场景的清晰重建，为水下的目标检测、识别和追踪等任务提供高质量鲁棒的视觉表达。
[0005]需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0006]本专利技术提供了一种基于融合事件和RGB数据的水下暗光场景重建方法，本专利技术提供了以下技术方案：一种基于融合事件和RGB数据的水下暗光场景重建方法，所述方法包括以下步骤：
步骤1、利用事件相机采集的水下暗光事件序列和弱曝光RGB帧构建基准数据集；步骤2、针对事件序列的异步稀疏性，对每一场景事件序列采用体素网格方式进行分段化表征；步骤3、利用特征编码网络对事件序列和RGB帧进行特征编码，得到对应的特征描述子；步骤4、基于特征金字塔的多级Transformer编码器，得到多尺度事件和RGB特征提取分支；步骤5、利用多阶段残差学习，融合事件和RGB特征，得到多尺度空间深度融合信息表达；步骤6、利用逐级上采样特征解码器，最终输出清晰的水下重建场景。
[0007]优选地，所述步骤1具体为：步骤1.1、按其微秒级的时间戳进行对目标事件序列进行划分。针对每一水下场景，得到多个事件窗口；步骤1.2、根据所述的水下弱曝光RGB帧按其微秒级的时间戳与步骤1.1的事件窗口对齐；步骤1.3、遵循有监督学习策略，在提供额外照明条件下，采集正常照度的RGB帧作为标签数据，并保持与步骤1.2的弱曝光帧对齐；步骤1.4、根据步骤1.1、步骤1.2和步骤1.3所获得的结果，在剔除无效和冗余数据后，构建基准训练集和测试集，其比例为9:1。
[0008]优选地，所述步骤2具体为：针对目标事件序列的异步稀疏性，对每一目标场景的目标事件序列采用体素网格方式进行分段化表征，并将表征后的结果作为目标事件张量图。
[0009]其中，根据预先设定好的时间周期划分不同的事件窗口，每个事件窗口执行相同的体素网格化过程。
[0010]根据预先设定好的时间周期对目标事件序列的编码时间戳进行均匀划分，得到多个事件窗口，将目标事件序列中的每个事件单元按照时间戳所在的事件窗口，对目标子数据进行划分，确定目标事件序列中每个事件单元的事件窗口编号。
[0011]优选地，所述步骤3具体为：使用可形变卷积神经网络和下采样网络作为特征编码网络，对事件序列和RGB帧进行特征编码，构建多尺度特征金字塔，形成事件分支和RGB分支，每个分支获得对应5个尺度的特征描述子，其大小分别为原始输入的[1, 1/2, 1/4, 1/8, 1/16]。
[0012]优选地，所述步骤4具体为：基于特征金字塔的多级Transformer编码器包含两个阶段：第一阶段对输入的事件特征分支或RGB特征分支执行深度特征抽取，得到对应分支的深度特征描述子；第二阶段对经过多阶段残差多模态融合后的融合特征描述子执行细粒度高维特征提取。
[0013]每一阶段的编码器含有5级多尺度平行结构，每一级尺度执行相同的特征提取操作，这5级多尺度特征将在解码空间逐级合并。
[0014]优选地，所述步骤5具体为：将Transformer编码器第一阶段的输出数据作为多阶段残差学习模块的输入，执
行多模态残差融合，即对每一级的事件特征描述子和RGB特征描述子执行细粒度特征融合，得到融合特征描述子，用于基于特征金字塔的多级Transformer编码器的第二阶段的输入，其计算公式为：,,.式中，Res(
∙
)代表残差学习模块，和代表事件分支和RGB分支的特征描述子，和代表事件分支和RGB分支的残差深度融合。最终通过逐元素相加得到对应每一级尺度下完整细粒度的融合特征描述子。
[0015]优选地，所述步骤6具体为：将基于特征金字塔的多级Transformer编码器的第二阶段输出作为输入数据，在5个级别上逐次执行空间解码，并与下一级别特征描述子进行逐通道合并，不断恢复原始尺度，最终输出清晰的水下重建场景，以有监督方式训练所有模块，使用逐像素的L1损失函数约束训练。
[0016]L1损失函数通过下式表示： ,式中，代表全部的训练集数量，为第j张图像预测的重建场景，代表相应的样本标签图像,表示为拼接操作。
[0017]一种基于融合事件和RGB数据的水下暗光场景重建系统，所述系统包括：数据收集模块，所述数据收集模块利用事件相机采集的水下暗光事件序列和弱曝光RGB帧构建基准数据集；表征分化模块，所述表征分化模块针对事件序列的异步稀疏性，对每一场景事件序列采用体素网格方式进行分段化表征；编码模块，所述编码模块利用特征编码网络对事件序列和RGB帧进行特征编码，得到对应的特征描述子；提取模块，所述提取模块基于特征金字塔的多级Transformer本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于融合事件和RGB数据的水下暗光场景重建方法，其特征是：所述方法包括以下步骤：步骤1、利用事件相机采集的水下暗光事件序列和弱曝光RGB帧构建基准数据集；步骤2、针对事件序列的异步稀疏性，对每一场景事件序列采用体素网格方式进行分段化表征；步骤3、利用特征编码网络对事件序列和RGB帧进行特征编码，得到对应的特征描述子；步骤4、基于特征金字塔的多级Transformer编码器，得到多尺度事件和RGB特征提取分支；步骤5、利用多阶段残差学习，融合事件和RGB特征，得到多尺度空间深度融合信息表达；步骤6、利用逐级上采样特征解码器，最终输出清晰的水下重建场景。2.根据权利要求1所述的方法，其特征是：所述步骤1具体为：步骤1.1、按其微秒级的时间戳进行对目标事件序列进行划分，针对每一水下场景，得到多个事件窗口；步骤1.2、根据所述的水下弱曝光RGB帧按其微秒级的时间戳与步骤1.1的事件窗口对齐；步骤1.3、遵循有监督学习策略，在提供额外照明条件下，采集正常照度的RGB帧作为标签数据，并保持与步骤1.2的弱曝光帧对齐；步骤1.4、根据步骤1.1、步骤1.2和步骤1.3所获得的结果，在剔除无效和冗余数据后，构建基准训练集和测试集，其比例为9:1。3.根据权利要求2所述的方法，其特征是：所述步骤2具体为：针对目标事件序列的异步稀疏性，对每一目标场景的目标事件序列采用体素网格方式进行分段化表征，并将表征后的结果作为目标事件张量图；其中，根据预先设定好的时间周期划分不同的事件窗口，每个事件窗口执行相同的体素网格化过程；根据预先设定好的时间周期对目标事件序列的编码时间戳进行均匀划分，得到多个事件窗口，将目标事件序列中的每个事件单元按照时间戳所在的事件窗口，对目标子数据进行划分，确定目标事件序列中每个事件单元的事件窗口编号。4.根据权利要求3所述的方法，其特征是： 所述步骤3具体为：使用可形变卷积神经网络和下采样网络作为特征编码网络，对事件序列和RGB帧进行特征编码，构建多尺度特征金字塔，形成事件分支和RGB分支，每个分支获得对应5个尺度的特征描述子，其大小分别为原始输入的[1, 1/2, 1/4, 1/8, 1/16]。5.根据权利要求4所述的方法，其特征是：所述步骤4具体为：基于特征金字塔的多级Transformer编码器包含两个阶段：第一阶段对输入的事件特征分支或RGB特征分支执行深度特征抽取，得到对应分支的深度特征描述子；第二阶段对经过多阶段残差多模态融合后的融合特征描述子执行细粒度...

【专利技术属性】
技术研发人员：姜宇，王跃航，赵明浩，齐红，魏枫林，王凯，
申请(专利权)人：吉林大学，
类型：发明
国别省市：