一种海洋低光环境多目标检测方法及其检测系统技术方案

本发明专利技术属于水下视觉检测的技术领域，具体涉及一种海洋低光环境多目标检测方法及其检测系统。建水下跨模态基准数据集；得到三层不同尺度的特征向量；进行特征排序和数据融合；通过深度特征提取模块，在全局和局部维度上进一步提取重要特征信息；将每个尺度进一步提取的特征向量分别送入检测头网络模块，最终输出海洋生物的在图像中的具体位置和类别信息。本发明专利技术用以实现水下生物多目标高精度的检测任务。务。务。

【技术实现步骤摘要】
一种海洋低光环境多目标检测方法及其检测系统


[0001]本专利技术属于水下视觉检测的
，具体涉及一种海洋低光环境多目标检测方法及其检测系统。

技术介绍

[0002][0003]对于动态的水下任务，目前流行的视觉传感器（例如单目视觉、立体视觉、红外相机、激光雷达等）受限于高成本，高延迟、低精度的影响，很难稳定精准地检测海洋目标。此外，由于水下通信受限以及水下高压等因素的影响，鲁棒性地仅基于RGB视觉相机完成海洋目标检测行为是一项巨大的挑战。相反，事件相机，作为一种新颖的仿生学的动态视觉传感器，通过异步方式触发事件流，本质上不同于RGB相机的方式表达视觉信息，有望实现传感器视觉的范式转变。具体来说，事件相机不以固定相机帧率的方式获取静态场景信息来编码动态视觉场景，而是通过异步事件的编码创造了动态场景的稀疏时空表示。每个事件都表明局部位置的亮度变化情况。因此，事件相机具有低功耗、高动态范围（140db vs 60 db 对于传统RGB相机），以及高时间分辨率（微秒级）的优点。事件相机解决了在挑战性场景下视觉智能感知日益增长的需求，并实现了诸多用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种海洋低光环境多目标检测方法，其特征在于，所述多目标检测方法具体为，步骤1、利用事件相机采集的水下低光环境事件流和对应的RGB帧构建水下跨模态基准数据集；步骤2、利用事件编码器和帧编码器对事件流和RGB帧进行特征编码，分别得到三层不同尺度的特征向量；步骤3、利用自适应选择和融合模块对步骤2中三层不同尺度的特征向量进行特征排序和数据融合；步骤4、将步骤3三层不同尺度的融合特征送入深度特征提取模块，在全局和局部维度上进一步提取重要特征信息；步骤5、将每个尺度进一步提取的特征向量分别送入检测头网络模块，最终输出海洋生物的在图像中的具体位置和类别信息。2.根据权利要求1所述的海洋低光环境多目标检测方法，其特征在于，所述步骤1包括以下步骤，步骤1.1、根据水下低光环境事件流数据，使用体素网格的方式进行对事件流数据的表征，得到事件体素网格；步骤1.2、根据水下低光环境RGB图像数据，筛选出特征显著的RGB图像数据，筛选出具有典型特征的水下低光图像数据；步骤1.3、根据步骤1.2所筛选出的具有典型特征的水下低光图像数据，划分时间序列；步骤1.4、将表征后的事件数据按照步骤1.3中的时间戳集合进行提取，得到在时间维度上配对的事件体素网格和RGB图像数据；步骤1.5、针对步骤1.4的事件体素网格和RGB图像数据，获取数据中海洋目标的边界框位置和类别信息；步骤1.6、将步骤1.4的事件体素网格、RGB图像数据以及步骤1.5中获取的边界框位置和类别信息作为有监督学习模型训练使用的数据集。3.根据权利要求2所述的海洋低光环境多目标检测方法，其特征在于，所述步骤1.2的筛选方式为人工筛选；所述步骤1.5获取的数据中海洋目标的边界框位置和类别信息的标注方式为专家人工标注，同时边界框位置和类别信息作为有监督学习的标签数据使用。4.根据权利要求2所述的海洋低光环境多目标检测方法，其特征在于，所述步骤2包括以下步骤，步骤2.1、将事件体素网格输入到事件编码器中，得到三个不同尺度大小的事件特征向量；步骤2.2、将RGB图像数据按步骤2.1的顺序同步输入到对应的帧编码器中，得到三个不同尺度大小的图像特征向量。5.根据权利要求1所述的海洋低光环境多目标检测方法，其特征在于，所述步骤3通过以下方式实现：步骤3.1、在三个尺度上分别执行如下操作：将对应尺度的事件特征向量和图像特征向量共同输入到可学习的自适应选择和融合模块，并在模块开始的时候，进行通道降维操作，以降低计算量，得到事件特征向量和图像特征向量两个分支的降维后的对应特征向量；
步骤3.2、将事件特征向量和图像特征向量两个分支相互并行地依次通过卷积层、自注意力机制层、不同池化层以及进行激活函数响应的操作，生成两个分支各自的特征注意力权重图；步骤3.3、将两...

【专利技术属性】
技术研发人员：姜宇，王跃航，齐红，赵明浩，张凯欣，张永霁，
申请(专利权)人：吉林大学，
类型：发明
国别省市：