基于多传感器融合的无人船感知目标检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于多传感器融合的无人船感知目标检测方法及装置，包括步骤：实时获取无人船的多传感器数据，多传感器数据包括相机图像数据、毫米波雷达数据、激光雷达数据；将多传感器数据输入训练好的多传感器融合检测模型中，得到融合感知检测结果。本发明专利技术利用相机、毫米波雷达和激光雷达数据，进行特征提取后再进行融合特征检测，可以有效利用各传感器的数据特点提高无人船水面目标检测感知精度；而且当单个传感器出现故障性能下降时，能够利用其他传感器的数据实现目标检测，保证无人船航行的安全性和感知鲁棒性。此外，由于雷达的环境适应性强，本发明专利技术在夜晚、雨天场景和雾天场景等视觉容易干扰的场景也有更强的环境适应性和感知鲁棒性。境适应性和感知鲁棒性。境适应性和感知鲁棒性。

【技术实现步骤摘要】
基于多传感器融合的无人船感知目标检测方法及装置


[0001]本专利技术涉及无人船环境感知方法
，尤其涉及一种基于多传感器融合的无人船感知目标检测方法及装置。

技术介绍

[0002]近些年来无人船受到广泛地关注并且逐渐运用于各项应用中，例如海洋研究、水面交通运输和水面垃圾清理等。无人船在执行水面自动驾驶任务时往往需要面对复杂水域场景进行目标检测。
[0003]随着深度学习技术的发展，基于相机图像的目标检测技术取得了优异的成果，但传统基于视觉的目标检测方法容易受到水面倒影、水面反光的干扰，并且由于远处的目标在图像中像素占比较小，使得基于视觉的目标检测方法对于远处的目标检测能力较弱。而毫米波雷达对于远处的目标有较好的检测能力，并且能够提供目标的多普勒速度信息和能量强度信息。但相较于相机而言，毫米波雷达包含的语义信息较弱，无法很好的区分目标类型。另外，激光雷达包含丰富的外观特征信息，可以精确地提供目标的深度信息，目前基于激光雷达与视觉融合的目标检测方法使用图像和激光雷达数据进行融合，虽然能提升目标检测精度，但是在远距离由于激光雷达点云密度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多传感器融合的无人船感知目标检测方法，其特征在于，所述基于多传感器融合的无人船感知目标检测方法包括有步骤：S100，实时获取无人船的多传感器数据，所述多传感器数据包括相机图像数据、毫米波雷达数据、激光雷达数据；S200，将实时获取的相机图像数据、毫米波雷达数据、激光雷达数据输入训练好的多传感器融合检测模型中，得到融合感知检测结果；训练所述多传感器融合检测模型包括有如下步骤：S10，获取无人船的多传感器原始数据D和标签真值G；S20，对多传感器原始数据D中的相机图像数据I、毫米波雷达数据R、激光雷达数据L进行数据同步和数据预处理，得到用于模型输入的相机图像数据I
´
、毫米波雷达数据R
´
和激光雷达数据L
´
；S30，将相机图像数据I
´
、毫米波雷达数据R
´
和激光雷达数据L
´
输入至特征提取模型进行特征提取，将提取的特征进行特征融合检测得到模型预测结果Q；S40，基于模型预测结果Q和标签真值G计算模型损失值，根据模型损失值进行神经网络模型的反向传递，更新多传感器融合检测模型权重；重复执行步骤S20至步骤S40，并进行迭代更新，直至模型损失值小于迭代阈值时停止迭代得到训练好的多传感器融合检测模型。2.如权利要求1所述的基于多传感器融合的无人船感知目标检测方法，其特征在于，所述步骤S10进一步包括：对无人船搭载的相机、毫米波雷达、激光雷达及惯性测量单元进行外参标定并获取外参矩阵T；以无人船的上电时刻位置为原点，以无人船前朝向为y轴正方向，无人船右朝向为x轴正方向建立无人船坐标系；获取无人船在不同水域场景下采集的传感器原始数据，传感器原始数据包括相机图像数据、毫米波雷达数据、激光雷达数据以及IMU数据；获取无人船在相同水域场景下，不同天气、不同光线条件、不同季节下采集的传感器原始数据；对获取的相机图像数据进行目标检测标注得到标签真值G。3.如权利要求2所述的基于多传感器融合的无人船感知目标检测方法，其特征在于，所述步骤S20进一步包括：基于多传感器原始数据D中的相机图像数据I、毫米波雷达数据R、激光雷达数据L，通过最近邻时间戳计算获取最近邻时刻的相机图像数据I1、毫米波雷达数据R1和激光雷达数据L1；对相机图像数据I1进行图像亮度增强操作和去噪处理操作得到相机图像数据I
´
；对毫米波雷达数据R1和激光雷达数据L1进行点云滤波，通过直通滤波算法和密度滤波算法去除噪点，得到过滤后的毫米波雷达点云R2和激光雷达点云L2；对激光雷达点云L2进行体素滤波降采样得到激光雷达数据L
´
；基于毫米波雷达点云R2及IMU数据中的俯仰数据计算新的毫米波雷达点云R
´2；利用外参矩阵T将毫米波雷达点云R
´2投影到图像平面与图像空间对齐，得到点云投影
结果R3；基于点云投影结果R3，根据雷达的点云距离，点云速度，点云能量进行高斯分布计算得到三通道点云灰度图像，将三通道点云灰度图像拼接得到毫米波雷达数据R
´
。4.如权利要求3所述的基于多传感器融合的无人船感知目标检测方法，其特征在于，所述步骤S30进一步包括：将相机图像数据I
´
输入至图像特征提取网络进行特征提取得到图像数据特征F
I
；将毫米波雷达数据R
´
输入至毫米波雷达特征提取网络进行特征提取得到毫米波雷达数据特征F
R
；将激光雷达数据L
´
输入至激光雷达特征提取网络进行特征提取得到激光雷达数据特征F
L
；将图像数据特征F
I
、毫米波雷达数据特征F
R
及激光雷达数据特征F
L
输入特征融合检测模块进行特征融合检测得到模型预测结果Q。5.如权利要求4所述的基于多传感器融合的无人船感知目标检...

【专利技术属性】
技术研发人员：程宇威，朱健楠，许浒，池雨豪，虞梦苓，
申请(专利权)人：陕西欧卡电子智能科技有限公司，
类型：发明
国别省市：