本发明专利技术公开了一种基于激光雷达和相机融合的海面目标检测方法及系统，该方法包括：收集激光雷达和相机传感器数据，基于DBSCAN聚类进行点云目标检测，基于海天线提取算法和YOLOX目标检测网络进行图像目标检测，基于孪生目标跟踪器进行跟踪预测，最后融合点云目标检测结果、图像目标检测结果和跟踪预测结果，得到最终检测结果。该系统包括：点云数据获取模块、点云目标检测模块、图像数据获取模块、图像稳定模块、视觉目标检测模块、跟踪预测模块和目标融合模块。通过使用本发明专利技术，能够充分发挥激光雷达传感器和相机的优势，实现无人艇在复杂多变的海面环境下实现高鲁棒性的海面目标感知。本发明专利技术可广泛应用于无人艇自动驾驶领域。域。域。
【技术实现步骤摘要】
一种基于激光雷达和相机融合的海面目标检测方法及系统
[0001]本专利技术涉及无人艇自动驾驶领域，尤其涉及一种基于激光雷达和相机融合的海面目标检测方法及系统。
技术介绍
[0002]无人艇是在水面航行的智能化平台，由于无人艇所处的水面环境十分复杂，所以无人艇对周围环境信息的感知十分重要。因此，如何提高无人艇环境感知的能力是现在研究热点，在己有的文献中，许多学者通过视觉感知、雷达感知及多传感器感知信息融合等方法对无人艇的环境感知进行了研究。但是这些方法都有一定的局限性，现有采用多传感器的目标检测算法，融合方法相对简单，并不能充分发挥不同传感器的优势，缺乏在复杂多变的海面环境下感知海面目标的鲁棒性，而且在传感器失效的情况下，缺乏弥补措施。
技术实现思路
[0003]为了解决上述技术问题，本专利技术的目标是提供一种基于激光雷达和相机融合的海面目标检测方法及系统，能够充分发挥激光雷达传感器和相机的优势，实现无人艇在复杂多变的海面环境下实现高鲁棒性的海面目标感知。
[0004]本专利技术所采用的第一技术方案是：一种基于激光雷达和相机融合的海面目标检测方法，包括以下步骤：
[0005]通过激光雷达传感器获取点云数据；
[0006]对点云数据进行聚类分析，得到点云目标；
[0007]通过相机获取图像数据；
[0008]对图像数据进行平稳处理，得到稳定图像；
[0009]对稳定图像进行目标检测，得到视觉目标；
[0010]利用孪生目标跟踪器对稳定图像和历史稳定图像进行跟踪，得到预测目标；
[0011]通过基于置信度与重叠度的融合策略对点云目标、视觉目标和预测目标进行融合，得到最终检测目标。
[0012]进一步，所述对点云数据进行聚类分析，得到点云目标这一步骤，其具体包括：
[0013]任意取一个未被访问的点，访问与这个点的距离小于预设距离的所有点，得到关联点数；
[0014]根据关联点数和预设点数的关系，划分候选集；
[0015]在候选集中取尚未处理的点，访问与这个点的距离小于预设距离的所有点，得到候选点数；
[0016]根据候选点数和预设点数的关系对未处理点进行划分，得到未处理点分类属性；
[0017]重复候选集划分和未处理点分类直到所有点完成分类，得到点云目标。
[0018]通过该优选步骤，能够去除杂音，保留点云数据中能够反映点云目标的有效数据。
[0019]进一步，所述对图像数据进行平稳处理，得到稳定图像这一步骤，其具体包括：
[0020]基于海天线提取算法提取图像数据，得到海天线；
[0021]基于海天线的中心点与倾斜角度构造旋转矩阵；
[0022]根据旋转矩阵对图像数据进行仿射变换，得到稳定图像。
[0023]通过该优选步骤，使得海天线处于水平位置，减缓颠簸导致目标在视野中位移过大的情况，减少颠簸环境对目标检测的影响。
[0024]进一步，所述基于海天线提取算法提取图像数据，得到海天线这一步骤，其具体包括：
[0025]对图像数据进行边缘锐化，得到边缘锐化图像；
[0026]对边缘锐化图像数据进行直线检测提取，得到直线段；
[0027]对直线段进行短直线过滤，并抽样取候选点；
[0028]对图像数据进行区块划分，根据区块候选点数目与预设候选点数目的关系标记感兴趣区域；
[0029]利用卷积神经网络对感兴趣区域的区块进行分类，得到海天线区域和背景区域；
[0030]过滤海天线区域和背景区域的候选点，并进行直线拟合，得到海天线。
[0031]通过该优选步骤，能够获取海天线的中心点与倾斜角度，为将海天线扭转到水平位置做准备。
[0032]进一步，所述对稳定图像进行目标检测，得到视觉目标这一步骤，其具体包括：
[0033]基于YOLOX目标检测网络的骨干网络对稳定图像进行特征提取，得到图像特征；
[0034]基于图像特征预测并输出检测框，得到视觉目标。
[0035]通过该优选步骤，对图像处理一轮同时预测位置和类别，使用解耦预测头分离分类和回归任务，使得准确率有所提升。
[0036]进一步，所述利用孪生目标跟踪器对稳定图像和历史稳定图像进行跟踪，得到预测目标这一步骤，其具体包括：
[0037]基于给定历史稳定图像的目标框，提取出当前帧的模板图像和搜索区域图像；
[0038]基于孪生跟踪器的模板分支和搜索区域分支，对模板图像和搜索区域图像进行特征提取，得到模板特征和搜索区域特征；
[0039]将模板特征和搜索区域特征进行互相关运算，得到响应图；
[0040]基于响应图预测跟踪目标的目标框位置及置信度，得到预测目标。
[0041]通过该优选步骤，弥补由于传感器失效而造成的目标检测的漏检情况，能够更好地应对传感器失效问题。
[0042]进一步，所述通过基于置信度与重叠度的融合策略对点云目标、视觉目标和预测目标进行融合，得到最终检测目标这一步骤，其具体包括：
[0043]基于模型输出目标的置信度，保留来自稳定图像视觉目标的高置信度目标；
[0044]对来自稳定图像视觉目标的低置信度目标和点云目标进行IOU匹配，得到第一类匹配结果；
[0045]基于预设阈值对第一类匹配结果进行筛选，得到第一类保留目标；
[0046]对来自稳定图像视觉目标的低置信度目标和预测目标进行IOU匹配，得到第二类匹配结果；
[0047]基于预设阈值对第二类匹配结果进行筛选，得到第二类保留目标；
[0048]将来自稳定图像视觉目标的高置信度目标、第一类保留目标和第二类保留目标合并保留，得到最终检测目标。
[0049]通过该优选步骤，给予不同传感器不同权重，更有效地发挥了不同传感器的优势，实现激光雷达和相机传感器优势互补，提升了鲁棒性。
[0050]本专利技术所采用的第二技术方案是：一种基于激光雷达和相机融合的海面目标检测系统，包括：
[0051]点云数据获取模块，通过激光雷达传感器获取点云数据；
[0052]点云目标检测模块，用于对点云数据进行聚类分析，得到点云目标；
[0053]图像数据获取模块，通过相机获取图像数据；
[0054]图像稳定模块，用于对图像数据进行平稳处理，得到稳定图像；
[0055]视觉目标检测模块，用于对稳定图像进行目标检测，得到视觉目标；
[0056]跟踪预测模块，利用孪生目标跟踪器对稳定图像和历史稳定图像进行跟踪，得到预测目标；
[0057]目标融合模块，通过基于置信度与重叠度的融合策略对点云目标、视觉目标和预测目标进行融合，得到最终检测目标。
[0058]本专利技术方法及系统的有益效果是：本专利技术在颠簸海面环境下，利用海天线提取算法稳定图像，减少颠簸环境对目标检测的影响；利用孪生目标跟踪器，对已知目标基于历史检测位置预测，以弥补传感器失效出现的漏检本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于激光雷达和相机融合的海面目标检测方法，其特征在于，包括以下步骤：通过激光雷达传感器获取点云数据；对点云数据进行聚类分析，得到点云目标；通过相机获取图像数据；对图像数据进行平稳处理，得到稳定图像；对稳定图像进行目标检测，得到视觉目标；利用孪生目标跟踪器对稳定图像和历史稳定图像进行跟踪，得到预测目标；通过基于置信度与重叠度的融合策略对点云目标、视觉目标和预测目标进行融合，得到最终检测目标。2.根据权利要求1所述一种基于激光雷达和相机融合的海面目标检测方法，其特征在于，所述对点云数据进行聚类分析，得到点云目标这一步骤，其具体包括：任意取一个未被访问的点，访问与这个点的距离小于预设距离的所有点，得到关联点数；根据关联点数和预设点数的关系，划分候选集；在候选集中取尚未处理的点，访问与这个点的距离小于预设距离的所有点，得到候选点数；根据候选点数和预设点数的关系对未处理点进行划分，得到未处理点分类属性；重复候选集划分和未处理点分类直到所有点完成分类，得到点云目标。3.根据权利要求1所述一种基于激光雷达和相机融合的海面目标检测方法，其特征在于，所述对图像数据进行平稳处理，得到稳定图像这一步骤，其具体包括：基于海天线提取算法提取图像数据，得到海天线；基于海天线的中心点与倾斜角度构造旋转矩阵；根据旋转矩阵对图像数据进行仿射变换，得到稳定图像。4.根据权利要求3所述一种基于激光雷达和相机融合的海面目标检测方法，其特征在于，所述基于海天线提取算法提取图像数据，得到海天线这一步骤，其具体包括：对图像数据进行边缘锐化，得到边缘锐化图像；对边缘锐化图像数据进行直线检测提取，得到直线段；对直线段进行短直线过滤，并抽样取候选点；对图像数据进行区块划分，根据区块候选点数目与预设候选点数目的关系标记感兴趣区域；利用卷积神经网络对感兴趣区域的区块进行分类，得到海天线区域和背景区域；过滤海天线区域和背景区域的候选点，并进行直线拟合，得到海天线。5.根据权利要求1所述一种基于激光雷达和相机融合的海面目标检测方法，其特征在于，所述对稳定图像进行目标检测，得到视觉目标这一步骤...
【专利技术属性】
技术研发人员：单云霄，张琪，
申请(专利权)人：中山大学深圳研究院南方海洋科学与工程广东省实验室珠海，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。