用于水面交通的基于多传感器融合的目标检测方法及介质技术

本发明专利技术的一种用于水面交通的基于多传感器融合的目标检测方法及介质，包括采集水面目标数据；单目相机采集到的水面目标视频数据经过预处理后送入YOLOv3网络，进行训练和识别；激光雷达采集到的水面目标点云数据通过欧式聚类分割算法获取水面目标的位置和大小；对获取的水面目标建立目标模型并对前后帧的目标进行关联，实现目标的跟踪并得到每个目标的速度信息；将YOLOv3网络生成的2D框与点云生成的目标3D框进行融合，并输出融合后目标的完整信息；显示目标框在点云和图像中的位置以及检测出的目标完整信息；将目标完整信息数据通过socket通信发送给控制决策层，实现无人船自主避障功能。本发明专利技术通过对相机和激光雷达的数据融合，实现对目标的快速识别和跟踪。实现对目标的快速识别和跟踪。实现对目标的快速识别和跟踪。

【技术实现步骤摘要】
用于水面交通的基于多传感器融合的目标检测方法及介质


[0001]本专利技术涉及无人船感知
，具体涉及一种用于水面交通的基于多传感器融合的目标检测方法及介质。

技术介绍

[0002]无人船是一种能够自主路径规划、自主航行向，可以采用人工干预的方式或自主信息采集的方式对水面复杂环境完成环境感知、目标识别与探测、目标跟踪等多种任务。在复杂的水面环境中，无人船能否准确地感知与定位是无人船安全作业的关键。水面上环境复杂恶劣且变化无常，无人船体积重量等较小，航行平稳性较差，获得的水面图像质量较差，对其能够自主准确判断作业环境中的目标物或障碍物产生了巨大挑战，同时对其信息处理系统有着较高的智能化要求。
[0003]船舶高度自动化发展依赖于对障碍物的精准识别能力，对感知技术提出了更高的要求。完成对水面碍航物的识别，需要依靠传感器感知与数据处理技术，分析周围的静、动态障碍物的位置、大小和运动等信息，为船舶的定位、导航、路径规划与控制决策等提供支持。多传感器数据融合处理为无人船在未知的环境下，提供了自主导航和环境探测的可行性方案。

技术实现思路

[0004]本专利技术提出的一种用于水面交通的基于多传感器融合的目标检测方法，可至少解决上述技术问题之一。
[0005]为实现上述目的，本专利技术采用了以下技术方案：
[0006]一种用于水面交通的基于多传感器融合的目标检测方法，包括以下步骤，
[0007]步骤一：通过单目相机和激光雷达采集水面目标数据；
[0008]步骤二：单目相机采集到的水面目标视频数据经过预处理后送入YOLOv3网络，对水面目标进行训练和识别，生成水面目标的2D框；
[0009]步骤三：激光雷达采集到的水面目标点云数据通过欧式聚类分割算法获取水面目标的位置和大小，生成水面目标的3D框；
[0010]步骤四：通过3D目标跟踪算法对步骤三中获取的水面目标建立目标模型并对前后帧的目标进行关联，实现目标的跟踪并得到每个目标的速度信息；
[0011]步骤五：将YOLOv3网络生成的2D框与点云生成的目标3D框进行融合，并输出融合后目标的完整信息；
[0012]步骤六：通过可视化模块显示目标框在点云和图像中的位置以及检测出的目标完整信息；
[0013]步骤七：将目标完整信息数据通过socket通信发送给控制决策层，实现无人船自主避障功能。
[0014]进一步的，所述步骤一中，单目相机使用的是180
°
的广角相机或普通相机；
[0015]激光雷达使用的是16线旋转式激光雷达，两个传感器垂直放置。
[0016]进一步的，所述步骤二中输入如果是广角相机采集到的水面目标视频数据，通过图像预处理对图片进行分割后在送入YOLOv3网络。
[0017]进一步的，所述步骤三包括对点云按距离进行区域划分，针对不同区域的点云设计了不同的聚类尺寸和聚类点个数；对于近距离范围即大于0小于等于40米的目标，激光雷达扫描获取到的目标点个数较多，所以增加聚类点的最小个数以及目标框的尺寸来筛选出符合特征的目标，减少小目标的干扰；而较远距离即大于40小于等于100米获取点的个数较少，实验过程中对于50m外的小型船舶仅能识别到几个点，所以对于远距离的目标则减少聚类的限制。
[0018]进一步的，所述步骤四中，在为现有目标分配检测时，估计每个目标的包围盒几何体在当前帧中的新位置，然后使用分配矩阵计算当前时刻的每个检测框与现有目标的所有预测边界框之间的IOU距离，如果对目标的检测重叠小于阈值IOUmin则拒绝分配。
[0019]进一步的，所述步骤四还包括解算目标速度时为了减小噪声干扰和误差，将上一时刻目标的速度加入当前时刻，计算公式如下：
[0020]v
cur
＝(x
dif
+v
pre
)/(t
dif
+1)
[0021]其中，x
dif
和t
dif
为前后坐标差和时间差。
[0022]进一步的，所述步骤五中先通过特征点匹配的方法标定相机与激光雷达，然后将YOLOv3产生的2D框与点云聚类生成的3D目标框进行边界框融合。
[0023]进一步的，所述步骤五中边界框的融合策略如下：
[0024](1)先对YOLO框集合和3D点云框集合按照由近到远、由左到右的顺序分别进行排序；
[0025](2)遍历YOLO框集合，然后用当前YOLO框去点云框集合遍历寻找是否有符合匹配条件的点云框；
[0026](3)如果符合匹配条件，则将该点云框标记为已经匹配，并将点云框带有的目标标号、位置和速度信息赋给融合后的YOLO框。
[0027]进一步的，所述步骤六中，输出的目标完整信息包含目标的类别名、目标标号、相对位置及相对速度。
[0028]另一方面，本专利技术还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述方法的步骤。
[0029]综上所述，目前对于多传感器的数据融合算法并不充分，鉴于激光雷达与摄像头各自优缺点的对比分析。本专利技术设计并开发一套以无人船为研究对象的多传感器融合的目标检测方法，帮助船舶能够更好地实现避障功能，满足和完成各种环境条件下的需求和任务，这对于实现船舶的自动驾驶功能具有极高的工程价值。本专利技术通过对相机和激光雷达的数据融合，能够实现对目标的快速识别和跟踪，实时地获取目标的类别、位置、速度信息。
[0030]本专利技术的优点在于：
[0031](1)图像检测算法基于YOLOv3实现对水面障碍物的识别，算法准确性高且具有实时性，识别帧率可以达到40fps；
[0032](2)将摄像头捕捉的目标图像与激光雷达获取的点云数据进行决策级融合，获取水面碍航物的类别、距离等信息，实现点云与图像融合的3D目标检测算法；
[0033](3)在检测的基础上增加目标跟踪的功能，实现多目标跟踪算法，对前后帧的目标进行数据关联，并对目标的状态信息进行解算；
[0034](4)基于ROS设计无人船的各功能节点，使无人船能够满足不同场景下的需求实现L2级别的自动驾驶功能。
附图说明
[0035]图1为本专利技术给出的应用于无人船的基于多传感器融合的目标检测算法流程图；
[0036]图2为本专利技术给出的处理点云动态调参图；
[0037]图3为本专利技术给出的边界框融合算法流程图；
[0038]图4为本专利技术给出的基于单目相机与激光雷达融合实现对水面目标进行检测的可视化结果图；
[0039]图5为本专利技术给出的ROS中各节点之间通信关系图。
具体实施方式
[0040]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于水面交通的基于多传感器融合的目标检测方法，其特征在于，包括以下步骤，步骤一：通过单目相机和激光雷达采集水面目标数据；步骤二：单目相机采集到的水面目标视频数据经过预处理后送入YOLOv3网络，对水面目标进行训练和识别，生成水面目标的2D框；步骤三：激光雷达采集到的水面目标点云数据通过欧式聚类分割算法获取水面目标的位置和大小，生成水面目标的3D框；步骤四：通过3D目标跟踪算法对步骤三中获取的水面目标建立目标模型并对前后帧的目标进行关联，实现目标的跟踪并得到每个目标的速度信息；步骤五：将YOLOv3网络生成的2D框与点云生成的目标3D框进行融合，并输出融合后目标的完整信息；步骤六：通过可视化模块显示目标框在点云和图像中的位置以及检测出的目标完整信息；步骤七：将目标完整信息数据通过socket通信发送给控制决策层，实现无人船自主避障功能。2.根据权利要求1所述的用于水面交通的基于多传感器融合的目标检测方法，其特征在于：所述步骤一中，单目相机使用的是180
°
的广角相机或普通相机；激光雷达使用的是16线旋转式激光雷达，两个传感器垂直放置。3.根据权利要求2所述的用于水面交通的基于多传感器融合的目标检测方法，其特征在于：所述步骤二中输入如果是广角相机采集到的水面目标视频数据，通过图像预处理对图片进行分割后在送入YOLOv3网络。4.根据权利要求3所述的用于水面交通的基于多传感器融合的目标检测方法，其特征在于：所述步骤三包括对点云按距离进行区域划分，针对不同区域的点云设计了不同的聚类尺寸和聚类点个数；对于近距离范围即大于0小于等于40米的目标，激光雷达扫描获取到的目标点个数较多，通过增加聚类点的最小个数以及目标框的尺寸来筛选出符合特征的目标，减少小目标的干扰；而较远距离即大于40小于等于100米的目标获取点的个数较少，则对于远距离的目标则减少聚类的限制。5.根据权利要求4所述的用于水面交通的基于多...

【专利技术属性】
技术研发人员：陆子龙，闫蓟平，李宝安，
申请(专利权)人：北京航空航天大学合肥创新研究院北京航空航天大学合肥研究生院，
类型：发明
国别省市：