本发明专利技术公开了一种基于双目相机与激光雷达融合的目标检测方法，属于水上舰艇以及水上大型船舶的感知技术领域。包括：构建双目相机与激光雷达传感器融合的空间模型，采集双目图像和点云；针对所述双目图像进行自适应局部直方图均衡化、边缘化及灰度化预处理；针对所述点云建立自适应滤波规则进行点云预处理，并进行点云聚类；构建改进的YOLOv5网络模型对预处理后的所述双目图像进行检测，并计算深度信息和视差信息；将所述深度信息与所述不同的点云集群的点云进行二次映射匹配并检测，获得目标检测结果。本发明专利技术解决了水上目标检测依赖图像信息导致检测精度不高的问题，同时实现了基于双目相机与激光雷达的进行融合加权测距以及区分海天线的功能。
【技术实现步骤摘要】
本专利技术涉及水上舰艇以及水上大型船舶的感知，特别涉及其一种基于双目相机与激光雷达融合的目标检测方法。
技术介绍
1、目标检测技术广泛应用于辅助驾驶、行人检测、微生物检测、影响识别等诸多领域，其任务是主要将感兴趣的目标从所在目标群体识别或分离出来。当前，目标检测技术主要基于图像和点云数据通过检测算法来获取目标的形状、纹理和类别。
2、公开号为cn115937842a的中国专利，公开了一种基于相机与毫米波雷达融合的3d目标检测方法，其提出的目标检测方法，可以实现通过较低成本即可获得可靠的检测结果。但基于相机与毫米波雷达的检测算法在实际场景中依然存在固有缺陷，如相机与毫米波雷达的融合不能在水上目标获取可靠信息和位置信息等，因此目前的目标检测算法并不能适用于水上舰艇以及水上大型船舶的目标检测。
技术实现思路
1、针对现有技术的缺陷，本专利技术基于双目相机与激光雷达融合的感知技术相提出了一种在数据层以及特征层进行融合的方法，解决了水上目标检测依赖图像信息导致检测精度不高的问题，检测信息更加可靠，并能够在恶劣环境中感知效果更优，无论是在水上检测还是在陆地检测都有良好的应用前景。
2、为了达到上述目的，本专利技术提供了一种基于双目相机与激光雷达融合的目标检测方法，包括如下步骤：
3、(1)构建双目相机与激光雷达融合空间模型，并基于此模型采集双目图像和点云；
4、(2)针对所述双目图像，进行自适应局部直方图均衡化、边缘化及灰度化的预处理；
<
p>5、(3)针对所述点云，建立自适应滤波规则进行点云预处理，并进行点云聚类，得到不同的点云集群；6、(4)构建改进的yolov5网络模型，对预处理后的所述双目图像进行检测，并计算深度信息和视差信息；
7、(5)将所述深度信息与所述不同的点云集群的点云进行二次映射匹配并检测，获得目标检测结果。
8、进一步的，所述双目相机与激光雷达传感器融合的空间模型具体为：
9、(1.1)使用双目相机和激光雷达同时扫描和拍摄待标定场景的数据，得到所述双目图像和点云，并记录姿态和位置；
10、(1.2)对所述双目相机进行标定，得到所述双目相机的内参和畸变参数，根据所述双目相机的相机坐标和世界坐标的变换计算双目相机的外参矩阵，其映射关系如下：
11、
12、其中：(xc，yc，zc)为所述双目相机的相机坐标；(xw，yw，zw)为其对应的世界坐标；r，t为所述双目相机外参数矩阵，r为3*3旋转正交矩阵，t为3*1平移矩阵；
13、(1.3)计算所述激光雷达的点云坐标，将所述激光雷达的点云坐标投影到所述双目相机的相机坐标系上，得到对应的像素坐标和深度值，具体为：
14、
15、
16、其中：(xl，yl，zl)为所述激光雷达的点云坐标；e为所述激光雷达的点云坐标到所述双目相机的相机坐标系下的转换矩阵，e-1为该转换矩阵的逆矩阵；h为所述双目相机的相机坐标到像素坐标的系数矩阵，(xi，yi)为所述双目相机的像素坐标；
17、(1.4)调整所述激光雷达扫描方向和相位视角，多次重复步骤(1.3)，根据所述双目相机标定参数计算出所述激光雷达的点云坐标在所述双目相机的相机坐标系下的最佳坐标；
18、(1.5)根据所述双目相机的内外参，以及所述激光雷达在所述双目相机坐标系下的最佳坐标，建立所述双目相机与激光雷达之间的变化关系，构建双目相机与激光雷达空间模型。
19、进一步的，所述自适应局部直方图均衡化具体为：
20、将所述双目图像分割成多个子块区域，并对切割成的所述子块区域计算在直方图值为255时像素数是否大于110；如果为真则直接输出原始图像，否则计算整幅图像及每所述子块区域的光照和亮度；
21、若所述子块区域的平均亮度值小于整幅图像的平均值则采用自适应直方图均衡化方法，反之则采用限制对比度自适应直方图均衡化方法，最后拼接所述子块区域图像并输出；
22、针对自适应局部直方图均衡化后的所述双目图像，还采用平滑滤波去除图像噪点；
23、所述边缘化包括高斯滤波、计算图像梯度大小和方向、非极大值抑制、双阈值筛选边缘以及连接边缘；
24、所述高斯滤波为对所述双目图像进行平滑处理，降低噪声；
25、所述计算图像梯度大小和方向为在所述双目图像上计算每个像素点的梯度和梯度方向；
26、所述非极大值抑制为通过抑制非极大值像素来精简边缘检测结果；
27、所述双阈值筛选边缘为使用两个阈值来筛选出真正的边缘；
28、所述连接边缘为将所述双阈值筛选边缘进行连接，形成完整的边缘线；
29、所述灰度化具体为：
30、对于所述双目图像，计算其亮度，若亮度低于70则实用最大值法进行灰度化处理，若高于70则采用加权法或平均值法进行灰度化处理。
31、进一步的，所述针对所述点云，建立自适应滤波规则进行点云处理具体为：
32、(3.1)针对所述点云，分析其空间分布和密度分布情况，得到水平面和垂直方向上的平均点云密度；
33、(3.2)判断所述平均点云密度，若小于第一阈值，则此帧所述点云无效，需重新采集所述点云；否则若大于等于第一阈值且小于第二阈值则采用基于半径的滤波方法；若大于等于第二阈值则采用基于形态学的滤波方法。
34、进一步的，所述基于形态学的滤波方法具体为：
35、将所述点云划分为多个等大小、等间距的体素格子；
36、在每个所述体素中心位置上计算点云密度，以确定数据中的噪声和未处理的区域；
37、选取初始的滤波半径，并在每个所述体素中心位置进行形态学滤波开运算，以减少噪声、平滑数据；
38、逐步缩小滤波半径，重复进行上述形态学滤波操作，并在每个尺度下分别计算点云密度，用于确定噪声和未处理的区域，直至滤波半径缩小到给定范围。
39、进一步的，所述对预处理后的所述双目图像进行检测，并计算深度信息和视差信息具体为：
40、(4.1)利用改进的yolov5网络模型对预处理后的所述双目图像的左右两幅图像进行目标检测，获取目标物体的位置和类别信息；
41、(4.2)通过双目视差计算算法，对所述左右两幅图像进行匹配，得到所述视差信息，并进而计算出所述深度信息；
42、
43、
44、其中：z为所述深度信息，即目标中心点到所述双目相机两相机中心点的距离；f为所述双目相机的焦距；b为所述双目相机两相机的中心距离；d为待观测场景的某一点在所述双目相机两个相机上的成像点ptar_l,ptar_r之间的距离；b-d为所述视差信息，即左右两幅图像像素之间的水平偏移量。
45、进一步的，所述改进的yolov5网络模型具体为：
46、输入端将输入的不同本文档来自技高网
...
【技术保护点】
1.一种基于双目相机与激光雷达融合的目标检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于双目相机与激光雷达融合的目标检测方法，其特征在于，所述双目相机与激光雷达融合空间模型具体为：
3.根据权利要求1所述的基于双目相机与激光雷达融合的目标检测方法，其特征在于，所述自适应局部直方图均衡化具体为：
4.根据权利要求1所述的基于双目相机与激光雷达融合的目标检测方法，其特征在于，所述针对所述点云，建立自适应滤波规则进行点云处理具体为：
5.根据权利要求4所述的基于双目相机与激光雷达融合的目标检测方法，其特征在于，所述基于形态学的滤波方法具体为：
6.根据权利要求1所述的基于双目相机与激光雷达融合的目标检测方法，其特征在于，所述对预处理后的所述双目图像进行检测，并计算深度信息和视差信息具体为：
7.根据权利要求1所述的基于双目相机与激光雷达融合的目标检测方法，其特征在于，所述改进的YOLOv5网络模型具体为：
8.根据权利要求1所述的基于双目相机与激光雷达融合的目标检测方法，其特征在于，将所述深度信息与所述不同的点云集群的点云信息进行二次映射匹配并检测，获得目标检测结果具体为：
9.根据权利要求8所述的基于双目相机与激光雷达融合的目标检测方法，其特征在于，所述步骤(5.1)具体为：
...
【技术特征摘要】
1.一种基于双目相机与激光雷达融合的目标检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于双目相机与激光雷达融合的目标检测方法，其特征在于，所述双目相机与激光雷达融合空间模型具体为：
3.根据权利要求1所述的基于双目相机与激光雷达融合的目标检测方法，其特征在于，所述自适应局部直方图均衡化具体为：
4.根据权利要求1所述的基于双目相机与激光雷达融合的目标检测方法，其特征在于，所述针对所述点云，建立自适应滤波规则进行点云处理具体为：
5.根据权利要求4所述的基于双目相机与激光雷达融合的目标检测方法，其特征在于，所述基于形态学的滤波方法具...
【专利技术属性】
技术研发人员：李永国，王源荣，徐彩银，谢嘉，
申请(专利权)人：上海海洋大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。