【技术实现步骤摘要】
本专利技术涉及异形车道线检测领域，具体涉及一种基于单目相机和3d lidar融合的异形车道线检测方法。
技术介绍
1、自动驾驶汽车(avs)的精确定位对公共驾驶安全至关重要。自动驾驶汽车可能会发生一系列定位和路线规划操作不准确的灾难性行为，如在道路对面行驶或非法改变车道。为了帮助这些自主机器人精确地感知世界并实现可靠的环境感知，自动驾驶通常使用多个传感器，包括相机、无线电检测和测距雷达等。
2、传统车道线检测一般采用照相机和激光雷达传感器来识别道路的信息。照相机与激光雷达相比成本更低，并且能够获得各种类型的信息，包括道路信息。然而，照相机容易受到光照条件的影响，难以获得准确的度量信息。由于激光雷达传感器通过反射光来测量距离，因此传感器能够测量与物体的精确距离。但是，激光雷达并不能准确地测量表面的强度值。一般来说，激光雷达通过反射光的量来计算强度值，这取决于实际的表面反射率值、与表面的距离和入射角。因此，采用激光雷达和图像融合的方法可以提高检测的正确率。
3、目前的车道线检测方法可分为深度学习的方法与传统方法两大类。基于深度学习的车道线检测方法大多依赖于复杂的结构设计及海量的训练数据。而使用传统方法检测车道线时，针对较复杂的曲线，容易出现漏检情况。因此，现有的方法实现鲁棒的异形车道线检测仍然是一个具有挑战性的问题。
技术实现思路
1、为了克服上述现有技术的不足，本专利技术提供一种基于单目相机和3d lidar融合的车道线检测方法。
2、为此，本专利
3、一种基于单目相机和激光雷达融合的异形车道线检测方法，包括以下步骤：
4、s1，对相机和雷达进行联合标定，建立点云坐标系和图像坐标系之间的转化矩阵m；
5、s2，基于点云强度的异形车道线提取：利用点云分割方法确认点云强度值并校准，将校准后的点云强度值投影到s1建立的转化矩阵m中，得到强度特征图像，通过检测所述强度特征图像的不同灰度值提取异形车道线；
6、s3，基于yolov5的图像分割：将rgb图像输入yolov5检测框架，检测车道线；
7、s4，通过s1建立的所述对应关系，将s3得到的点云映射到s2得到的图像上，利用大津法进行目标细化，实现基于单目相机和激光雷达融合的异形车道线检测。
8、上述步骤s1的具体方法为：
9、利用相机和激光雷达采集不同姿态下定标板的平面数据，分别提取对应的同一姿态下定标板平面的像素数据和激光点云数据，其中，相机采集的像素数据用二维点(u,v)表示，激光雷达采集的激光点云数据用三维点(x,y,z)表示，将所述三维点(x,y,z)映射到对应的二维点(u,v)，将一系列对应的(u,v)和(x,y,z)点集转换为如下矩阵方程：
10、
11、其中，(fu,fv,u0,v0)是相机参数，fu、fv分别是x轴和y轴方向的尺度因子；(u0,v0)是像平面的中心点坐标，r为旋转矩阵，t为平移矢量；
12、
13、收集足够的(u,v)和(x,y,z)点集，求解下述矩阵方程，获得m11、m12、m13、m14、m21、m22、m23、m24、m31、m32、m33、m34的解，从而得到点云坐标系和图像坐标系之间的转化矩阵m：
14、
15、上述的步骤s2具体包括以下分步骤：
16、s21，确认点云强度值：
17、三维激光雷达传感器的强度值iid随入射角i和传感器与反射率为ρ的表面之间的距离d而变化，将强度值建模为入射角和距离d的函数f(i,d)，有：
18、
19、对于相同入射角和距离下的两个表面，强度比应与其实际反射率比相同，如果已知每个入射角和距离的参考面iref的强度特征，则可以使用强度值为iid的特征来估计反射率ρ，将该估计的反射率作为校准的强度值：
20、
21、s22，点云强度值校准：
22、将参考面的ρref设置为恒定值；将具有恒定表面的建筑外墙作为所述参考面，从建筑外墙获得三维激光雷达数据，并通过估算每个点的表面法线来计算入射角，通过计算每个入射角i和与表面距离d对应的强度的平均值和标准差σid，并生成基于lut的模型，其中：
23、
24、式中，n为每个表元素所对应的数据值；
25、用lut的平均值作为参考面iref的强度值，通过校准后的反射率值和公式(6)计算出强度值iid、入射角和到表面的距离；
26、校准后，远处道路标记的亮度与附近道路标记相似，在距离较远、入射角较大的区域，道路标记和沥青的强度值差异较小，其中，传感器强度值的误差、距离测量中错误计算入射角和传感器误差会引起噪声；
27、对于具有倾斜角度的三维激光雷达系统，以不同的角度和距离多次测量一个面积，使用校准后的强度值和每个点的标准偏差来进行体素滤波：
28、
29、式中，n是属于一个单体素的点数，使用校准的强度值和标准值计算每个体素的强度值和标准偏差，每个体素中的点的偏差计算参照等式(6)和(7)；
30、s23，对点云强度值进行校准以后，再基于点云强度值提取异形车道线：
31、将点云强度值投影到m行c列的网格中，整个点云区域中，最大最小x,y坐标分别为xmax,xmin,ymax,ymin，将这些坐标构成的矩形投影到xoy平面，在像素大小为n的m行c列的网格中，落在每个网格内所有的扫描点的平均强度值为该格的灰度值，最后将所述灰度值归一化，在0～255像素之间，得到强度特征图像，
32、
33、通过检测图像的不同灰度值，提取道路标线边缘，进一步确定道路标线的具体位置。
34、优选的是，步骤s22中所述lut的入射角i的分辨率为1度，表面距离d的分辨率为1cm。
35、优选的是，s23还包括：通过使用sobel算子对得到的图像卷积得到梯度图像，利用一维最大熵算法计算阈值，提取图像边缘，对边缘图像进行连通区域分析，将彼此连通的像素标记为一个连通区域，每个连通区域对应一条图像边缘。
36、优选的是，s22中所述的恒定值为15。
37、s4中利用大津法进行目标细化的方法为：从yolov5输出的候选道路标线像素中检索候选道路标线点云，将点云进行分割，利用欧氏聚类方法，通过连接组件分析将融合的点云进一步分割为孤立的对象；对点数小于阈值的连通分量进行过滤，针对每个孤立的道路标线点云，根据点云强度应用otsu大津阈值法，并保持点云具有较高的强度值，以提炼出道路标线，并消除地理参考图像的锯齿效应；所述阈值根据平均点间距计算得出：
38、
39、其中假设g为阈值，prm和prs分别为道路标线和路面点云的概率，而μrm和μrs分别为其对应的平均值。
40、此外，为了尽量减少噪声点的影响，采用离群点滤波本文档来自技高网...
【技术保护点】
1.一种基于单目相机和激光雷达融合的异形车道线检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的异形车道线检测方法，其特征在于，步骤S1的具体方法为：
3.根据权利要求1所述的异形车道线提取方法，其特征在于，步骤S2包括以下分步骤：
4.根据权利要求3所述的异形车道线检测方法，其特征在于：S22中，所述LUT入射角i的分辨率为1度，表面距离d的分辨率为1cm。
5.根据权利要求3所述的异形车道线检测方法，其特征在于，S23还包括：通过使用sobel算子对得到的图像卷积得到梯度图像，利用一维最大熵算法计算阈值，提取图像边缘，对边缘图像进行连通区域分析，将彼此连通的像素标记为一个连通区域，每个连通区域对应一条图像边缘。
6.根据权利要求3所述的异形车道线检测方法，其特征在于，S22中所述的恒定值为15。
7.根据权利要求1所述的异形车道线检测方法，其特征在于，S4中利用大津法进行目标细化的方法为：从YOLOv5输出的候选道路标线像素中检索候选道路标线点云，将点云进行分割，利用欧氏聚类方法，通过连接组件
8.根据权利要求7所述的异形车道线检测方法，其特征在于，进一步采用离群点滤波器去除几何离群点。
...【技术特征摘要】
1.一种基于单目相机和激光雷达融合的异形车道线检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的异形车道线检测方法，其特征在于，步骤s1的具体方法为：
3.根据权利要求1所述的异形车道线提取方法，其特征在于，步骤s2包括以下分步骤：
4.根据权利要求3所述的异形车道线检测方法，其特征在于：s22中，所述lut入射角i的分辨率为1度，表面距离d的分辨率为1cm。
5.根据权利要求3所述的异形车道线检测方法，其特征在于，s23还包括：通过使用sobel算子对得到的图像卷积得到梯度图像，利用一维最大熵算法计算阈值，提取图像边缘，对边缘图像进行连通区域分析，将彼此连通的像素标记为一个连通区域，每个连通区域对应一条图...
【专利技术属性】
技术研发人员：张祖锋，张雪峰，朱光耀，孙忠平，
申请(专利权)人：畅加风行苏州智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。