一种全类别3D障碍物检测方法、系统和介质技术方案

一种全类别3D障碍物检测方法、系统及介质，包括：S100，对道路图像进行2D障碍物检测，并通过路面分割模型获取道路图像中路面的点的像素坐标；S200，获取道路的空间点云数据；S300，将空间点云数据转换为基于路面方程的空间点云，并对空间点云进行网格化；S400，在网格化的空间点云中放置并筛选出用于检测的三维框；S500，对筛选出的三维框进行分类和回归，从而检测出路面的3D障碍物。通过从图片中分割出道路平面并估算出参数化的路平面方程，提高了障碍物检测的质量，且可以根据精度要求和成本选择不同的传感器输入，而且不受被检测障碍物类别的限制，可以输出全类别的3D障碍物检测结果。

【技术实现步骤摘要】
一种全类别3D障碍物检测方法、系统和介质所属
本专利技术涉及自动驾驶领域，更具体地，特别是指一种自动驾驶中对障碍物进行检测的方法、系统以及可读存储介质。
技术介绍
随着自动驾驶技术的发展，汽车安全技术收到越来越多的重视。其中基于传感器的障碍物检测技术在自动驾驶领域中起着至关重要的作用。各种传感器设备可以用于获取各种实时路况信息。常用的车载传感器主要包括视觉类，例如红外线、单目摄像机、双目摄像机等，还包括测距类，例如超声波、毫米波雷达、激光雷达等。每一种传感器的特定都各不相同，都有其适用的场合及受限制的方面。例如，激光雷达具有广泛的视野，精确的深度信息以及目标识别中的远距离和夜视能力，然而，随着与扫描中心距离的增加，激光雷达点云的分布变得越来越稀疏，这使得激光雷达很难在分类中检测到特定的物体。摄像机可以提供高分辨率图像、体积小、成本低和功耗小，但相机受光照和阴影等光线变化影响较大，且缺乏3D物体的位置，仅靠摄像机图像难以获得三维信息。因此，近年来业界多采用多种传感器综合使用，通过多传感器融合来避免单一传感器使用时造成的问题。但是现有的多传感器融合时多各传感器数据的应用比较单一，未有效融合各传感器数据。且如果某个传感器故障时，会导致障碍物检测系统及方法无法很好地适应，使得整个系统鲁棒性较差。另外，目前公知的障碍物检测方法主要包括：1.采用几何约束障碍物检测方法，即利用障碍物的3D框投影到图片中时，应该跟2D检测框吻合这一先验，来估算障碍物的3D框的参数。但是几何约束法只能检测有限类别的规则障碍物，对于外形不规则的障碍物，无法检测。2.通过车辆在图片中的高度和真实物理世界高度的比值，结合相机模型，大致估算车辆距离。但是这种估算方法精度不高，如果实际物体的高度变化较大，则估算更不准确。
技术实现思路
为了能够进行全类别的障碍物检测，并且可以更好地融合其他传感器的数据且系统鲁棒性较强，本专利技术提出了一种障碍物检测方法、系统及介质，通过图片分割出路平面，并估算出参数化的路平面方程，通过拟合路面对路平面上的点进行聚类，从而进行障碍物检测。本专利技术的目的在于提供一种全类别3D障碍物检测方法、系统和存储介质。第一方面，本专利技术实施例提供了一种全类别3D障碍物检测方法，包括：S100，对道路图像进行2D障碍物检测，并通过路面分割模型获取道路图像中路面的点的像素坐标；S200，获取道路的空间点云数据；S300，将空间点云数据转换为基于路面方程的空间点云，并对空间点云进行网格化；S400，在网格化的空间点云中放置并筛选出用于检测的三维框；S500，对筛选出的三维框进行分类和回归，从而检测出路面的3D障碍物。其中，S200，获取道路的空间点云数据包括，通过激光雷达结合视觉传感器获得空间点云数据。其中，S300，将空间点云数据转换为基于路面方程的空间点云，并对空间点云进行网格化，包括，S310，拟合路面方程；S320，将空间点云转换为基于路面方程的空间点云；S330，对基于路面方程的空间点云进行网格化。其中，S310，拟合路面方程包括，根据地面点云数据的空间三维坐标来拟合出道路的路面方程：ax+by+cz+d＝0；a、b、c、d为基于地面点云数据的空间三维坐标获取的路面方程的参数；其中，通过路面的点的像素坐标，以及道路的空间点云数据，计算出地面点云数据的空间三维坐标。其中，S100还包括，通过车道线检测模型获取道路图像中的车道线；S310还包括，将该车道线与高精度地图中的车道线进行匹配，计算出车辆在高精度地图中的位置，然后通过高精度地图中的路面方程筛选出靠近路面上的点，再根据这些筛选出的点对拟合的路面方程进行优化。其中，S320，将空间点云转换为基于路面方程的空间点云包括，将步骤S200获得的空间点云数据投影到路面上，获得车体坐标系下的空间点云数据。其中，S330，对基于路面方程的空间点云进行网格化包括，选取车体坐标系下一定坐标范围内的空间点云数据，将其划分为三维网格；对于三维网格的每一个，如果存在一个空间点，则以该空间点的坐标作为该网格的坐标，如果不存在空间点，则该三维网格的坐标被标记为0，将该三维网格剔除，如果存在多个空间点，则选取最高的空间点或者多个空间点的平均值作为该网格的坐标。其中，S400，在网格化的空间点云中放置并筛选出用于检测的三维框包括，对于每一个三维网格，放置一个用于检测的长方体三维框。其中，S400，在网格化的空间点云中放置并筛选出用于检测的三维框包括，每间隔若干个三维网格放置一个用于检测的长方体三维框。其中，S100还包括，以矩形框标示每个检测出的2D障碍物；S400还包括，S4210，将每个三维框投影到道路图像中；S4220，将每个三维框在道路图像中的投影与标示障碍物的相应矩形框进行对比，如果二者重合面积大于或等于阈值，则确定为障碍物；如果二者重合区域小于阈值，则认定为非障碍物。其中，S400还包括，通过毫米波雷达和/或超声波雷达探测出障碍物的空间位置，计算出各个障碍物到相应长方体三维框中心的距离，然后通过设置一阈值对长方体三维框进行筛选。第二方面，本专利技术实施例提供了一种全类别3D障碍物检测系统，包括存储器和处理器，所述存储器存储指令；其特征在于，所述处理器用于根据存储在存储器中的指令，执行上述方法。第三方面，本专利技术实施例提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，其特征在于，所述计算机该程序被处理器执行时实现上述方法。相比于现有的障碍物检测方法，本专利技术通过从图片中分割出道路平面并估算出参数化的路平面方程，提高了障碍物检测的质量，且本专利技术可扩展性强，可以根据精度要求和成本选择不同的传感器输入，而且不受被检测障碍物类别的限制，可以输出全类别的3D障碍物检测结果。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术障碍物检测方法的流程框图。图2为本专利技术基于路面方程进行空间点云网格化的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。根据本专利技术的一个方面，提供了一种全类别3D障碍物检测方法，具体实现思路为通过从图片中分割出路平面，并估算出参数化的路平面方程，通过拟合路面方程对路平面上的点进行聚类，从而进行障碍物检测。请参考图1，其示出了根据本申请一个实本文档来自技高网...

【技术保护点】
1.一种全类别3D障碍物检测方法，包括：/nS100，对道路图像进行2D障碍物检测，并通过路面分割模型获取道路图像中路面的点的像素坐标；/nS200，获取道路的空间点云数据；/nS300，将空间点云数据转换为基于路面方程的空间点云，并对空间点云进行网格化；/nS400，在网格化的空间点云中放置并筛选出用于检测的三维框；/nS500，对筛选出的三维框进行分类和回归，从而检测出路面的3D障碍物。/n

【技术特征摘要】
1.一种全类别3D障碍物检测方法，包括：
S100，对道路图像进行2D障碍物检测，并通过路面分割模型获取道路图像中路面的点的像素坐标；
S200，获取道路的空间点云数据；
S300，将空间点云数据转换为基于路面方程的空间点云，并对空间点云进行网格化；
S400，在网格化的空间点云中放置并筛选出用于检测的三维框；
S500，对筛选出的三维框进行分类和回归，从而检测出路面的3D障碍物。


2.根据权利要求1所述的方法，其中，S200，获取道路的空间点云数据包括，通过激光雷达结合视觉传感器获得空间点云数据。


3.根据权利要求1或2所述的方法，其中，S300，将空间点云数据转换为基于路面方程的空间点云，并对空间点云进行网格化，包括，
S310，拟合路面方程；
S320，将空间点云转换为基于路面方程的空间点云；
S330，对基于路面方程的空间点云进行网格化。


4.根据权利要求3所述的方法，其中，S310，拟合路面方程包括，
根据地面点云数据的空间三维坐标来拟合出道路的路面方程：ax+by+cz+d＝0；
a、b、c、d为基于地面点云数据的空间三维坐标获取的路面方程的参数；
其中，通过路面的点的像素坐标，以及道路的空间点云数据，计算出地面点云数据的空间三维坐标。


5.根据权利要求3或4所述的方法，其中，S100还包括，通过车道线检测模型获取道路图像中的车道线；
S310还包括，将该车道线与高精度地图中的车道线进行匹配，计算出车辆在高精度地图中的位置，然后通过高精度地图中的路面方程筛选出靠近路面上的点，再根据这些筛选出的点对拟合的路面方程进行优化。


6.根据权利要求3-5任一项所述的方法，其中，S320，将空间点云转换为基于路面方程的空间点云包括，将步骤S200获得的空间点云数据投影到路面上，获得车...

【专利技术属性】
技术研发人员：段志祥，杨奎元，
申请(专利权)人：深动科技北京有限公司，
类型：发明
国别省市：北京;11