【技术实现步骤摘要】
本专利技术属于路面缺陷检测，具体涉及一种基于多源传感器融合的路面缺陷检测方法、装置和计算机设备。
技术介绍
1、随着道路的运营年限不断增加，在自然灾害的侵袭和人为的破坏下，道路路面将逐渐产生各种大小不一的缺陷，坑槽、鼓包等道路缺陷不仅影响路面美观，而且将会严重影响行车安全性；另一方面，道路上由交通参与者产生的抛洒物等障碍物，也会对道路行驶的车辆有致命的威胁。目前，主要的路面障碍物和缺陷检测还主要依靠人工检测，不仅耗时耗力成本高,并且定位难度大,缺少数据直观性。最近几年，随着机器学习/深度学习技术的发展，出现了借助图像识别技术进行道路缺陷检测的相关方法；为了准确检测路面缺陷的三维信息，也出现了借助激光雷达进行路面缺陷检测的方法。
2、相关技术中，基于二维图像的道路缺陷检测方法，由于获取的图像受到光照、阴影等许多环境因素影响,可能会导致采集的图像灰度不均匀,进而使图像处理、分析和识别等操作的难度加大；此外，基于图像识别的方法虽然可以较准确的识别路面缺陷种类，但无法准确检测缺陷的尺寸信息。基于激光雷达的三维的道路检测方法，虽然增加了距离深度信息，使道路具有空间结构，可以准确检测路面缺陷的三维信息，但无法准确判断路面缺陷的类别。
技术实现思路
1、有鉴于此，本专利技术的目的在于克服现有技术的不足，提供一种基于多源传感器融合的路面缺陷检测方法、装置和计算机设备，以解决现有技术中无法准确判断路面缺陷类别的问题。
2、为实现以上目的，本专利技术采用如下技术方案：一种基于多
3、获取激光点云数据和定位信息；
4、基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，将所述车前预设范围内的点云数据转换为深度图像；
5、初步识别所述深度图像中是否存在障碍物和/或路面缺陷，并在存在时确定障碍物和/或路面缺陷的目标区域；
6、利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，并识别输出路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息。
7、进一步的，还包括：
8、将路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息存储至云平台。
9、进一步的，在获取激光点云数据后，还包括：
10、对获取激光点云数据进行去畸变处理，包括：
11、确定激光雷达的初始时间和相应的扫描点云，同时读取imu传感器获取的imu数据，得到位姿信息；
12、对所述imu数据进行插值处理，获取激光雷达扫描到该数据点时的对应位姿；
13、通过矩阵变换将该数据点恢复到激光雷达初始坐标系下，得到去畸变的激光雷达数据帧。
14、进一步的，获取定位信息，包括：
15、获取车轮编码器采集的编码器数据和imu传感器获取的imu数据；
16、利用所述编码器数据获取速度，利用所述imu数据获取偏航角、角速度和加速度；
17、融合所述速度、偏航角、角速度和加速度，得到融合信息；
18、对所述融合信息进行扩展卡尔曼滤波，得到定位信息。
19、进一步的，所述基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，包括：
20、将激光雷达坐标系下采集的点云数据通过坐标转换矩阵转换到小车坐标系下；
21、将小车坐标系下的点云数据转换到世界坐标系下；
22、将所述世界坐标系下的点云数据存储至二维栅格地图中，获取车前预设范围内的点云数据。
23、进一步的，所述初步识别所述深度图像中是否存在障碍物和/或路面缺陷，并在存在时确定障碍物和/或路面缺陷的目标区域，包括：
24、采用插值法对二维栅格地图的点云数据进行填充，更新深度图像；
25、对更新后的深度图像进行高斯滤波及自适应二值化处理，得到图像连通域；
26、确定所述图像连通域的中心坐标并基于所述中心坐标确定二值化图像在预设容限内的连通域；
27、对预设容限内的连通域进行滤除处理，得到缺陷待选框，将所述缺陷待选框确定为目标区域。
28、进一步的，利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，包括：
29、对激光雷达与相机进行联合标定，得到激光雷达坐标系和相机坐标系之间的变换关系；
30、在联合标定后，通过矩阵变换将激光雷达的三维坐标，投影到二维图像；
31、基于投影后得到的二维图像坐标，对深度图像中检测到的障碍物和/或路面缺陷的位置进行标记；
32、利用图像识别算法对图像标记的位置进行识别，验证基于雷达信息检测的障碍物和/或路面缺陷是否准确。
33、本申请实施例提供一种基于多源传感器融合的路面缺陷检测装置，包括：
34、获取模块，用于获取激光点云数据和定位信息；
35、转换模块，用于基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，将所述车前预设范围内的点云数据转换为深度图像；
36、识别模块，用于初步识别所述深度图像中是否存在障碍物和/或路面缺陷，并在存在时确定障碍物和/或路面缺陷的目标区域；
37、输出模块，用于利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，并识别输出路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息。
38、进一步的，还包括：
39、存储模块，用于将路面缺陷种类、所述障碍物和/或路面缺陷的形状大小与定位信息存储至云平台。
40、本申请实施例提供一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任一项基于多源传感器融合的路面缺陷检测方法的步骤。
41、本专利技术采用以上技术方案，能够达到的有益效果包括：
42、本专利技术提供一种基于多源传感器融合的路面缺陷检测方法、装置和计算机设备，针对城市道路的路面缺陷人工难以检测、检测准确率不高、实时性差以及路面障碍物人工清除不及时、障碍物定位难的问题，本申请提出了一种基于三维激光雷达和相机的面向城市路面的智能路面缺陷与障碍物检测方法。本申请提供的方法将激光雷达点云与图像融合后的数据用于路面缺陷与障碍物检测，能实时检测路面缺陷与障碍物种类并且可以准确定位缺陷所在位置，最后将此检测结果上传服务器，通知道路养护人员进行抢修，该方法可以实现全天候实时的进行数据采集检测，大大节约人力成本。
本文档来自技高网...【技术保护点】
1.一种基于多源传感器融合的路面缺陷检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，还包括：
3.根据权利要求1所述的方法，其特征在于，在获取激光点云数据后，还包括：
4.根据权利要求1所述的方法，其特征在于，获取定位信息，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，包括：
6.根据权利要求1所述的方法，其特征在于，所述初步识别所述深度图像中是否存在障碍物和/或路面缺陷，并在存在时确定障碍物和/或路面缺陷的目标区域，包括：
7.根据权利要求1所述的方法，其特征在于，利用相机对所述目标区域的障碍物和/或路面缺陷进行验证，包括：
8.一种基于多源传感器融合的路面缺陷检测装置，其特征在于，包括：
9.根据权利要求8所述的装置，其特征在于，还包括：
10.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所
...【技术特征摘要】
1.一种基于多源传感器融合的路面缺陷检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，还包括：
3.根据权利要求1所述的方法，其特征在于，在获取激光点云数据后，还包括：
4.根据权利要求1所述的方法，其特征在于，获取定位信息，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述激光点云数据和定位信息将多帧激光点云数据映射到二维栅格地图中，得到车前预设范围内的点云数据，包括：
6.根据权利要求1所述的方法，其特征在于，所述初步识别所述深度图像中是否存在障...
【专利技术属性】
技术研发人员：杨典潇，张旭，蒋华涛，常琳，
申请(专利权)人：斯润天朗北京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。