一种适用于端到端自动驾驶的感知及导航定位融合的方法技术

本发明专利技术公开了一种适用于端到端自动驾驶的感知及导航定位融合的方法，该方法的具体步骤包括：获取当前行驶路况的信息，进行俯视投影和栅格化处理，输出栅格图，将视觉识别的车道信息和交通信号灯信息叠加到栅格图中，再将导航信息融合到栅格图中，基于车道信息、交通信号灯信息和导航信息对栅格图进行重构处理，在栅格图中填充对应栅格值，获得多信息融合栅格图。本发明专利技术对原始图像进行栅格化处理，提高其融合度和能有效防止有用信息的丢失，可以保留较为原始的感知信息，同时将导航定位等信息进行融合和将无用的道路信息过滤掉，适用于后续神经网络的学习和训练，提高自动驾驶规划决策的准确性。策的准确性。策的准确性。

【技术实现步骤摘要】
一种适用于端到端自动驾驶的感知及导航定位融合的方法


[0001]本专利技术涉及感知信息融合处理
，具体涉及一种适用于端到端自动驾驶的感知及导航定位融合的方法。

技术介绍

[0002]自动驾驶需要获取实时的行驶环境信息，具体来说包括行人、车辆的位置和速度，可行驶区域，交通规则等，自动驾驶车的感知模块通过融合多种传感器数据来获取这些信息，同时，自动驾驶还需高精度地图和定位的配合，一般使用GPS和IMU的组合惯导来完成高精定位功能。
[0003]用于端到端自动驾驶的感知信息，如果不经过融合，直接使用原始图像和点云，一方面融合难度较高，另一方面可能存在有用信息的丢失，影响端到端自动驾驶神经网络的表现效果，因此，亟需一种能够实现既可以保留较为原始的感知信息，同时将导航定位等信息进行融合的技术。

技术实现思路

[0004]为了克服现有技术存在的缺陷与不足，本专利技术提供一种适用于端到端自动驾驶的感知及导航定位融合的方法，本专利技术对原始图像进行栅格化处理，可以提高其融合度和防止有用信息的丢失，能够保留较为原始的感知信息，同时将导航定位等信息进行融合，得到具备丰富信息的感知融合输入，并且将无用的道路信息过滤掉，适用于后续神经网络的学习和训练，提高自动驾驶规划决策的准确性。
[0005]本专利技术的第二目的在于提供一种适用于端到端自动驾驶的感知及导航定位融合的系统。
[0006]本专利技术的第三目的在于提供一种计算机可读存储介质。
[0007]本专利技术的第四目的在于提供一种计算设备。
[0008]为了达到上述目的，本专利技术采用以下技术方案：
[0009]本专利技术提供一种适用于端到端自动驾驶的感知及导航定位融合的方法，包括下述步骤：
[0010]获取激光点云数据，将激光点云数据参数归一化到车辆坐标系下，得到车辆周围的点云数据，将车辆周围的预设范围内的点云数据栅格化，去除地面点云，投影得到鸟瞰图；
[0011]鸟瞰图中设置填充单元格，当检测到障碍物点云信息则在填充单元格内填入第一栅格值，检测为底色时则填入第二栅格值，形成栅格图；
[0012]将视觉识别到的车道信息进行坐标转换，转换为车辆坐标系下的坐标，在栅格图上车道信息的车辆坐标位置点处改变栅格值，若检测到车辆坐标位置点处有点云信息则不改变栅格值，维持点云信息对应的栅格值；
[0013]通过导航和定位信息获得车辆所处的位置信息和行驶信息，将栅格图上的当前车
道收缩到应驶入车道，将当前车道与应驶入车道之外的区域填充为栅格障碍物，得到多信息融合栅格图。
[0014]作为优选的技术方案，还包括交通信号灯信息融合步骤，具体包括：
[0015]在栅格图中选取多个单元格，预设各个单元格分别对应交通信号灯的颜色标识，识别当前交通信号灯的颜色信息，并在对应单元格中填入栅格值。
[0016]作为优选的技术方案，还包括停止线区域过滤步骤，具体包括：
[0017]当检测到当前车道前方为停止线，且交通信号灯信息为停止指示状态时，停止线之外的区域填充为栅格障碍物。
[0018]作为优选的技术方案，所述将栅格图上的当前车道收缩到应驶入车道，所述收缩方式采用直线或曲线连接。
[0019]为了达到上述第二目的，本专利技术采用以下技术方案：
[0020]一种适用于端到端自动驾驶的感知及导航定位融合的系统，包括：激光雷达、摄像头、栅格化处理模块、栅格填充模块、视觉叠加模块、导航模块、融合重构模块；
[0021]所述激光雷达用于激光点云数据，所述摄像头用于采集车道信息和交通信号灯信息；
[0022]所述栅格化处理模块用于将激光点云数据参数归一化到车辆坐标系下，得到车辆周围的点云数据，将车辆周围的预设范围内的点云数据栅格化，去除地面点云，投影得到鸟瞰图；
[0023]所述栅格填充模块用于在鸟瞰图中设置填充单元格，当检测到障碍物点云信息则在填充单元格内填入第一栅格值，检测为底色时则填入第二栅格值，形成栅格图；
[0024]所述视觉叠加模块用于将视觉识别到的车道信息进行坐标转换，转换为车辆坐标系下的坐标，在栅格图上车道信息的车辆坐标位置点处改变栅格值，若检测到车辆坐标位置点处有点云信息则不改变栅格值，维持点云信息对应的栅格值；
[0025]所述导航模块用于获取导航和定位信息；
[0026]所述融合重构模块用于通过导航和定位信息获得车辆所处的位置信息和行驶信息，将栅格图上的当前车道收缩到应驶入车道，将当前车道与应驶入车道之外的区域填充为栅格障碍物，得到多信息融合栅格图。
[0027]作为优选的技术方案，还设有交通信号灯信息融合模块，所述交通信号灯信息融合模块用于融合交通信号灯信息，具体包括：
[0028]在栅格图中选取多个单元格，预设各个单元格分别对应交通信号灯的颜色标识，识别当前交通信号灯的颜色信息，并在对应单元格中填入栅格值。
[0029]作为优选的技术方案，还设有停止线区域过滤模块，所述停止线区域过滤模块用于过滤停止线外无用区域，具体包括：
[0030]当检测到当前车道前方为停止线，且交通信号灯信息为停止指示状态时，停止线之外的区域填充为栅格障碍物。
[0031]作为优选的技术方案，所述将栅格图上的当前车道收缩到应驶入车道，所述收缩方式采用直线或曲线连接。
[0032]为了达到上述第三目的，本专利技术采用以下技术方案：
[0033]一种计算机可读存储介质，存储有程序，所述程序被处理器执行时实现如上述适
用于端到端自动驾驶的感知及导航定位融合的方法。
[0034]为了达到上述第四目的，本专利技术采用以下技术方案：
[0035]一种计算设备，包括处理器和用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现如上述适用于端到端自动驾驶的感知及导航定位融合的方法。
[0036]本专利技术与现有技术相比，具有如下优点和有益效果：
[0037](1)本专利技术采用激光雷达获取图像后输出栅格图，对于获取到的车况信息、障碍物信息、车道线信息、红绿灯信息以及定位和导航信息通过转换，在栅格图采用不同的栅格图数值进行填充，使各个信息融合后得到辨识度高且清晰图像，通过该方法处理的后的多信息融合栅格图，可以将杂乱的道路信息规整化，可以保留更多有用的原始传感器信息，有利于后续神经网络模块的训练和学习，提高自动驾驶后续决策规划和控制的准确性。
[0038](2)本专利技术通过导航以及交通规则与感知融合，通过融合重构对各个信息进行优化，对各个信息采用不用栅格图数值填充，并有效过滤掉无用信息，有利于神经网络的关注度更加集中，提高后续神经网络预测精确度。
[0039](3)本专利技术在鸟瞰图中设置填充单元格，基于点云信息的填入栅格值，底色和障碍物分别用两个对比度最高的数值来表示，可明显直观显示障碍物和路况在栅格图中的情况。
附图说明
[0040]图1为本专利技术适用于端到端自动驾驶的感知及导航定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于端到端自动驾驶的感知及导航定位融合的方法，其特征在于，包括下述步骤：获取激光点云数据，将激光点云数据参数归一化到车辆坐标系下，得到车辆周围的点云数据，将车辆周围的预设范围内的点云数据栅格化，去除地面点云，投影得到鸟瞰图；鸟瞰图中设置填充单元格，当检测到障碍物点云信息则在填充单元格内填入第一栅格值，检测为底色时则填入第二栅格值，形成栅格图；将视觉识别到的车道信息进行坐标转换，转换为车辆坐标系下的坐标，在栅格图上车道信息的车辆坐标位置点处改变栅格值，检测到车辆坐标位置点处有点云信息则不改变栅格值，维持点云信息对应的栅格值；通过导航和定位信息获得车辆所处的位置信息和行驶信息，将栅格图上的当前车道收缩到应驶入车道，将当前车道与应驶入车道之外的区域填充为栅格障碍物，得到多信息融合栅格图。2.根据权利要求1所述的适用于端到端自动驾驶的感知及导航定位融合的方法，其特征在于，还包括交通信号灯信息融合步骤，具体包括：在栅格图中选取多个单元格，预设各个单元格分别对应交通信号灯的颜色标识，识别当前交通信号灯的颜色信息，并在对应单元格中填入栅格值。3.根据权利要求2所述的适用于端到端自动驾驶的感知及导航定位融合的方法，其特征在于，还包括停止线区域过滤步骤，具体包括：当检测到当前车道前方为停止线，且交通信号灯信息为停止指示状态时，停止线之外的区域填充为栅格障碍物。4.根据权利要求1
‑
3任一项所述的适用于端到端自动驾驶的感知及导航定位融合的方法，其特征在于，所述将栅格图上的当前车道收缩到应驶入车道，所述收缩方式采用直线或曲线连接。5.一种适用于端到端自动驾驶的感知及导航定位融合的系统，其特征在于，包括：激光雷达、摄像头、栅格化处理模块、栅格填充模块、视觉叠加模块、导航模块、融合重构模块；所述激光雷达用于激光点云数据，所述摄像头用于采集车道信息和交通信号灯信息；所述栅格化处理模块用于将激光点云数据参数归一化到车辆坐标系下，得到车辆周围的点云数据，将车辆周围的预设范围内的点云数据栅格化，去除地面点云，投影得到鸟瞰图；...

【专利技术属性】
技术研发人员：陈林昱，邓胜，陈彩凤，
申请(专利权)人：广州巨湾技研有限公司，
类型：发明
国别省市：