一种基于深度卷积神经网络的激光雷达在线标定方法技术

本发明专利技术的一种基于深度卷积神经网络的自动驾驶系统激光雷达在线标定方法，其目的是：提供一种端到端的激光雷达外参在线标定方法，避免复杂的数学模型推导和优化，利用深度卷积神经网络的数据分析能力处理激光雷达的点云数据和车辆GNSS数据，在线实时估计出激光雷达的外参误差，从而实现对激光雷达外参的实时修正，提升自动驾驶系统环境感知功能的准确性和稳定性，保证自动驾驶系统的行车安全。

An on-line calibration method of lidar based on depth convolution neural network

【技术实现步骤摘要】
一种基于深度卷积神经网络的激光雷达在线标定方法
本专利技术涉及一种面向自动驾驶系统的激光雷达标定方法，特别是关于一种基于深度卷积神经网络的激光雷达在线标定方法。
技术介绍
尽管如今汽车主、被动安全技术已经发展得较为完善，但由于汽车保有量基数巨大，每年因交通事故造成的伤亡人数依然居高不下。研究表明，90％以上的交通事故因驾驶员分心引起。近年来自动驾驶技术的兴起有望解决上述问题。自动驾驶系统通过传感器，如相机、激光雷达、毫米波雷达和超声波雷达，感知车外环境和车内环境，一方面识别车外的障碍物和交通标识，分析可通行区域，一方面识别车内乘客状态，与乘客进行实时交互。自动驾驶系统可以根据乘客设定的目的地自动规划有效路径，并根据环境感知结果生成安全轨迹，然后通过车辆动力学解算得出车辆底层控制增益，如期望油门开度和期望方向盘转角等，并通过线控底盘执行车辆底层控制增益，自动地驱动车辆向目的地行驶。由于能自动分析环境状态，自动控制车辆移动，具有自动驾驶系统的车辆不再需要驾驶员干预，从而避免了因驾驶员分心和误判而导致的交通事故。目前自动驾驶系统中常用的障碍物检测传感器包括激光雷达、毫米波雷达和相机，其中激光雷达因感知视野大、测距精准而备受青睐，成为自动驾驶系统不可或缺的设备。许多已经配备驾驶辅助系统的量产车型上也配备了激光雷达，如奥迪A6L等。但激光雷达检测到目标后，返回给自动驾驶系统的是障碍物在雷达坐标系中的相对位置，即以激光雷达为坐标原点的位置，而自动驾驶系统在决策过程中需要用到的是车辆坐标系中的位置，二者之间存在一个固定的转换关系，即雷达的外参。通常在自动驾驶系统工作前，工作人员会对激光雷达的安装位置进行静态标定，测量出从雷达坐标系到车辆坐标系的转换关系，并将该转换关系写入配置文件，以供自动驾驶系统调用。不幸的是，在长期使用过程中，设备的安装支架会产生形变，影响雷达坐标系到车辆坐标系的转换关系。同时，车辆还会因胎压不稳、乘客数量不同、载荷不均等问题造成悬架形变，从而对雷达坐标系到车辆坐标系的转换关系产生临时影响。这些影响都会导致自动驾驶系统对障碍物的位置判断不准，进而导致系统决策失误，最终威胁自动驾驶系统的安全。近年来兴起的深度卷积神经网络技术具有强非线性拟合能力和学习能力，易于从大数据中自动分离出关键特征，从而实现端到端的模式识别。将深度卷积神经网络技术与激光雷达的标定场景相结合，有望实现数据驱动的激光雷达在线标定，根据激光雷达的点云数据来在线实时估计激光雷达位姿的偏差，并对激光雷达的标定参数进行实时修正。但相关工作目前仍为空白。
技术实现思路
针对现有技术存在的不足，本专利技术的目的在于提供一种基于深度卷积神经网络的激光雷达外参在线标定方法，利用深度卷积神经网络的数据分析能力处理激光雷达的点云数据和车辆GNSS数据，在线实时估计出激光雷达的外参误差，从而实现对激光雷达外参的实时修正，保证自动驾驶系统的正常工作。为实现上述目的，本专利技术提供了如下技术方案：一种基于深度卷积神经网络的激光雷达在线标定方法，包括如下步骤：步骤一，构建大数据引擎；步骤二，利用C++编程搭建初始深度卷积神经网络模型，并利用步骤一获得的大数据引擎所生成的数据对初始深度卷积神经网络模型进行训练，并保存训练好的深度卷积神经网络模型；步骤三，将训练好的深度卷积神经网络模型搭载到自动驾驶系统中，在软件中连接好激光雷达数据、GNSS数据和深度卷积神经网络模型；正常运行自动驾驶系统，深度卷积神经网络模型将会实时收取激光雷达数据和GNSS数据，并实时比对二者的偏差，在线给出激光雷达的外参误差值。作为本专利技术的进一步改进，所述步骤一中构建大数据引擎的具体步骤如下：步骤一一，针对目标自动驾驶系统，安装好激光雷达和GNSS设备，并利用精密仪器完成对激光雷达和GNSS设备的静态标定，获得激光雷达的外参和GNSS设备的外参；步骤一二，驾驶搭载已标定自动驾驶系统的车辆在目标工作区域、场景中行驶，行驶车速保持在30km/h以下，保证车辆不发生剧烈颠簸，采集激光点云和GNSS数据，并通过软件记录下来；步骤一三，对已采集数据施加人为干扰，模拟车辆剧烈运动下的激光雷达点云数据和GNSS数据，并通过软件记录下来。作为本专利技术的进一步改进，所述步骤一一中获得激光雷达的外参和GNSS设备的外参之后，进行预处理步骤；之后再进行同步步骤，具体的预处理步骤如下：1)激光雷达的点云数据解析，即将激光雷达的原始数据转换为算法所需要的常用格式，以激光点的空间三维坐标为表征；2)GNSS的数据解析，将GNSS的原始数据转换为算法所需要的常用格式，即车辆的空间三维6自由度位姿；具体的同步步骤如下：3)为激光点云数据标记系统时间；4)根据激光点云的系统时间，在GNSS数据流中插值，获得激光点云所在时刻的GNSS近似数据。作为本专利技术的进一步改进，所述步骤一三中的人为干扰的内容具体为：模拟车速增高，利用现有数据进行数值模拟，生成高速行驶工况的数据；模拟车辆颠簸，利用现有数据，对点云和GNSS轨迹共同施加预定好的短时间大俯仰和侧倾角度变换，模拟车辆的震动工况；模拟遮挡工况，人为滤除多个角度的激光点云数据，使得深度卷积神经网络能应对点云稀少的工况；模拟不同外参偏差值，通过人为加入预定好的外参偏差，获得带外参偏差的数据。作为本专利技术的进一步改进，所述步骤二中的深度卷积神经网络模型具体结构包括数据流输入、全卷积层、池化层、金字塔池化层和全连接层。作为本专利技术的进一步改进，所述步骤三中模型动作的具体步骤如下：1，将激光点云数据转换为深度图；2，将GNSS数据转换为深度图；3，拼接激光深度图与GNSS深度图，形成混合深度图；4，缓存9帧历史混合深度图，并与当前帧混合深度图共同拼接为大深度图；5，将大深度图输入给深度卷积神经网络，得到估计的激光雷达外参；6，将所估计的外参与原始静态标定外参值做差得到外参误差。本专利技术的有益效果，1)不需要人为推导激光雷达的外参偏差变化数学模型，易于工程实用；2)进行外参误差估计所需的第三方设备为GNSS，该设备在自动驾驶系统中是必备的，所以本专利技术未增加额外设备，易于应用在现有自动驾驶系统中；3)本专利技术实现了激光雷达外参的实时在线标定，能为自动驾驶系统提供实时的外参修正，从而提升了自动驾驶系统的环境感知精度和可靠性，进而提升了自动驾驶系统的安全性。附图说明图1是本专利技术的硬件拓扑示意图；图2是本专利技术的大数据引擎架构示意图；图3是本专利技术的模型训练架构示意图；图4是本专利技术的深度卷积神经网络模型示意图；图5是本专利技术的模型部署应用架构示意图。具体实施方式下面将结合附图所给出的实施例对本专利技术做进一步的详述。如图1所示，本专利技术所涉及的自动驾驶相关硬件包括激光雷达、GNSS(GlobalNavigati本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络的激光雷达在线标定方法，其特征在于：包括如下步骤：/n步骤一，构建大数据引擎；/n步骤二，利用C++编程搭建初始深度卷积神经网络模型，并利用步骤一获得的大数据引擎所生成的数据对初始深度卷积神经网络模型进行训练，并保存训练好的深度卷积神经网络模型；/n步骤三，将训练好的深度卷积神经网络模型搭载到自动驾驶系统中，在软件中连接好激光雷达数据、GNSS数据和深度卷积神经网络模型；正常运行自动驾驶系统，深度卷积神经网络模型将会实时收取激光雷达数据和GNSS数据，并实时比对二者的偏差，在线给出激光雷达的外参误差值。/n

【技术特征摘要】
1.一种基于深度卷积神经网络的激光雷达在线标定方法，其特征在于：包括如下步骤：
步骤一，构建大数据引擎；
步骤二，利用C++编程搭建初始深度卷积神经网络模型，并利用步骤一获得的大数据引擎所生成的数据对初始深度卷积神经网络模型进行训练，并保存训练好的深度卷积神经网络模型；
步骤三，将训练好的深度卷积神经网络模型搭载到自动驾驶系统中，在软件中连接好激光雷达数据、GNSS数据和深度卷积神经网络模型；正常运行自动驾驶系统，深度卷积神经网络模型将会实时收取激光雷达数据和GNSS数据，并实时比对二者的偏差，在线给出激光雷达的外参误差值。


2.根据权利要求1所述的基于深度卷积神经网络的激光雷达在线标定方法，其特征在于：所述步骤一中构建大数据引擎的具体步骤如下：
步骤一一，针对目标自动驾驶系统，安装好激光雷达和GNSS设备，并利用精密仪器完成对激光雷达和GNSS设备的静态标定，获得激光雷达的外参和GNSS设备的外参；
步骤一二，驾驶搭载已标定自动驾驶系统的车辆在目标工作区域、场景中行驶，行驶车速保持在30km/h以下，保证车辆不发生剧烈颠簸，采集激光点云和GNSS数据，并通过软件记录下来；
步骤一三，对已采集数据施加人为干扰，模拟车辆剧烈运动下的激光雷达点云数据和GNSS数据，并通过软件记录下来。


3.根据权利要求2所述的基于深度卷积神经网络的激光雷达在线标定方法，其特征在于：所述步骤一一中获得激光雷达的外参和GNSS设备的外参之后，进行预处理步骤；之后再进行同步步骤，具体的预处理步骤如下：
1）激光雷达的点云数据解析，即将激光雷达的原始数据转换为算法所需要的常用格式，以激光点的空间三维坐标为...

【专利技术属性】
技术研发人员：秦晓辉，徐彪，谢国涛，王晓伟，边有钢，胡满江，杨泽宇，胡展溢，钟志华，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11