一种基于循环神经网络的端到端激光雷达标定方法技术

本发明专利技术的一种基于循环神经网络的自动驾驶端到端激光雷达标定方法，其目的是：设计基于神经网络的激光雷达标定系统，提出了基于FlowNet和Bi‑LSTM神经网络的标定方法，充分利用深度图像流的时空信息，有效提高了激光雷达标定精度和稳定性，且具有较强的可操作性，减少了标定时间，便于微调后对其进行重新标定。

An end-to-end lidar calibration method based on recurrent neural network

【技术实现步骤摘要】
一种基于循环神经网络的端到端激光雷达标定方法
本专利技术涉及一种基于神经网络的激光雷达标定方法，特别是关于一种基于循环神经网络的端到端激光雷达标定方法。
技术介绍
近年来随着传感器技术的快速发展，视觉传感器、测距传感器、位移传感器等广泛应用于工程
，提供了较为可靠、稳定的测量信息。汽车工程领域的快速发展使得汽车保有量逐年攀升，由此引发的道路拥堵、交通事故等问题高居不下，并造成了严重的经济和财产损失。人工智能和自动驾驶技术的兴起，是解决上述问题的有效方法。基于多传感器融合的自动驾驶方案，可提供更加稳定可靠的环境信息和车辆状态信息，具有更强的鲁棒性和抗干扰能力，从而满足车辆在复杂工况、恶劣环境下的使用需求。传感器标定是多传感器融合的基础，标定精度不仅影响环境信息和车辆状态信息准确性，更对后续自动驾驶决策系统产生严重干扰，引发错误决策信息，造成任务规划失败甚至交通事故。目前自动驾驶车辆使用多种传感器，如相机、激光雷达、毫米波雷达、GNSS(全球导航卫星系统)、IMU(惯性测量单元)，且各传感器相互关联，需分别对其进行标定，获得各传感器坐标系间相对位姿转化。采用传统人工标准器标定方法，效率低下、精度较差，且传感器发生微调时，需重新进行标定。基于非线性优化的多传感器联合标定是解决上述问题的一种有效方法，通过建立参数模型利用已知数据完成多参数优化求解，但该方法仍有很多问题和缺陷。首先，模型精准度对标定结果有较大影响，而由于传感器运行环境复杂多变，难以对传感器噪声进行精确建模。其次，为精确对传感器进行联合标定，需引入一定数量的非线性参数，但参数数量的增加会降低标定系统的稳定性。
技术实现思路
针对现有技术存在的不足，本专利技术的目的在于提供一种设计自动驾驶激光雷达标定系统，提出循环神经网络端到端标定方法，以提高激光雷达标定精度，减少标定时间，增强标定过程可操作性。为实现上述目的，本专利技术提供了如下技术方案：一种基于循环神经网络的端到端激光雷达标定方法，包括如下步骤：步骤1，对自动驾驶GNSS定位系统进行调试，并完成车辆定位精度测试；步骤2，利用自动驾驶GNSS定位系统和车载激光雷达，在不同驾驶场景分别采集GNSS数据信息和激光雷达点云信息；步骤3，搭建基于FlowNet卷积神经网络和Bi-LSTM循环神经网络的激光雷达标定系统，利用步骤2中的GNSS获得的真实运动轨迹和激光雷达采集的点云数据，对搭建的神经网络进行训练并验证；步骤4，利用步骤3训练完成神经网络对自动驾驶激光雷达进行标定。作为本专利技术的进一步改进，所述步骤1中GNSS定位系统采用实时动态差分法，由固定站和移动站组成，其中车载移动站使用固定站发送的差分数据进行RTK精准定位。作为本专利技术的进一步改进，所述步骤3中神经网络由预处理单元、卷积神经网络层、循环神经网络层和全连接层组成。作为本专利技术的进一步改进，所述步骤2中在处于空旷场地驾驶场景时，分别采集直线行驶和稳态回环行驶过程中GNSS和激光雷达点云数据集。作为本专利技术的进一步改进，所述步骤3中的Bi-LSTM循环神经网络内具有输入门、遗忘门和输出门，并且该Bi-LSTM循环神经网络为双向循环神经网络。本专利技术的有益效果，1、本专利技术通过端到端的神经网络对自动驾驶激光雷达进行标定，有效降低了标定复杂度，提高了标定效率。2、本专利技术利用神经网络的强大非线性化能力，无需建立激光雷达标定参数模型，有效解决了模型构建复杂且精度有限的问题，提高了标定精度。3、本专利技术针对激光雷达点云数据流特性，构建双向循环神经网络可充分利用数据流前向和后向时序信息，进一步提高了激光雷达标定精准度和稳定性。4、本专利技术在空旷场地分别采集车辆直线行驶和稳态回转行驶过程中GNSS与激光雷达点云数据，有利于激光雷达位姿估计和标定系统神经网络训练。5、本专利技术适用于多种车辆传感器标定，通用程度高便于工程实践和应用。附图说明图1是本专利技术数据采集系统示意图；图2是本专利技术激光雷达标定系统神经网络训练示意图；图3是本专利技术激光雷达标定系统示意图；图4是本专利技术神经网络架构图。具体实施方式下面将结合附图所给出的实施例对本专利技术做进一步的详述。如图1所示，基于神经网络的激光雷达标定方法数据采集系统，传感器由GNSS、激光雷达组成。分别在直线行驶和稳态回转行驶场景驾驶车辆，并在行驶过程中同时采集GNSS定位信息和激光雷达点云信息，获取多组数据用于神经网络训练和验证。如图2所示，激光雷达标定系统神经网络训练架构图，首先将激光雷达点云数据转化为有序深度图像，并输入至神经网络进行训练；然后将神经网络计算的估计运动轨迹与GNSS获得的真实运动轨迹进行对此，并通过反向传播修正神经网络权重矩阵，从而使得估计运动轨迹更加符合真实运动轨迹。如图3所示，自动驾驶激光雷达标定系统，在直线行驶或稳态回转行驶过程中实时采集激光雷达点云数据，将其转化为深度图像并输入至已训练完成的激光雷达标定系统神经网络，可直接获得激光雷达坐标系与GNSS坐标系间位姿转换，实现自动驾驶端到端激光雷达标定。如图4所示，自动驾驶激光雷达标定系统神经网络架构图，图中给出了激光雷达点云输入单元、预处理单元、卷积神经网络层、双向循环神经网络层和全连接层的详细架构。预处理单元首先将从输入单元获得的点云数据转化为深度图像序列，调整分辨率并将相邻两帧深度图像进行叠加；然后利用像素均值和方差对叠加图像进行归一化处理，以加快系统收敛，减少神经网络训练时间。为获得激光雷达运动信息，在卷积神经网络层使用光流估计网络(FlowNet)，提取深度图像几何特征，利用相邻图像像素在时域上的变化，计算相邻帧间的运动信息，此外采用预先训练的FlowNet，有效加速了端到端神经网络激光雷达标定系统的收敛。循环神经网络由于将历史信息和当前任务相关联，适用于数据流处理，可有效利用深度图像时序信息。同时，为避免由于图像序列较长，引起反向传播过程中梯度严重退化，造成神经网络收敛至较差解，本专利技术采用双向长短期记忆网络(BidirectionalLongShort-TermMemory，Bi-LSTM)架构，利用输入门、遗忘门和输出门实现对信息的保护和控制，可有效解决梯度退化问题。此外，由于Bi-LSTM同时构建前向和后向循环神经网络，充分利用深度图像前向和后向时序信息，有效提高了激光雷达标定系统精度和稳定性。全连接层根据Bi-LSTM层输出的深度图像信息，对激光雷达位姿和GNSS与激光雷达间的相对位姿转换进行估计。为对GNSS坐标系和相机坐标系相对位姿进行标定，设计代价函数如下：其中，θ为优化参数，由激光雷达位姿(pl，tl)和激光雷达坐标系到GNSS坐标系的旋转向量Rgl和平移向量tgl组成；(pg，tg)表示由GNSS获得与激光雷达估计位姿(Pl，tl)相对应的真实位姿；N为图像序列数量；权重ω用于平衡旋转向量代价和平移向量代价。通过神经网络对参数θ进行迭代优化，完成端到端激光本文档来自技高网...

【技术保护点】
1.一种基于循环神经网络的端到端激光雷达标定方法，其特征在于：包括如下步骤：/n步骤1，对自动驾驶GNSS定位系统进行调试，并完成车辆定位精度测试；/n步骤2，利用自动驾驶GNSS定位系统和车载激光雷达，在不同驾驶场景分别采集GNSS数据信息和激光雷达点云信息；/n步骤3，搭建基于FlowNet卷积神经网络和Bi-LSTM循环神经网络的激光雷达标定系统，利用步骤2中的GNSS获得的真实运动轨迹和激光雷达采集的点云数据，对搭建的神经网络进行训练并验证；/n步骤4，利用步骤3训练完成神经网络对自动驾驶激光雷达进行标定。/n

【技术特征摘要】
1.一种基于循环神经网络的端到端激光雷达标定方法，其特征在于：包括如下步骤：
步骤1，对自动驾驶GNSS定位系统进行调试，并完成车辆定位精度测试；
步骤2，利用自动驾驶GNSS定位系统和车载激光雷达，在不同驾驶场景分别采集GNSS数据信息和激光雷达点云信息；
步骤3，搭建基于FlowNet卷积神经网络和Bi-LSTM循环神经网络的激光雷达标定系统，利用步骤2中的GNSS获得的真实运动轨迹和激光雷达采集的点云数据，对搭建的神经网络进行训练并验证；
步骤4，利用步骤3训练完成神经网络对自动驾驶激光雷达进行标定。


2.根据权利要求1所述的基于循环神经网络的端到端激光雷达标定方法，其特征在于：所述步骤1中GNSS定位系统采用实时动态差分法，由固定...

【专利技术属性】
技术研发人员：秦晓辉，常灯祥，边有钢，谢国涛，王晓伟，秦兆博，胡满江，徐彪，丁荣军，
申请(专利权)人：湖南大学，
类型：发明
国别省市：湖南;43