基于深度学习的玻璃场景下三维激光雷达导航方法及设备技术

本发明专利技术公开了一种基于深度学习的玻璃场景下三维激光雷达导航方法及设备。该导航方法先离线训练获得玻璃识别深度神经网络和光学特性深度神经网络；在导航过程中，先将玻璃识别深度神经网络识别出的玻璃概率以及计算出的玻璃方向实时插入空间体素地图中；再在包含玻璃概率、玻璃法向量的空间体素地图中，采用光线投射法模拟激光雷达发射的激光光束，并基于光学特性深度神经网络获得激光光束透射玻璃的概率进行雷达点的筛选，生成模拟点云集；最后基于真实三维雷达数据以及模拟点云集，采用正态分布变换计算机器人在空间体素地图中的绝对位姿。本发明专利技术的导航方法能够避免基于激光雷达的定位发生感知混淆，提高移动机器人在玻璃场景中的三维导航精度。

【技术实现步骤摘要】
基于深度学习的玻璃场景下三维激光雷达导航方法及设备
本专利技术属于移动机器人导航领域，涉及一种基于深度学习的玻璃场景下三维激光雷达导航方法及设备，更具体地，涉及一种基于深度神经网络的玻璃场景下移动机器人三维激光雷达导航方法。
技术介绍
基于激光雷达的导航是获取机器人姿态的最可靠、最准确的导航方法之一。近来，玻璃墙已逐渐成为诸如博物馆或购物中心之类的移动机器人导航建筑物的主要元素。但是，与不透明物体不同的是，玻璃具有反射特性，可能导致模糊不清或错误的激光雷达感知过程。因此，难以将基于激光雷达的定位应用于具有玻璃墙的场景。为了提高机器人在各种环境条件下的定位精度，必须在玻璃场景下研究出一种可靠的基于激光雷达的定位方法，以实现高精定位。对于机器人定位，主流导航方法通常取决于现有的地图，这些地图与传感器测量数据和地图相匹配以获得机器人姿势。但是，建图和定位与外部环境密切相关。从这个意义上讲，它们的性能可能会受到玻璃墙场景的影响而严重降低。在实践中，为了在玻璃环境中实现高精度导航，必须同时考虑地图构造的准确性和定位算法的可用性。首先考虑地图构造的准确性。由于玻璃的复杂光学特性，当前主流的基于激光雷达的制图方法无法将玻璃信息准确有效地识别到必要的地图中，这严重影响了这种玻璃情况下基于地图的定位方法的性能。而深度神经网络可以通过大量激光雷达数据的学习精准的识别出玻璃，以利于导航算法利用玻璃位置信息来提高定位的准确性和鲁棒性。在这些方法中，玻璃墙被视为普通地图中的普通障碍物。但是玻璃和普通障碍物的反射特性之间的差异可能会导致激光雷达数据与地图构造之间的不匹配。随后另一个关键问题是定位算法的设计。在提高定位精度方面，由于具有较高的准确性和可靠性，正态分布变换被认为是有效的解决方案。但由于玻璃造成的感知混淆，正态分布变换很难在玻璃环境中将激光雷达数据与地图进行匹配。但是，现有的定位系统不能有效地从体素地图中获取玻璃信息，从而降低了定位性能。总而言之，如何在玻璃场景中实现基于激光雷达的机器人精确导航，是目前亟待解决的难题。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术提供了一种玻璃场景下的移动机器人三维激光雷达导航方法及设备，其目的在于，通过构建光学特性深度神经网络，精准为正态分布变换提供匹配点云数据，有效地将玻璃信息整合到定位优化中，由此解决现有技术中玻璃场景下基于激光雷达的机器人导航技术定位不准的技术问题，本专利技术可以满足在玻璃环境中进行精确导航的实际要求。为实现上述目的，按照本专利技术的一个方面，提供了一种基于深度学习的玻璃场景下三维激光雷达导航方法，包括以下步骤：离线训练阶段：S1，搭建第一深度神经网络，将三维激光雷达扫描获得的激光雷达点云数据中每个雷达点对应的激光光束的旋转角度、俯仰角度、长度和强度作为第一深度神经网络的输入数据；将每个雷达点是否为玻璃的概率作为第一深度神经网络的输出数据，训练得到玻璃识别深度神经网络；搭建第二深度神经网络，将所述激光光束的旋转角度、俯仰角度和长度作为第二深度神经网络的输入数据；将每个激光光束在不同的长度、旋转角度、俯仰角度的情况下遇到玻璃直接反射生成雷达点的概率，以及透射玻璃的概率，作为第二深度神经网络的输出数据，训练得到光学特性深度神经网络；在线导航阶段：S2，建立玻璃环境下的空间体素地图，将三维激光雷达实时扫描获得的激光雷达点云数据中每个雷达点对应的激光光束的旋转角度、俯仰角度、长度和强度输入到已训练好的玻璃识别深度神经网络中，识别出各个雷达点是否为玻璃的概率，然后根据雷达点的坐标计算出各个雷达点所在玻璃的方向，并实时地将每个雷达点为玻璃的概率以及玻璃的法向量插入空间体素地图上对应的体素中；S3，在步骤S2获得的具有玻璃概率和玻璃方向信息的空间体素地图上，采用光线投射法模拟出机器人在初始位姿时，激光雷达发射的激光光束的旋转角度、俯仰角度和长度，输入光学特性深度神经网络获得激光光束透射玻璃的概率，将反射的激光光束生成的雷达点加入点云中，从而生成模拟点云集；S4，基于真实三维雷达数据以及步骤S3生成的模拟点云集，采用正态分布变换计算出机器人在步骤S2获得的具有玻璃概率和玻璃方向信息的空间体素地图中的绝对位姿。进一步地，所述步骤S1中第一深度神经网络和第二深度神经网络的输入数据处理及网络结构搭建如下：S1.1，在多个玻璃场景，三维激光雷达以不同偏航角和离玻璃不同的距离的情况下采集多组激光雷达点云数据，以作为第一深度神经网络和第二第二深度神经网络的训练数据，并添加人工玻璃标签以标识出三维激光雷达点云中哪些部分打击到玻璃；对于第二深度神经网络，还需要分别标记打到玻璃直接返回生成的雷达点，以及透射玻璃遇到玻璃后面的障碍物再反射回来生成的雷达点；S1.2，构建第一深度神经网络和第二深度神经网络，均包括依次连接的输入层、隐藏层和输出层，所述隐藏层为全连接层，其中：第一深度神经网络的输入层用于输入每个雷达点对应激光光束的旋转角度、俯仰角度、长度和强度；第二深度神经网络的输入层用于输入每个雷达点对应激光光束的旋转角度、俯仰角度和长度；第一深度神经网络和第二深度神经网络的隐藏层的前向传播算法均为al＝σ(zl)＝σ(wlal-1+bl)，其中wl和bl分别是神经元的权重系数和偏倚，上标l表示第l个隐藏层；al是隐藏层第l层的输出,σ()是激活函数；第一深度神经网络和第二深度神经网络的输出层均采用激活函数softmax激活函数，将输出层第n个神经元的激活函数定义为：其中，n＝1,2，BP1+BP2＝1，exp()为指数次幂函数，是归一化因子，为隐藏层最后一层的第n个输出；在第一深度神经网络的输出层中，BP1表示雷达点是玻璃的概率，BP2表示雷达点不是玻璃的概率；在第二深度神经网络的输出层中，BP1表示激光光束遇到玻璃直接反射生成雷达点的概率，BP2表示激光光束透射玻璃的概率。进一步地，第一深度神经网络和第二深度神经网络均按照如下步骤迭代更新：S1.2.1，通过dropout正则化，每轮梯度下降迭代时，将训练数据分成若干批，然后分批进行迭代，每批数据迭代时，需要将原始的深度神经网络模型随机去掉部分隐藏层的神经元，用残缺的深度神经网络模型来迭代更新wl和bl；每批数据迭代更新完毕后，要将残缺的深度神经网络模型恢复成完整的深度神经网络模型以用于进行下一批数据的迭代更新；S1.2.2，反向传播算法采用mini-Batch的梯度下降法，其中第l层的wl和bl的更新公式分别为：其中，M是输入的训练样本数量，α是迭代步长，am,l-1是以第m个训练样本为输入的第l-1层的输出；δm,l是以第m个训练样本为输入的第l-1层的梯度；S1.2.3，在正向传播过程中，每个雷达点的旋转角度、俯仰角度、长度和强度通过输入层，经隐藏层逐层处理并传向输出层；S1.2.4，记录反向迭代次数W,在输出层结果和期望的输出值不符的情况下本文档来自技高网...

【技术保护点】
1.一种基于深度学习的玻璃场景下三维激光雷达导航方法，其特征在于，包括以下步骤：/n离线训练阶段：/nS1，搭建第一深度神经网络，将三维激光雷达扫描获得的激光雷达点云数据中每个雷达点对应的激光光束的旋转角度、俯仰角度、长度和强度作为第一深度神经网络的输入数据；将每个雷达点是否为玻璃的概率作为第一深度神经网络的输出数据，训练得到玻璃识别深度神经网络；/n搭建第二深度神经网络，将所述激光光束的旋转角度、俯仰角度和长度作为第二深度神经网络的输入数据；将每个激光光束在不同的长度、旋转角度、俯仰角度的情况下遇到玻璃直接反射生成雷达点的概率，以及透射玻璃的概率，作为第二深度神经网络的输出数据，训练得到光学特性深度神经网络；/n在线导航阶段：/nS2，建立玻璃环境下的空间体素地图，将三维激光雷达实时扫描获得的激光雷达点云数据中每个雷达点对应的激光光束的旋转角度、俯仰角度、长度和强度输入到已训练好的玻璃识别深度神经网络中，识别出各个雷达点是否为玻璃的概率，然后根据雷达点的坐标计算出各个雷达点所在玻璃的方向，并实时地将每个雷达点为玻璃的概率以及玻璃的法向量插入空间体素地图上对应的体素中；/nS3，在步骤S2获得的具有玻璃概率和玻璃方向信息的空间体素地图上，采用考虑光学特性的光线投射法模拟出机器人在初始位姿时，激光雷达发射的激光光束的旋转角度、俯仰角度和长度，输入光学特性深度神经网络获得激光光束透射玻璃的概率，将体素为玻璃时反射激光光束生成的雷达点，以及体素为普通障碍物时生成的雷达点加入点云中，从而生成模拟点云集；/nS4，基于真实三维雷达数据以及步骤S3生成的模拟点云集，采用正态分布变换计算出机器人在步骤S2获得的具有玻璃概率和玻璃方向信息的空间体素地图中的绝对位姿。/n...

【技术特征摘要】
1.一种基于深度学习的玻璃场景下三维激光雷达导航方法，其特征在于，包括以下步骤：
离线训练阶段：
S1，搭建第一深度神经网络，将三维激光雷达扫描获得的激光雷达点云数据中每个雷达点对应的激光光束的旋转角度、俯仰角度、长度和强度作为第一深度神经网络的输入数据；将每个雷达点是否为玻璃的概率作为第一深度神经网络的输出数据，训练得到玻璃识别深度神经网络；
搭建第二深度神经网络，将所述激光光束的旋转角度、俯仰角度和长度作为第二深度神经网络的输入数据；将每个激光光束在不同的长度、旋转角度、俯仰角度的情况下遇到玻璃直接反射生成雷达点的概率，以及透射玻璃的概率，作为第二深度神经网络的输出数据，训练得到光学特性深度神经网络；
在线导航阶段：
S2，建立玻璃环境下的空间体素地图，将三维激光雷达实时扫描获得的激光雷达点云数据中每个雷达点对应的激光光束的旋转角度、俯仰角度、长度和强度输入到已训练好的玻璃识别深度神经网络中，识别出各个雷达点是否为玻璃的概率，然后根据雷达点的坐标计算出各个雷达点所在玻璃的方向，并实时地将每个雷达点为玻璃的概率以及玻璃的法向量插入空间体素地图上对应的体素中；
S3，在步骤S2获得的具有玻璃概率和玻璃方向信息的空间体素地图上，采用考虑光学特性的光线投射法模拟出机器人在初始位姿时，激光雷达发射的激光光束的旋转角度、俯仰角度和长度，输入光学特性深度神经网络获得激光光束透射玻璃的概率，将体素为玻璃时反射激光光束生成的雷达点，以及体素为普通障碍物时生成的雷达点加入点云中，从而生成模拟点云集；
S4，基于真实三维雷达数据以及步骤S3生成的模拟点云集，采用正态分布变换计算出机器人在步骤S2获得的具有玻璃概率和玻璃方向信息的空间体素地图中的绝对位姿。


2.根据权利要求1所述的基于深度学习的玻璃场景下三维激光雷达导航方法，其特征在于，所述步骤S1中第一深度神经网络和第二深度神经网络的输入数据处理及网络结构搭建如下：
S1.1，在多个玻璃场景，三维激光雷达以不同偏航角和离玻璃不同的距离的情况下采集多组激光雷达点云数据，以作为第一深度神经网络和第二第二深度神经网络的训练数据，并添加人工玻璃标签以标识出三维激光雷达点云中哪些部分打击到玻璃；对于第二深度神经网络，还需要分别标记打到玻璃直接返回生成的雷达点，以及透射玻璃遇到玻璃后面的障碍物再反射回来生成的雷达点；
S1.2，构建第一深度神经网络和第二深度神经网络，均包括依次连接的输入层、隐藏层和输出层，所述隐藏层为全连接层，其中：
第一深度神经网络的输入层用于输入每个雷达点对应激光光束的旋转角度、俯仰角度、长度和强度；第二深度神经网络的输入层用于输入每个雷达点对应激光光束的旋转角度、俯仰角度和长度；
第一深度神经网络和第二深度神经网络的隐藏层的前向传播算法均为al＝σ(zl)＝σ(wlal-1+bl)，其中wl和bl分别是神经元的权重系数和偏倚，上标l表示第l个隐藏层；al是隐藏层第l层的输出，σ()是激活函数；
第一深度神经网络和第二深度神经网络的输出层均采用激活函数softmax激活函数，将输出层第n个神经元的激活函数定义为：



其中，n＝1，2，BP1+BP2＝1，exp()为指数次幂函数，是归一化因子，为隐藏层最后一层的第n个输出；在第一深度神经网络的输出层中，BP1表示雷达点是玻璃的概率，BP2表示雷达点不是玻璃的概率；在第二深度神经网络的输出层中，BP1表示激光光束遇到玻璃直接反射生成雷达点的概率，BP2表示激光光束透射玻璃的概率。


3.根据权利要求2所述的基于深度学习的玻璃场景下三维激光雷达导航方法，其特征在于，第一深度神经网络和第二深度神经网络均按照如下步骤迭代更新：
S1.2.1，通过dropout正则化，每轮梯度下降迭代时，将训练数据分成若干批，然后分批进行迭代，每批数据迭代时，需要将原始的深度神经网络模型随机去掉部分隐藏层的神经元，用残缺的深度神经网络模型来迭代更新wl和bl；每批数据迭代更新完毕后，要将残缺的深度神经网络模型恢复成完整的深度神经网络模型以用于进行下一批数据的迭代更新；
S1.2.2，反向传播算法采用mini-Batch的梯度下降法，其中第l层的wl和bl的更新公式分别为：






其中，M是输入的训练样本数量，α是迭代步长，am，l-1是以第m个训练样本为输入的第l-1层的输出；δm，l是以第m个训练样本为输入的第l-1层的梯度；
S1.2.3，在正向传播过程中，每个雷达点的旋转角度、俯仰角度、长度和强度通过输入层，经隐藏层逐层处理并传向输出层；
S1.2.4，记录反向迭代次数W，在输出层结果和期望的输出值不符的情况下，则取交叉熵损失函数作为目标函数，设定了误差阈值WC/W，WC是第一次反向迭代的平均误差值，随着迭代次数的增加，误差阈值WC/W减少，只要大于误差阈值WC/W的目标函数就不再参与优化wl和bl的过程，从而过滤掉异常标记；
S1.2.5，通过对损失函数用高斯-牛顿迭代法进行迭代优化求极小值，找到使目标函数最小的线性系数矩阵wl和bl，误差达到所期望值时，网络学习结束。


4.根据权利要求1～3任一项所述的基于深度学习的玻璃场景下三维激光雷达导航方法，其特征在于，所述步骤S2包括如下子步骤：
S2.1，采用图优化方法和三维激光雷达构建玻璃环境下的空间体素地图其中第i个体素记为mB，i＝(Zi，Bi)，Q是空间体素地图M...

【专利技术属性】
技术研发人员：孟杰，王书亭，谢远龙，蒋立泉，吴天豪，孙浩东，李鹏程，林鑫，刘伦洪，吴昊，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42