一种融合语义特征的雷达里程计方法及相关设备技术

本发明专利技术提供了一种融合语义特征的雷达里程计方法及相关设备，包括：采集目标环境的多帧初始点云进行投影得到距离图像，将距离图像输入至全卷积网络中进行语义分割得到语义分割标签；以语义分割标签为约束条件，根据曲率阈值对每帧初始点云进行特征区分，得到多个边缘点和多个平面点，并从中选取多个强边缘特征和多个强平面特征；根据多个强边缘特征和多个强平面特征得到特征线和特征面，构建残差块并为残差块设置语义置信度得分；根据所述语义置信度得分自适应调整每个所述强边缘特征到所述特征线的距离以及每个所述强平面特征到所述特征面的距离，计算残差的可信度，并根据残差的可信度进行特征匹配得到位姿。差的可信度进行特征匹配得到位姿。差的可信度进行特征匹配得到位姿。

【技术实现步骤摘要】
一种融合语义特征的雷达里程计方法及相关设备


[0001]本专利技术涉及自动驾驶
，特别涉及一种融合语义特征的雷达里程计方法及相关设备。

技术介绍

[0002]Lidar激光雷达传感器广泛应用于机器人、无人机、无人驾驶、三维重建等多个领域，是众多遥感领域中的重要传感器。激光雷达测距(LiDAR Odometry，LO)作为SLAM(Simultaneous Localization andMapping，同步定位与建图)的前端，它的精度非常重要。
[0003]雷达里程计的目标是利用激光雷达获取环境信息，同时根据环境信息来自主定位。3D激光雷达具有直接获取空间距离信息和夜间工作的能力，因此LO适用于复杂环境也不受黑夜限制，在地球观测任务中具有巨大的应用价值和前景，所以提升LO的精度并尽可能减少其累计漂移误差是非常重要的。
[0004]目前传统LO方法通常使用几何特征执行点云配准求解位姿信息，一般从雷达点云中提取平面点和边缘点作为几何特征，在特殊环境中也可以提取线与圆柱体等几何特征，相比相机LiDAR点云稀疏、无结构且缺乏纹理特征，但能够精确的表征三维空间结构。随着深度学习的发展，图像和Lidar点云的语义分割均得到了发展。
[0005]最早的直接通过点云语义分割解决点云的非结构化问题，有Charles R.Qi等人利用对称函数解决并给出网络模型PointNet。具体来说，PointNet通过多个MLP层独立学习逐点特征，并通过最大池化层提取全局特征，随后有Deep sets，PointNet++，RangeNet++等优秀的语义模型推出。RangeNet++使用了点云的球面投影的方法，可以将三维点云数据通过球投影的方式转换为可以支持很多成熟的二维图像处理方法的数据，在该二维图像上进行2D全卷积语义分割，将分割成功的2D信息转换到3D点云上对分割结构进行优化，并在Kitti数据集上显示出RangeNet++是比以往更优的语义分割技术。
[0006]激光雷达测距法中最经典的点云配准算法为ICP(Iterative Closest Point，迭代最近点)算法。ICP算法将最近点作为对应关系，优化并迭代变换参数，直到精度满足要求时终止迭代。然而，该算法依赖初始参数，初始值不好时，增加迭代次数并且很容易陷入局部最优。为了改善上述缺点，发展了大量的ICP算法变体形式，如Point
‑
to
‑
Line ICP使用源点云到目标点云直线的距离度量作为误差函数；减少了迭代次数和误差，但是对于大的初始位移鲁棒性较差；也有使用点到平面或平面到平面的距离度量作为误差函数。然而，这些是基于几何特征层面上的，并且通过简单采样周围点模拟曲率信息去判断几何特征容易引入大量误差。

技术实现思路

[0007]本专利技术提供了一种融合语义特征的雷达里程计方法及相关设备，其目的是为了提升激光雷达测距的精度。
[0008]为了达到上述目的，本专利技术提供了一种融合语义特征的雷达里程计方法，包括：
[0009]步骤1，通过激光雷达传感器采集目标环境的多帧初始点云；
[0010]步骤2，将每帧初始点云进行投影得到每帧初始点云的距离图像，并将距离图像输入至全卷积网络中进行语义分割，得到每帧初始点云的语义分割标签；
[0011]步骤3，以语义分割标签为约束条件，根据曲率阈值对每帧初始点云进行特征区分，得到多个边缘点和多个平面点，并从多个边缘点中选取多个强边缘特征，从多个平面点中选取多个强平面特征；
[0012]步骤4，分别针对每帧初始点云中的每个边缘点，依次遍历边缘点中的每个强边缘特征，在上一帧初始点云的边缘点中搜索与当前帧初始点云中每个强边缘特征的距离小于预设距离的边缘点并拟合成特征线；
[0013]步骤5，分别针对每帧初始点云中的每个平面点，依次遍历平面点中每个强平面特征，在上一帧初始点云的平面点中搜索与当前帧初始点云中每个强平面特征的距离小于预设距离的平面点并拟合成特征面；
[0014]步骤6，利用特征线和特征面的距离约束构建残差块，并通过特征线或特征面的语义标签为残差块设置语义置信度得分；
[0015]步骤7，根据语义置信度得分自适应调整每个强边缘特征到特征线的距离以及每个强平面特征到特征面的距离，计算残差的可信度，并根据残差的可信度进行特征匹配得到位姿。
[0016]进一步来说，将多帧初始点云进行投影得到距离图像，包括：
[0017]根据下式将多帧初始点云进行球面投影得到图像坐标：
[0018][0019]其中，其中，(u,v)表示图像像素坐标，R为初始点云到激光雷达传感器原点的欧式距离，f
up
为雷达垂直方向的上视角范围，表示雷达垂直方向的视角范围，f＝f
up
+f
douwn
，f
down
表示雷达垂直方向上的下视角范围，h为2D测距图像的高，(x,y,z)表示三维点云的坐标，w为2D测距图像的宽；
[0020]根据图像坐标得到距离图像。
[0021]进一步来说，将距离图像输入至全卷积网络中进行语义分割，得到每帧初始点云的语义分割标签，包括：
[0022]将距离图像输入全卷积网络中进行语义分割，得到距离图像的像素点的语义标签，全卷积网络包括沙漏形编码器和解码器；
[0023]通过初始点云与距离图像的像素点的对应关系，将语义标签赋予初始点云，得到每帧初始点云的语义分割标签。
[0024]进一步来说，步骤3包括：
[0025]每帧初始点云的曲率为：
[0026][0027]其中，P表示一帧初始点云，P＝p1,p3,
…
,p
n
，P
i
、P
j
分别表示第i帧初始点云、第j帧初始点云，P
i
＝x,y,z,c,l，P
i
、P
j
是由同一个线束采集的两帧初始点云，x,y,z表示第i帧初始点云的三维坐标，c表示第i帧初始点云的曲率，l表示第i帧初始点云的语义分割标签；
[0028]设置曲率阈值a，根据曲率阈值a对每帧初始点云进行特征区分，将每帧初始点云中曲率C大于曲率阈值a的点作为边缘点，将每帧初始点云中曲率C小于曲率阈值a的点作为平面点；
[0029]将每帧初始点云中由同一个线束采集的初始点云均分为6个部分；
[0030]分别针对每个部分的初始点云，以语义分割标签为约束条件，从初始点云的边缘点中选取Ne个强边缘特征，在每个部分的平面点中选取Np个强平面特征。
[0031]进一步来说，步骤4包括：
[0032]分别针对每帧初始点云中的每个边缘点，依次遍历边缘点中的每个强边缘特征，通过K
‑
维树在上一帧初始点云的边缘点中，搜索与当前帧初始点云中每个强边缘特征的距离小于预设距离的多个边缘点，并通过主成分分析拟合成特征线。
[003本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合语义特征的雷达里程计方法，其特征在于，包括：步骤1，通过激光雷达传感器采集目标环境的多帧初始点云；步骤2，将每帧所述初始点云进行投影得到每帧所述初始点云的距离图像，并将所述距离图像输入至全卷积网络中进行语义分割，得到每帧初始点云的语义分割标签；步骤3，以所述语义分割标签为约束条件，根据曲率阈值对每帧所述初始点云进行特征区分，得到多个边缘点和多个平面点，并从多个所述边缘点中选取多个强边缘特征，从多个所述平面点中选取多个强平面特征；步骤4，分别针对每帧所述初始点云中的每个所述边缘点，依次遍历所述边缘点中的每个所述强边缘特征，在上一帧初始点云的边缘点中搜索与当前帧初始点云中每个所述强边缘特征的距离小于预设距离的边缘点并拟合成特征线；步骤5，分别针对每帧所述初始点云中的每个所述平面点，依次遍历所述平面点中每个所述强平面特征，在上一帧初始点云的平面点中搜索与当前帧初始点云中每个所述强平面特征的距离小于预设距离的平面点并拟合成特征面；步骤6，利用所述特征线和所述特征面的距离约束构建残差块，并通过所述特征线或所述特征面的语义标签为所述残差块设置语义置信度得分；步骤7，根据所述语义置信度得分自适应调整每个所述强边缘特征到所述特征线的距离以及每个所述强平面特征到所述特征面的距离，计算残差的可信度，并根据所述残差的可信度进行特征匹配得到位姿。2.根据权利要求1所述的融合语义特征的雷达里程计方法，其特征在于，将多帧所述初始点云进行投影得到距离图像，包括：根据下式将多帧所述初始点云进行球面投影得到图像坐标：其中，(u,v)表示图像像素坐标，R为初始点云到激光雷达传感器原点的欧式距离，f
up
为雷达垂直方向的上视角范围，表示雷达垂直方向的视角范围，f＝f
up
+f
down
，f
down
表示雷达垂直方向上的下视角范围，h为2D测距图像的高，(x,y,z)表示三维点云的坐标，w为2D测距图像的宽；根据所述图像坐标得到距离图像。3.根据权利要求2所述的融合语义特征的雷达里程计方法，其特征在于，将所述距离图像输入至全卷积网络中进行语义分割，得到每帧初始点云的语义分割标签，包括：将所述距离图像输入全卷积网络中进行语义分割，得到所述距离图像的像素点的语义标签，所述全卷积网络包括沙漏形编码器和解码器；通过所述初始点云与所述距离图像的像素点的对应关系，将所述语义标签赋予所述初始点云，得到每帧初始点云的语义分割标签。4.根据权利要求3所述的融合语义特征的雷达里程计方法，其特征在于，所述步骤3包括：每帧所述初始点云的曲率为：
其中，P表示一帧初始点云，P＝p1,p3,

【专利技术属性】
技术研发人员：曹启库，蔡述庭，熊晓明，廖永健，符传毓，黄子杰，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：