一种面向非结构化道路的快速语义地图构建方法技术

本发明专利技术涉及一种面向非结构化道路的快速语义地图构建方法，属于自动驾驶技术技术领域，解决了现有技术中现有面向矿区场景的高精地图构建精度低、速度慢等问题。本发明专利技术的语义地图模型将点云栅格化，并将栅格化后的点的圆柱体特征进行栅格点云特征提取；通过下采样与上采样处理，同时添加RGB支路。在采样过程中使用基于RGB信息的多模态焦点卷积，通过RGB支路输出的RGB颜色信息对点云栅格周围进行点云重要性分析，以确定多模态焦点卷积的形状。最后输出的特征再次使用MLP进行点特征提取，与最开始的点特征进行融合，对栅格内的点进行细化，提高了点云识别准确性，使得获得的地图精度高、地图构建速度快。地图构建速度快。地图构建速度快。

【技术实现步骤摘要】
一种面向非结构化道路的快速语义地图构建方法


[0001]本专利技术属于自动驾驶技术
，涉及一种面向非结构化道路的快速语义地图构建方法。

技术介绍

[0002]近年来，随着人工智能和新一代信息技术快速发展推动了自动驾驶关键技术进一步完善。而露天矿区由于其道路封闭性、环境相对简单等特点，成为自动驾驶快速落地的场景之一。
[0003]自动驾驶关键技术分为环境感知、规划决策和跟踪控制三大技术，在这三大技术中都离不开高精地图的参与。于感知而言，高精地图对自动驾驶超视距感知、缩小有效ROI区域，提高感知精度等方面都有着举足轻重的作用。同时，高精地图能够提供车道级信息，是规划决策、跟踪控制的基础保障。
[0004]中国专利公开号CN113665500A，专利技术名称为《基于点线特征融合激光的语义高精地图构建方法》，主要提供了一种融合二维图像语义分割信息，并映射到三维空间上，对雷达点云赋予语义及点线特征的方法。该方法通过图像语义分割提取二维图像上每个像素的label信息，将得到的像素语义信息投射到三维点云上进行深度拟合获取深度图，最后进行地图构建及动态障碍物滤除等操作。
[0005]中国专利公开号CN113532417A，专利技术名称为《一种针对停车场的高精地图采集方法》，主要提供了一种面向停车场高精建图的构建采集方法，通过车辆底盘信息及位置地图构建路网，并采集全景影像对齐进行语义分割，将其结果矢量化映射地图坐标系中。
[0006]但是，基于二维图像语义分割信息映射三维空间的方法，对雷达点云赋予语义及点线特征。该方法语义分割的精度会受到像素分辨率影响，同时，二维和三维的转换时也不可避免产生精度损失。
[0007]另外，基于车辆底盘、位置地图、图像及超声波等多维信息构建地图的方法，仅针对于结构化道路，道路周围障碍物及边缘固定，但对于矿区非结构化道路场景单一，装卸载区频繁变更的情况难以适应。

技术实现思路

[0008]鉴于上述分析，本专利技术提供了一种面向非结构化道路的快速语义地图构建方法，用以解决现有面向矿区场景的高精地图构建精度低、速度慢等问题。
[0009]本专利技术的一种面向非结构化道路的快速语义地图构建方法，具体步骤包括：
[0010]步骤1、构建语义分割模型；
[0011]步骤11、获得同时刻的图片与点云数据；
[0012]步骤12、圆柱体栅格化点云数据，获得点云栅格单元和点的圆柱体特征，基于点的圆柱体特征和MLP多层神经网络获得每个点云栅格单元的特征的张量；
[0013]步骤13、对点云栅格单元的点进行下采样；
[0014]步骤131、将每个点云栅格单元的特征的张量输入非对称残差块；输出稀疏卷积特征的张量；
[0015]步骤132、多模态焦点卷积下采样：
[0016]对每个圆柱体栅格进行子流形空洞卷积获得每个圆柱体栅格位置的输出形状；
[0017]将图片的RGB像素点信息投影到每个点云栅格单元中的点云数据上，为每个点云栅格单元中的每个点赋值RGB像素点信息，获得RGB点云栅格单元；
[0018]对RGB点云栅格单元的点进行稀疏卷积特征提取并通过sigmoid函数进行重要性概率计算，获得卷积核中位置k处的三次重要性图I
kp
和三次重要性图的中心I
0p
；
[0019]基于卷积核中位置k处的三次重要性图I
kp
和三次重要性图的中心I
0p
选择重要栅格；
[0020]基于每个圆柱体栅格位置的输出形状和重要栅格的卷积核的位置，生成卷积核动态卷积输出位置p
out
；
[0021]对卷积核动态卷积输出位置p
out
进行多模态焦点卷积获得下采样输出特征的张量；
[0022]步骤14、对点云栅格单元的点进行上采样；
[0023]步骤141、多模态焦点卷积上采样：
[0024]输入下采样输出特征的张量，基于RGB点云栅格单元进行多模态焦点反卷积获得反卷积后特征的向量；
[0025]将下采样输出特征的张量与反卷积后特征的张量进行拼接，获得拼接特征的张量；将拼接特征的张量输入非对称残差块；获得上采样输出栅格特征；
[0026]步骤142、对获得上采样输出栅格特征进行上采样，获得每个点的下采样和上采样叠加特征的张量；
[0027]步骤15、使用步骤12获得的每个点的MLP点特征细化每个点的下采样和上采样叠加特征的张量；利用损失函数获取每个细化后的点的类别概率，以每个点的最高类别概率作为该点的点标签；
[0028]步骤2、构建实时语义地图；
[0029]采集无人驾驶车的实时GPS
‑
IMU数据和实时雷达点云数据；
[0030]使用步骤1构建的语义分割模型对获取的每帧实时点云数据中每个点的标签，形成关键帧语义点云；
[0031]叠加所有关键帧语义点云获得语义地图，对语义地图进行下采样，生成语义RGB地图。
[0032]可选地，点标签包括障碍物标签、地面标签和挡墙标签。
[0033]可选地，还包括步骤3、修正语义RGB地图的步骤，具体步骤如下：
[0034]步骤31、通过KDtree搜索语义RGB地图中被划分为障碍物标签的点周围半径为R内的所有点的标签，除被划分为地面标签的点外，将其他点重新设置为障碍物标签；通过KNN搜索重新设置标签后的点周围的N个点的原始标签，统计此时原始标签的类别最多的标签的类别作为该被重新设置为障碍物标签的点的更新标签；将所有更新标签后的点构成障碍物语义地图；
[0035]步骤32、滤除动态障碍物获得输出语义地图；
[0036]输入当前帧障碍物语义地图和上一帧障碍物语义地图；
[0037]如果该相邻两帧障碍物语义地图中相同的位置的像素点的标签不同，假设该相邻两帧障碍物语义地图存在动态障碍物；
[0038]为递归贝叶斯滤波器中的稳定性项添加惩罚项odds(p
penalty
)，获得当前时刻的动态障碍物的稳定性概率l
s(t)
：
[0039][0040]其中，l
s(t
‑
1)
为上一时刻动态障碍物的稳定性概率；P
stable
和p
prior
分别为已知稳定地图面元概率和已知地图面元先验概率；p
penalty
为点云噪声惩罚项；α是距离图像法线和深度图像法线之间的夹角，d是障碍物语义地图与距离图像的差值；σ
α2
为α的噪声；σ
d2
为d的噪声；
[0041]根据当前时刻的动态障碍物的稳定性概率l
s(t)
判断当前帧障碍物语义地图中是否存在动态障碍物，l
τ
为设定稳定性阈值，如果则不存在动态障碍物，不存在动态障碍物帧的障碍物语义地图构成输出语义地图。
...

【技术保护点】

【技术特征摘要】
1.一种面向非结构化道路的快速语义地图构建方法，其特征在于，具体步骤包括：步骤1、构建语义分割模型；步骤11、获得同时刻的图片与点云数据；步骤12、圆柱体栅格化点云数据，获得点云栅格单元和点的圆柱体特征，基于点的圆柱体特征和MLP多层神经网络获得每个点云栅格单元的特征的张量；步骤13、对点云栅格单元的点进行下采样；步骤131、将每个点云栅格单元的特征的张量输入非对称残差块；输出稀疏卷积特征的张量；步骤132、多模态焦点卷积下采样：对每个圆柱体栅格进行子流形空洞卷积获得每个圆柱体栅格位置的输出形状；将图片的RGB像素点信息投影到每个点云栅格单元中的点云数据上，为每个点云栅格单元中的每个点赋值RGB像素点信息，获得RGB点云栅格单元；对RGB点云栅格单元的点进行稀疏卷积特征提取并通过sigmoid函数进行重要性概率计算，获得卷积核中位置k处的三次重要性图I
kp
和三次重要性图的中心I
0p
；基于卷积核中位置k处的三次重要性图I
kp
和三次重要性图的中心I
0p
选择重要栅格；基于每个圆柱体栅格位置的输出形状和重要栅格的卷积核的位置，生成卷积核动态卷积输出位置p
out
；对卷积核动态卷积输出位置p
out
进行多模态焦点卷积获得下采样输出特征的张量；步骤14、对点云栅格单元的点进行上采样；步骤141、多模态焦点卷积上采样：输入下采样输出特征的张量，基于RGB点云栅格单元进行多模态焦点反卷积获得反卷积后特征的向量；将下采样输出特征的张量与反卷积后特征的张量进行拼接，获得拼接特征的张量；将拼接特征的张量输入非对称残差块；获得上采样输出栅格特征；步骤142、对获得上采样输出栅格特征进行上采样，获得每个点的下采样和上采样叠加特征的张量；步骤15、使用步骤12获得的每个点的MLP点特征细化每个点的下采样和上采样叠加特征的张量；利用损失函数获取每个细化后的点的类别概率，以每个点的最高类别概率作为该点的点标签；步骤2、构建实时语义地图；采集无人驾驶车的实时GPS
‑
IMU数据和实时雷达点云数据；使用步骤1构建的语义分割模型对获取的每帧实时点云数据中每个点的标签，形成关键帧语义点云；叠加所有关键帧语义点云获得语义地图，对语义地图进行下采样，生成语义RGB地图。2.根据权利要求1所述的快速语义地图构建方法，其特征在于，点标签包括障碍物标签、地面标签和挡墙标签。3.根据权利要求2所述的快速语义地图构建方法，其特征在于，还包括步骤3、修正语义RGB地图的步骤，具体步骤如下：步骤31、通过KDtree搜索语义RGB地图中被划分为障碍物标签的点周围半径为R内的所
有点的标签，除被划分为地面标签的点外，将其他点重新设置为障碍物标签；通过KNN搜索重新设置标签后的点周围的N个点的原始标签，统计此时原始标签的类别最多的标签的类别作为该被重新设置为障碍物标签的点的更新标签；将所有更新标签后的点构成障碍物语义地图；步骤32、滤除动态障碍物获得...

【专利技术属性】
技术研发人员：张尊君，陆云超，席鹏，刘意琮，梁启君，
申请(专利权)人：北京踏歌智行科技有限公司，
类型：发明
国别省市：