实时建图方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种实时建图方法、装置、电子设备及存储介质。本公开实施例的实时建图方法包括：获取装载于车辆上的传感器当前采集到的点云数据；利用预训练的实时建图模型基于点云数据获得实时建图信息；其中，实时建图信息包括：障碍物的类别信息、障碍物的运动预测信息、局部静态地图信息和传感器感知范围外的地图信息。本公开实施例能够在不使用外部高精地图的情况下，获得更加丰富完整的实时建图信息。息。息。

【技术实现步骤摘要】
实时建图方法、装置、电子设备及存储介质


[0001]本公开涉及一种实时建图方法、装置、电子设备及存储介质。

技术介绍

[0002]同时定位与建图(Simultaneous Localization And Mapping，SLAM)技术在自动驾驶、机器人等有自主定位需求的领域有着重要应用。SLAM技术的核心问题是诸如自动驾驶汽车、机器人等移动装置的位姿估计，建图是在位姿估计的基础上依靠诸如雷达、相机等传感器感知环境并描述记录的结果。
[0003]高精地图(High
‑
definition Maps)技术是当前自动驾驶能够实现并应用的重要组成部分。L2+及以上级别的自动驾驶方案对高精地图有明确依赖。相比于普通地图，高精地图提供了更高精度和更丰富的自动驾驶所需要的信息。高精地图在普通地图的基础上还包括了路灯、护栏、红绿灯等更多交通要素，同时提供了精度更高的车道和路口信息。高精地图可以服务于自动驾驶的各个功能模块，包括定位、感知、预测、规划和安全等。从当前的自动驾驶发展状况来看，高精地图在自动驾驶中发挥着极其重要的作用。
[0004]高精地图的制作一般分为两种，一种是专业集中制图，另外一种是众包制图。专业集中制图是通过专业人员使用专业的高精度数据采集设备对道路进行数据采集后加工制图，专业集中制图一般分为四个阶段：数据采集、数据处理、元素识别和人工验证。众包制图则是通过很多普通设备和普通人员分别采集然后合并数据后构建地图。由于专业集中制图对人员和设备要求高，因此专业集中制图的成本很高。而众包地图使用廉价设备合成地图，但是地图的精度相比于专业集中制图要低很多。因此，绝大多数自动驾驶方案使用的是专业集中制图的高精地图。
[0005]虽然高精地图在自动驾驶中有很重要的作用，但是因为其构建成本高，且因为安全性受到政府法律法规的限制，所以无法在全部路段使用。因此，实时的驾驶建图(Online Driving Map，简称ODM)是一种可探索的方案。实时驾驶建图不同于传统SLAM的建图方案，传统SLAM地图是为定位服务的，所包含的信息一般只是特征点云。实时驾驶建图则是尽量给车辆提供更多驾驶信息，如车道线、周围行驶车辆信息、障碍物信息、可行驶区域、交通灯等。并且，由于没有高精地图，后续的路径规划等任务均需依赖实时生成的驾驶地图。然而，目前的实时驾驶建图技术却无法提供可直接应用于诸如路径规划等任务的足够可靠的实时地图信息，不仅实时驾驶建图技术获得的实时地图中包含的信息量无法满足车辆在行驶过程中的驾驶需求，而且其实时性也无法满足实时驾驶的需求。尤其在纯激光雷达的场景中，激光雷达的信息范围受限于激光雷达的射程，也受限于车辆道路上其余车辆的遮挡情况，实时地图的信息量更小，且实时性更差，实时地图的可靠性和准确性更是无法满足驾驶需求。

技术实现思路

[0006]为了解决上述技术问题，本公开提供了一种实时建图方法、装置、电子设备及存储
介质。
[0007]根据本公开的一个方面，提供了一种实时建图方法，包括：
[0008]获取装载于车辆上的传感器当前采集到的点云数据；
[0009]利用预训练的实时建图模型基于所述点云数据获得实时建图信息；
[0010]其中，所述实时建图信息包括：障碍物的类别信息、障碍物的运动预测信息、局部静态地图信息和传感器感知范围外的地图信息。
[0011]根据本公开的至少一个实施方式的实时建图方法，所述障碍物的类别信息包括车道内障碍物的类别信息；和/或，所述局部静态地图信息包括传感器ROI区域内的地图信息；和/或，所述传感器感知范围外的地图信息包括传感器ROI区域四周预定范围内的地图信息；和/或，所述障碍物的运动预测信息包括障碍物在未来预定时段内的位置信息。
[0012]根据本公开的至少一个实施方式的实时建图方法，所述障碍物的类别信息用于指示所述障碍物属于如下类别之一：车辆、人物、自行车、摩托车、其他类；其中，所述其他类包括除车辆、人、自行车/摩托车之外的所有类型的障碍物。
[0013]根据本公开的至少一个实施方式的实时建图方法，还包括：对所述点云数据执行第一预处理，所述第一预处理包括如下之一或多项：运动去畸变、体素化、转伪图。
[0014]根据本公开的至少一个实施方式的实时建图方法，所述实时建图模型包括：骨干网络和连接在所述骨干网络输出端的第一输出头、第二输出头、第三输出头以及第四输出头，所述第一输出头用于生成所述障碍物的类别信息，所述第二输出头用于生成所述障碍物的运动预测信息，所述第三输出头用于生成所述局部静态地图信息，所述第四输出头用于生成所述传感器感知范围外的地图信息。
[0015]根据本公开的至少一个实施方式的实时建图方法，所述实时建图模型的骨干网络包括：基于自注意力机制的Transformer encoder模块、第一位置编码模块和第二位置编码模块，所述第一位置编码模块用于对Transformer encoder模块的输入数据编码以区分输入数据内部Patch间的空间位置关系，所述第二位置编码模块用于对Transformer encoder模块输出数据的聚合结果编码以区分不同输出数据间的时间顺序关系。
[0016]根据本公开的至少一个实施方式的实时建图方法，所述第一输出头、第二输出头和/或第三输出头采用两层二维卷积层的网络结构；和/或，所述第四输出头采用卷积与反卷积结合的网络结构。
[0017]根据本公开的至少一个实施方式的实时建图方法，还包括：根据车辆的RTK位姿信息获取车辆所处位置的局部高清地图；将所述局部高清地图中的道路信息投影到BEV地图上，以得到用于训练实时建图模型的传感器感知范围外的参考地图信息。
[0018]根据本公开的至少一个实施方式的实时建图方法，所述实时建图模型根据如下损失函数训练得到：
[0019]L
all
＝l
cls
+l
motion
+αl
sp
+βl
mp
[0020][0021][0022]其中，L
all
表示实时建图模型的总损失，l
mp
表示地图一致性损失，l
cls
包括第一输出头、第三输出头以及第四输出头的分类损失，l
sp
表示运动预测的空间一致性损失，l
motion
表示第二输出头的回归损失，α为空间一致性损失的权重超参数，β为地图一致性损失的权重超参数；X
i,j
和X
i
′
,j
′
分别表示同一障碍物上位置(i，j)与位置(i
′
,j
′
)的预测值，表示局部静态地图信息中边界点(i，j)的预测值，表示传感器感知范围外的地图信息中与局部静态地图信息中边界点(i，j)相连接位置(i+1，j)的预测值。
[0023]根据本公开的至少一个实施方式的实时建图方法，l
cls本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时建图方法，其特征在于，包括：获取装载于车辆上的传感器当前采集到的点云数据；利用预训练的实时建图模型基于所述点云数据获得实时建图信息；其中，所述实时建图信息包括：障碍物的类别信息、障碍物的运动预测信息、局部静态地图信息和传感器感知范围外的地图信息。2.根据权利要求1所述的实时建图方法，其特征在于，所述障碍物的类别信息包括车道内障碍物的类别信息；和/或，所述局部静态地图信息包括传感器ROI区域内的地图信息；和/或，所述传感器感知范围外的地图信息包括传感器ROI区域四周预定范围内的地图信息；和/或，所述障碍物的运动预测信息包括障碍物在未来预定时段内的位置信息。3.根据权利要求2所述的实时建图方法，其特征在于，所述障碍物的类别信息用于指示所述障碍物属于如下类别之一：车辆、人物、自行车、摩托车、其他类；其中，所述其他类包括除车辆、人、自行车/摩托车之外的所有类型的障碍物。4.根据权利要求1所述的实时建图方法，其特征在于，还包括：对所述点云数据执行第一预处理，所述第一预处理包括如下之一或多项：运动去畸变、体素化、转伪图。5.根据权利要求1所述的实时建图方法，其特征在于，所述实时建图模型包括：骨干网络和连接在所述骨干网络输出端的第一输出头、第二输出头、第三输出头以及第四输出头，所述第一输出头用于生成所述障碍物的类别信息，所述第二输出头用于生成所述障碍物的运动预测信息，所述第三输出头用于生成所述局部静态地图信息，所述第四输出头用于生成所述传感器感知范围外的地图信息；优选地，所述实时建图模型的骨干网络包括：基于自注意力机制的Transformer encoder模块、第一位置编码模块和第二位置编码模块，所述第一位置编码模块用于对Transformer encoder模块的输入数据编码以区分输入数据内部Patch间的空间位置关系，所述第二位置编码模块用于对Transformer encoder模块输出数据的聚合结果编码以区分不同输出数据间的时间顺序关系；优选地，所述第一输出头、第二输出头和/或第三输出头采用两层二维卷积层的网络结构；和/或，所述第四输出头采用卷积与反卷积结合的网络结构。6.根据权利要求1所述的实时建图方法，其特征在于，还包括：根据车辆的RTK位姿信息获取车辆所处位置的局部高清地图；将所述局部高清地图中的道路信...

【专利技术属性】
技术研发人员：王颖，郑林飞，和颖，刘以沫，
申请(专利权)人：北京易航远智科技有限公司，
类型：发明
国别省市：