【技术实现步骤摘要】
高精度车辆定位、矢量化地图构建及定位模型训练方法
[0001]本公开涉及人工智能
，尤其涉及自动驾驶、深度学习、计算机视觉等
，具体涉及一种高精度车辆定位方法及装置、矢量化地图构建方法及装置、定位模型的训练方法及装置、电子设备、计算机可读存储介质、计算机程序产品和自动驾驶车辆。
技术介绍
[0002]自动驾驶技术涉及环境感知、行为决策、轨迹规划以及运动控制等多个方面。依赖于传感器、视觉计算系统和定位系统的协同合作，具有自动驾驶功能的车辆可以在无需驾驶员进行操作或仅需驾驶员进行少量操作的情况下自动地运行。对自动驾驶车辆进行准确定位是保证自动驾驶车辆安全平稳运行的重要前提。
[0003]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。
技术实现思路
[0004]本公开提供了一种高精度车辆定位方法及装置、矢量化地图构建方法及装置、定位模型的训练方法及装置、电子设备、计算机可读存储介质、计算机程序产品和自动驾驶车辆。
[0005]根据本公开的一方面，提供了一种车辆定位方法，包括：获取所述车辆的初始位姿、所述车辆的多模态传感器数据和用于定位所述车辆的多个地图元素；对所述多模态传感器数据进行编码，以得到环境特征；对所述多个地图元素进行编码，以得到地图特征；基于所述环境特征和所述地图特征，确定用于修正所述初始位姿的目...
【技术保护点】
【技术特征摘要】
1.一种车辆定位方法，包括：获取所述车辆的初始位姿、所述车辆的多模态传感器数据和用于定位所述车辆的多个地图元素；对所述多模态传感器数据进行编码，以得到环境特征；对所述多个地图元素进行编码，以得到地图特征；基于所述环境特征和所述地图特征，确定用于修正所述初始位姿的目标位姿偏移量；以及将所述初始位姿与所述目标位姿偏移量进行叠加，以得到所述车辆的修正后的位姿。2.根据权利要求1所述的方法，其中，所述初始位姿为所述车辆的组合定位系统输出的位姿。3.根据权利要求1或2所述的方法，其中，所述多模态传感器数据包括点云和图像，并且其中，所述对所述多模态传感器数据进行编码，以得到环境特征包括：对所述点云进行编码，以得到点云特征图；对所述图像进行编码，以得到图像特征图；以及将所述点云特征图和所述图像特征图进行融合，以得到所述环境特征。4.根据权利要求3所述的方法，其中，所述将所述点云特征图和所述图像特征图进行融合，以得到所述环境特征包括：基于所述点云特征图，确定目标三维空间中的初始环境特征图；将所述初始环境特征图与所述图像特征图进行融合，以得到所述目标三维空间中的第一环境特征图；以及基于所述第一环境特征图，确定所述环境特征。5.根据权利要求4所述的方法，其中，所述目标三维空间为所述车辆的鸟瞰视角空间。6.根据权利要求4或5所述的方法，其中，所述将所述初始环境特征图与所述图像特征图进行融合，以得到所述目标三维空间中的第一环境特征图包括：基于注意力机制，将所述初始环境特征图与所述图像特征图进行至少一次融合，以得到所述第一环境特征图。7.根据权利要求6所述的方法，其中，所述基于注意力机制，将所述初始环境特征图与所述图像特征图进行至少一次融合，以得到所述第一环境特征图包括：在所述至少一次融合的每一次融合中：基于自注意力机制，对当前环境特征图进行更新，以得到更新后的环境特征图；以及基于交叉注意力机制，将所述更新后的环境特征图与所述图像特征图进行融合，以得到融合后的环境特征图，其中，第一次融合中的当前环境特征图为所述初始环境特征图，第二次及后续每次融合中的当前环境特征图为上一次融合后的环境特征图，所述第一环境特征图为最后一次融合后的环境特征图。8.根据权利要求4
‑
7中任一项所述的方法，其中，所述将所述初始环境特征图与所述图像特征图进行融合，以得到所述目标三维空间中的第一环境特征图包括：将所述初始环境特征图和所述图像特征图输入经训练的第一变换解码器，以得到所述第一变换解码器输出的所述第一环境特征图。
9.根据权利要求4
‑
8中任一项所述的方法，其中，所述基于所述第一环境特征图，确定所述环境特征包括：对所述第一环境特征图进行至少一次上采样，以得到与所述至少一次上采样分别对应的至少一个第二环境特征图；以及将所述第一环境特征图和所述至少一个第二环境特征图确定为所述环境特征。10.根据权利要求1
‑
9中任一项所述的方法，其中，所述多个地图元素通过基于所述初始位姿对矢量化地图中的多个地理元素进行筛选而得到。11.根据权利要求1
‑
10中任一项所述的方法，其中，所述多个地图元素包括至少一个道路元素和至少一个几何元素；所述至少一个道路元素包括以下至少一项：车道线、路沿、人行横道、停止线、交通标识牌或杆；所述至少一个几何元素包括面元素。12.根据权利要求11所述的方法，其中，所述面元素通过提取点云式地图中的平面而得到。13.根据权利要求1
‑
12中任一项所述的方法，其中，所述对所述多个地图元素进行编码，以得到地图特征包括：对于所述多个地图元素中的任一地图元素，对所述地图元素的元素信息进行编码，以得到所述地图元素的初始编码向量；以及基于所述环境特征，对所述初始编码向量进行更新，以得到所述地图元素的目标编码向量，其中，所述地图特征包括所述多个地图元素各自的目标编码向量。14.根据权利要求13所述的方法，其中，所述元素信息包括位置信息和类别信息，并且其中，所述对所述地图元素的元素信息进行编码，以得到所述地图元素的初始编码向量包括：对所述位置信息进行编码，以得到位置编码；对所述类别信息进行编码，以得到语义编码；以及对所述位置编码和所述语义编码进行融合，以得到所述初始编码向量。15.根据权利要求14所述的方法，其中，所述对所述类别信息进行编码，以得到语义编码包括：基于多种类别信息与多种语义编码的对应关系，确定所述地图元素的所述语义编码，其中，所述多种语义编码是定位模型的参数并且通过对所述定位模型进行训练而得到。16.根据权利要求13
‑
15中任一项所述的方法，其中，所述基于所述环境特征，对所述初始编码向量进行更新，以得到所述地图元素的目标编码向量包括：基于注意力机制，利用所述环境特征对所述初始编码向量进行至少一次更新，以得到所述目标编码向量。17.根据权利要求16所述的方法，其中，所述基于注意力机制，利用所述环境特征对所述初始编码向量进行至少一次更新，以得到所述目标编码向量包括：在所述至少一次更新的每一次更新中：基于自注意力机制，对当前编码向量进行更新，以得到更新后的编码向量；以及基于交叉注意力机制，将所述更新后的编码向量与所述环境特征进行融合，以得到融
合后的编码向量，其中，第一次更新中的当前编码向量为所述初始编码向量，第二次及后续每次更新中的当前编码向量为上一次融合后的编码向量，所述目标编码向量为最后一次融合后的编码向量。18.根据权利要求13
‑
17中任一项所述的方法，其中，所述环境特征包括目标三维空间中的多个环境特征图，所述多个环境特征图的尺寸各不相同，并且其中，所述基于所述环境特征，对所述初始编码向量进行更新包括：基于所述多个环境特征图中的尺寸最小的环境特征图，对所述初始编码向量进行更新。19.根据权利要求13
‑
18中任一项所述的方法，其中，所述基于所述环境特征，对所述初始编码向量进行更新，以得到所述地图元素的目标编码向量包括：将所述初始编码向量和所述环境特征输入经训练的第二变换解码器，以得到所述第二变换解码器输出的所述目标编码向量。20.根据权利要求1
‑
19中任一项所述的方法，其中，所述基于所述环境特征和所述地图特征，确定用于修正所述初始位姿的目标位姿偏移量包括：通过将所述环境特征与所述地图特征进行匹配，确定所述目标位姿偏移量。21.根据权利要求20所述的方法，其中，所述环境特征包括目标三维空间中的至少一个环境特征图，所述至少一个环境特征图的尺寸各不相同，并且其中，所述通过将所述环境特征与所述地图特征进行匹配，确定所述目标位姿偏移量包括：将所述至少一个环境特征图按照尺寸由小到大的顺序排列；对于所述至少一个环境特征图中的任一环境特征图：通过将所述环境特征图与所述地图特征进行匹配，确定第一位姿偏移量；以及将当前位姿偏移量与所述第一位姿偏移量进行叠加，以得到更新后的位姿偏移量，其中，第一个环境特征图对应的当前位姿偏移量为全零向量，第二个及后续每个环境特征图对应的当前位姿偏移量为上一个环境特征图对应的更新后的位姿偏移量，所述目标位姿偏移量为最后一个环境特征图对应的更新后的位姿偏移量。22.根据权利要求21所述的方法，其中，所述通过将所述环境特征图与所述地图特征进行匹配，确定第一位姿偏移量包括：在预设的偏移量采样范围内进行采样，以得到多个候选位姿偏移量；对于所述多个候选位姿偏移量中的任一候选位姿偏移量，确定在所述候选位姿偏移量下所述环境特征图与所述地图特征的匹配度；以及基于所述多个候选位姿偏移量各自对应的匹配度，对所述多个候选位姿偏移量进行融合，以得到所述第一位姿偏移量。23.根据权利要求22所述的方法，其中，所述偏移量采样范围的大小与所述环境特征图的尺寸负相关。24.根据权利要求22或23所述的方法，其中，所述地图特征包括所述多个地图元素各自的目标编码向量，并且其中，所述确定在所述候选位姿偏移量下所述环境特征图与所述地图特征的匹配度包括：将当前位姿与所述候选位姿偏移量进行叠加，以得到候选位姿，其中，所述当前位姿为
所述初始位姿与位于所述环境特征图之前的每个环境特征图的第一位姿偏移量的和；对于所述多个地图元素中的任一地图元素：基于所述候选位姿，将所述地图元素投影至所述目标三维空间中，以得到所述地图元素对应的所述环境特征图中的环境特征向量；以及计算所述地图元素的目标编码向量与所述环境特征向量的相似度；以及基于所述多个地图元素各自对应的相似度，确定在所述候选位姿偏移量下所述环境特征图与所述地图特征的匹配度。25.根据权利要求22
‑
24中任一项所述的方法，其中，所述基于所述多个候选位姿偏移量各自对应的匹配度，对所述多个候选位姿偏移量进行融合，以得到所述第一位姿偏移量包括：对于所述多个候选位姿偏移量中的任一候选位姿偏移量，基于所述候选位姿偏移量的匹配度与所述多个候选位姿偏移量的匹配度之和的比值，确定所述候选位姿偏移量的概率；以及将所述多个候选位姿偏移量的期望确定为所述第一位姿偏移量。26.根据权利要求1
‑
25中任一项所述的方法，其中，所述基于所述环境特征和所述地图特征，确定用于修正所述初始位姿的目标位姿偏移量包括：将所述环境特征、所述地图特征和所述初始位姿输入经训练的位姿求解器，以得到所述位姿求解器输出的所述目标位姿偏移量。27.一种矢量化地图构建方法，包括：获取点云式地图中的点云；将所述点云式地图的投影平面划分为第一单位尺寸的多个二维栅格；对于所述多个二维栅格中的任一二维栅格：基于所述二维栅格对应的三维空间内的点云，提取所述二维栅格中的平面；以及将所述平面存储为所述矢量化地图中的面元素。28.根据权利要求27所述的方法，其中，所述基于所述二维栅格对应的三维空间内的点云，提取所述二维栅格中的平面包括：沿高度方向将所述三维空间划分为第二单位尺寸的多个三维栅格；对于所述多个三维栅格中的任一三维栅格：基于所述三维栅格中的点云，计算所述三维栅格中包括平面的置信度；以及响应于所述置信度大于阈值，提取所述三维栅格中的平面；以及将所述多个三维栅格中的置信度最大的平面确定为所述二维栅格对应的平面。29.根据权利要求28所述的方法，其中，所述基于所述三维栅格中的点云，计算所述三维栅格中包括平面的置信度包括：对所述三维栅格中的点云的协方差矩阵进行奇异值分解，以得到第一奇异值、第二奇异值和第三奇异值，其中，所述第一奇异值小于或等于所述第二奇异值，所述第二奇异值小于或等于所述第三奇异值；以及将所述第二奇异值与所述第一奇异值的比值确定为所述置信度。30.根据权利要求27
‑
29中任一项所述的方法，其中，所述将所述平面存储为所述矢量
化地图中的面元素包括：确定所述平面对应的面元素的标识；以及将所述平面上的一点的坐标和所述平面的单位法向量与所述标识关联存储。31.根据权利要求27
‑
30中任一项所述的方法，其中，所述矢量化地图还包括多个道路元素，所述多个道路元素中的任一道路元素为：车道线、路沿、人行横道、停止线、交通标识牌或杆。32.一种定位模型的训练方法，其中，所述定位模型包括环境编码器、地图编码器和位姿求解器，所述方法包括：获取样本车辆的初始位姿、所述初始位姿对应的位姿真值、所述样本车辆的多模态传感器数据和用于定位所述样本车辆的多个地图元素；将所述多模态传感器数据输入所述环境编码器，以得到环境特征；将所述多个地图元素的元素信息输入所述地图编码器，以得到地图特征；将所述环境特征、所述地图特征和所述初始位姿输入所述位姿求解器，以便所述位姿求解器：在第一偏移量采样范围内进行采样，以得到多个第一候选位姿偏移量；对于所述多个第一候选位姿偏移量中的任一第一候选位姿偏移量，确定在所述第一候选位姿偏移量下所述环境特征与所述地图特征的第一匹配度；以及基于所述多个第一候选位姿偏移量各自对应的第一匹配度，确定并输出预测位姿偏移量；基于所述预测位姿偏移量和位姿偏移量真值，确定第一损失，其中，所述位姿偏移量真值为所述位姿真值与所述初始位姿的差；基于所述多个第一候选位姿偏移量各自对应的第一匹配度，确定第二损失，其中，所述第二损失指示所述位姿真值的预测概率分布与所述位姿真值的真实概率分布的差异；至少基于所述第一损失和所述第二损失，确定所述定位模型的整体损失；以及基于所述整体损失，调整所述定位模型的参数。33.根据权利要求32所述的方法，其中，所述位姿求解器被配置为：在第二偏移量采样范围内进行采样，以得到多个第二候选位姿偏移量；以及对于所述多个第二候选位姿偏移量中的任一第二候选位姿偏移量，确定在所述第二候选位姿偏移量下所述环境特征与所述地图特征的第二匹配度；所述方法还包括：基于所述多个第二候选位姿偏移量各自对应的第二匹配度，确定第三损失，其中，所述第三损失指示多个候选位姿的预测概率分布与所述多个候选位姿的真实概率分布的差异，所述多个候选位姿通过将所述多个第二候选位姿偏移量分别与当前位姿进行叠加得到；其中，所述至少基于所述第一损失和所述第二损失，确定所述定位模型的整体损失包括：至少基于所述第一损失、所述第二损失和所述第三损失，确定所述整体损失。34.根据权利要求32或33所述的方法，其中，所述环境特征包括目标三维空间中的环境特征图，所述元素信息包括类别信息，所述地图编码器被配置为：基于多种类别信息与多种语义编码的对应关系，确定所述类别信息对应的语义编码，
其中，所述多种语义编码是所述定位模型的参数；所述方法还包括：将所述多个地图元素中的属于目标类别的目标地图元素投影至所述目标三维空间中，以得到所述目标三维空间中的语义分割的真值图，其中，所述真值图中的第一像素的值指示该第一像素是否被所述目标地图元素所占据；基于所述环境特征图，确定语义分割的预测图，其中，所述预测图中的第二像素的值指示相应的环境特征向量与所述目标类别的语义编码的相似度，所述相应的环境特征向量为所述环境特征图中的与所述第二像素的位置相对应的像素的特征向量；以及基于所述真值图和所述预测图，确定第四损失；其中，所述至少基于所述第一损失和所述第二损失，确定所述定位模型的整体损失包括：至少基于所述第一损失、所述第二损失和所述第四损失，确定所述整体损失。35.一种车辆定位装置，包括：获取模块，被配置为获取所述车辆的初始位姿、所述车辆的多模态传感器数据和用于定位所述车辆的多个地图元素；环境编码模块，被配置为对所述多模态传感器数据进行编码，以得到环境特征；地图编码模块，被...
【专利技术属性】
技术研发人员：何宇喆，梁爽，芮晓飞，蔡程颖，万国伟，张晔，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。