基于视觉图像与点云地图的跨模态匹配定位方法及系统技术方案

本发明专利技术提供一种基于视觉图像与点云地图的跨模态匹配定位方法及系统，包括：获取相机的视觉图像和初始位姿，基于所述视觉图像初始位姿得到激光点云局部地图；基于所述激光点云局部地图进行投影，得到初始位姿视角下的点云投影深度图；将所述点云投影深度图、视觉图像和初始化的位姿更新量输入至训练好的位姿求解网络中，得到优化后的位姿更新量；将所述位姿更新量叠加至视觉图像初始位姿得到优化后的位姿，经过多次循环，得到最终位姿，完成定位。本发明专利技术解决了现有自动驾驶定位精度低、成本高的问题。本高的问题。本高的问题。

【技术实现步骤摘要】
基于视觉图像与点云地图的跨模态匹配定位方法及系统


[0001]本专利技术涉及视觉定位
，尤其涉及一种基于视觉图像与点云地图的跨模态匹配定位方法及系统。

技术介绍

[0002]高级别自动驾驶任务需要高精度的位置和姿态(以下简称位姿)信息，因此需要智能汽车具备高精度定位的能力。在高级别自动驾驶任务中，GPS信号容易受干扰，并且精度较差，因此智能汽车一般依赖于高精度的环境地图进行地图匹配定位。
[0003]在高精度地图构建过程中，主流方法选择用激光雷达对环境进行采集。使用激光点云作为输入的定位算法一般依靠点云形状的配准进行定位，即通过优化当前车辆位姿，使得当前所采集的三维激光点云与环境某区域的点云地图尽可能对齐，以此估计最可能的车辆位姿，实现定位。激光地图匹配定位算法对环境中的天气、季节等可能引起外观变化的干扰不敏感，鲁棒性更好，精度更高。然而高性能的激光雷达价格昂贵，难以大规模应用，只适合搭载在少量的专用采集车上，用于构建高精度地图；不适合搭载在家用和商用汽车上，用于定位。而且基于激光点云匹配的定位算法，如经典的ICP、NDT算法等，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉图像与点云地图的跨模态匹配定位方法，其特征在于，包括：获取相机的视觉图像和初始位姿，基于所述视觉图像初始位姿得到激光点云局部地图；基于所述激光点云局部地图进行投影，得到初始位姿视角下的点云投影深度图；将所述点云投影深度图、视觉图像和初始化的位姿更新量输入至训练好的位姿求解网络中，得到优化后的位姿更新量；将所述位姿更新量叠加至视觉图像初始位姿得到优化后的位姿，经过多次循环，得到最终位姿，完成定位。2.根据权利要求1所述的基于视觉图像与点云地图的跨模态匹配定位方法，其特征在于，所述获取相机的视觉图像和初始位姿，基于所述视觉图像初始位姿得到激光点云局部地图，具体包括：获取相机的视觉图像和初始位姿的粗略定位；基于所述粗略定位在预获取的激光点云地图中进行搜索；生成相机初始位姿附近在世界坐标系下的激光点云局部地图。3.根据权利要求1所述的基于视觉图像与点云地图的跨模态匹配定位方法，其特征在于，基于所述激光点云局部地图进行投影，得到初始位姿视角下的点云投影深度图，具体包括：根据相机的初始位姿和相机内部参数，将世界坐标系下的激光点云局部地图投影至相机坐标系；将所述相机坐标系下的激光点云局部地图再投影至归一化像素坐标系，得到相机初始位姿视角下的点云投影深度图。4.根据权利要求1所述的基于视觉图像与点云地图的跨模态匹配定位方法，其特征在于，将所述点云投影深度图、视觉图像和初始化的位姿更新量输入至训练好的位姿求解网络中，得到优化后的位姿更新量，具体包括：所述位姿求解网络采用全注意力网络，将视觉图像和点云投影深度图输入至所述全注意力网络输入；所述视觉图像经过视觉特征编码器处理，得到高维视觉特征图；所述点云投影深度图经过点云特征编码器处理，得到高维点云特征图；高维视觉特征与高维点云特征分属于不同模态的特征，以高维视觉特征图中的每个视觉特征为基准，计算视觉特征与高维点云特征图中每个点云特征的相似度，得到三维特征匹配代价；将初始化的位姿更新量作为检索值，对三维特征匹配代价进行处理，得到键值和内容值，对检索值进行更新，生成优化后的位姿更新量。5.根据权利要求4所述的基于视觉图像与点云地图的跨模态匹配定位方法，其特征在于，所述位姿求解网络训练过程为：给定某时刻下采集的视觉图像和激光点云地图，向激光点云地...

【专利技术属性】
技术研发人员：江昆，杨殿阁，苗津毓，刘茂林，王云龙，杨彦鼎，
申请(专利权)人：清华大学，
类型：发明
国别省市：