定位方法、装置、介质、设备及车辆制造方法及图纸

本公开涉及一种定位方法、装置、介质、设备及车辆，该方法包括：获取当前场景的先验三维地图，获取待定位目标物的实时参考位姿，以及获取待定位目标物载有的至少两路相机采集的对应方位下的实时图像；基于至少两个实时图像进行数据融合，得到相机融合数据；基于先验三维地图、实时参考位姿以及相机融合数据，确定待定位目标物的实时位姿。由此，通过至少两个相机获取待定目标物的实时图像，并将实时图像进行数据融合以得到相机融合数据，基于先验三维地图、实时参考位姿和相机融合数据，确定待定位目标物的实时位姿，避免了单个相机因视角变化、遮挡或误匹配等问题导致定位丢失的问题，因而有效提高容错率，提升了定位准确性和鲁棒性。鲁棒性。鲁棒性。

【技术实现步骤摘要】
定位方法、装置、介质、设备及车辆


[0001]本公开涉及人工智能
，尤其涉及一种定位方法、装置、介质、设备及车辆。

技术介绍

[0002]近年来，对自动驾驶的需求日益增加，无人驾驶在仓储物流、巡检监控等领域发挥着重要的作用，此领域要求无人驾驶能够在一个相对固定的环境内实现长期稳定的运行，且能实现精确的自定位。精确的定位是无人驾驶最重要的先决条件，同时，感知、预测、规划、控制均以此为技术支撑。由于视觉传感器生产成本低，获取信息量大，相关定位方法受到广泛的研究与应用。
[0003]传统基于特征点匹配进行相机基础矩阵估计的视觉定位方法或基于已知地图的重定位方法容易受到视角变化、动态遮挡等问题的影响，导致定位跟丢事件较多发生，还存在定位容错率低的问题。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种定位方法、装置、介质、设备及车辆。
[0005]第一方面，本公开提供了一种定位方法，所述方法包括：
[0006]获取当前场景的先验三维地图，获取待定位目标物的实时参考位姿，以及获取待定位目标物载有的至少两路相机采集的对应方位下的实时图像；
[0007]基于所述至少两个实时图像进行数据融合，得到相机融合数据；
[0008]基于所述先验三维地图、所述实时参考位姿以及所述相机融合数据，确定待定位目标物的实时位姿。
[0009]可选地，获取当前场景的先验三维地图之前，还包括：
[0010]构建所述先验三维地图。r/>[0011]可选地，所述获取待定位目标物的实时参考位姿，包括：
[0012]获取待定位目标物在全球定位系统下的实时参考位姿、在北斗卫星导航系统下的实时参考位姿、在伽利略卫星导航系统下的实时参考位姿以及在全球导航卫星系统下的实时参考位姿中的至少之一；
[0013]其中，所述实时参考位姿采用对应的参考位姿传感器采集，所述参考位姿传感器与所述至少两路相机同步触发。
[0014]可选地，所述得到相机融合数据，包括：
[0015]针对至少两路所述相机对应的所述实时图像进行数据预处理，得到对应的单相机特征点数据；
[0016]基于同一时刻下的至少两路相机对应的所述单相机特征点数据，构建相机融合数据；
[0017]所述确定待定位目标物的实时位姿，包括：
[0018]基于所述相机融合数据，触发状态位判断，并结合与判断结果关联的对应定位模式进行初定位；
[0019]基于不同所述定位模式下的定位结果，确定满足预设定位条件时，得到待定位目标物的实时位姿。
[0020]可选地，所述针对至少两路所述相机对应的所述实时图像进行数据预处理，得到对应的单相机特征点数据，包括：
[0021]针对每路相机对应的实时图像：
[0022]基于所述实时图像，构建图像金字塔；
[0023]基于所述图像金字塔，构建每层的兴趣点；
[0024]基于每层的所述兴趣点，对特征点进行提取并确定所述特征点的描述子，得到所述单相机特征点数据；
[0025]所述基于同一时刻下的至少两路相机对应的所述单相机特征点数据，构建相机融合数据，包括：
[0026]基于同一时刻下的至少两路相机对应的特征点及所述特征点对应的描述子，构建相机融合数据。
[0027]可选地，所述基于所述相机融合数据，触发状态位判断，并结合与判断结果关联的对应定位模式进行初定位，包括：
[0028]基于所述相机融合数据，触发状态位判断；
[0029]在状态位判断结果为通过时，采用恒速跟踪模式进行定位，后采用跟踪局部地图模式进行再次定位；
[0030]在状态位判断结果为丢失时，采用重定位模式进行定位，后采用跟踪局部地图模式进行再次定位。
[0031]可选地，所述状态位的初始状态位置为丢失；
[0032]所述方法还包括：
[0033]针对第一帧数据，确认状态位判断结果为丢失。
[0034]可选地，所述先验三维地图包括三维点特征、关键帧序号以及关键帧在相机坐标系下位置信息；
[0035]采用所述重定位模式进行定位，包括：
[0036]基于当前帧至少两路相机的所述实时图像对应的实时参考位姿，从所述先验三维地图中分别提取与当前帧至少两路相机对应的所述实时图像的位置相似度大于预设相似度阈值的关键帧，得到候选关键帧序列；
[0037]基于所述候选关键帧序列，将序列中的每个关键帧均与对应的所述实时图像进行匹配，确定匹配度大于预设匹配度阈值的候选关键帧，得到期望的候选关键帧；
[0038]基于至少两路相机对应的所述期望的候选关键帧，建立多相机模型，引入OpenGv库，调用目标函数和目标算法，得到待定位目标物在重定位模式下定位的位姿。
[0039]可选地，在得到待定位目标物在重定位模式下定位的位姿之后，所述方法还包括：
[0040]将得到的待定位目标物的位姿作为初值，利用匹配点最小重投影误差，建立针对每路相机的误差函数；
[0041]基于每路相机的误差函数，建立针对至少两路相机的总误差函数；
[0042]对所述总误差函数进行优化，得到待定位目标物在重定位模式下的优化后的位姿。
[0043]可选地，采用所述恒速跟踪模式进行定位，包括：
[0044]获取至少两路相机在当前帧的位姿、待定位目标物在上一帧的实时位姿以及待定位目标物的恒定速度；其中，所述恒定速度基于上一帧的实时位姿和上上帧的实时位姿确定；
[0045]基于所述上一帧的实时位姿和所述恒定速度，确定待定位目标物在当前帧的位姿初始值；
[0046]利用上一帧的特征点投影到当前帧的位姿初始值对应的图像中，在当前帧的位姿初始值对应的图像中的目标区域进行搜索，并筛选，得到待匹配点；
[0047]在所述待匹配点的数量大于预设数量阈值时，进行位姿优化，得到待定位目标物的在恒速跟踪模式下的位姿。
[0048]可选地，采用所述跟踪局部地图模式进行再次定位，包括：
[0049]在所述先验三维地图中查找与当前帧共视的关键帧序列；
[0050]基于所述关键帧序列中与当前帧的共视点最多的参考关键帧以及所述参考关键帧的共视点数量判断是否更新现有的局部先验地图；
[0051]在判定更新局部先验地图时，确定采用恒速跟踪模式或重定位模式得到的首定位位姿下各路相机对应统计得到的内点数；
[0052]判断所述内点数是否小于预设内点数阈值；
[0053]在判定所述内点数小于预设内点数阈值时，利用参考位置信息筛选出与当前帧最近的候选关键帧，并添加至局部先验地图，以及将与当前帧的共视点最多的参考关键帧添加至局部先验地图；
[0054]在判定所述内点数等于或大于预设内点数阈值时，将与当前帧的共视点最多的参考关键帧添加至局部先验地图；
[0055]更新局部先验地图中与当前帧对应的关键帧；...

【技术保护点】

【技术特征摘要】
1.一种定位方法，其特征在于，包括：获取当前场景的先验三维地图，获取待定位目标物的实时参考位姿，以及获取待定位目标物载有的至少两路相机采集的对应方位下的实时图像；基于所述至少两个实时图像进行数据融合，得到相机融合数据；基于所述先验三维地图、所述实时参考位姿以及所述相机融合数据，确定待定位目标物的实时位姿。2.根据权利要求1所述的方法，其特征在于，获取当前场景的先验三维地图之前，还包括：构建所述先验三维地图。3.根据权利要求1所述的方法，其特征在于，所述获取待定位目标物的实时参考位姿，包括：获取待定位目标物在全球定位系统下的实时参考位姿、在北斗卫星导航系统下的实时参考位姿、在伽利略卫星导航系统下的实时参考位姿以及在全球导航卫星系统下的实时参考位姿中的至少之一；其中，所述实时参考位姿采用对应的参考位姿传感器采集，所述参考位姿传感器与所述至少两路相机同步触发。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述得到相机融合数据，包括：针对至少两路所述相机对应的所述实时图像进行数据预处理，得到对应的单相机特征点数据；基于同一时刻下的至少两路相机对应的所述单相机特征点数据，构建相机融合数据；所述确定待定位目标物的实时位姿，包括：基于所述相机融合数据，触发状态位判断，并结合与判断结果关联的对应定位模式进行初定位；基于不同所述定位模式下的定位结果，确定满足预设定位条件时，得到待定位目标物的实时位姿。5.根据权利要求4所述的方法，其特征在于，所述针对至少两路所述相机对应的所述实时图像进行数据预处理，得到对应的单相机特征点数据，包括：针对每路相机对应的实时图像：基于所述实时图像，构建图像金字塔；基于所述图像金字塔，构建每...

【专利技术属性】
技术研发人员：赵楠，王亚慧，张丹，
申请(专利权)人：驭势科技北京有限公司，
类型：发明
国别省市：