一种融合深度学习特征匹配的同步跟踪与建图方法技术

一种融合深度学习特征匹配的同步跟踪与建图方法，它包括以下步骤：步骤S1、采集视觉前端图像，进行初始化；步骤S2、通过特征匹配估计运动位姿，跟踪局部地图，决定下一关键帧；步骤S3、依据关键帧信息，构建局部地图；步骤S4、回环检测和优化。本发明专利技术提供一种融合深度学习特征匹配的同步跟踪与建图方法，解决现有SLAM方法在动态、低纹理等环境中跟踪效果差、位姿解算误差大的技术问题。算误差大的技术问题。算误差大的技术问题。

【技术实现步骤摘要】
一种融合深度学习特征匹配的同步跟踪与建图方法


[0001]本专利技术属于计算机
，尤其涉及计算机视觉技术，具体涉及一种融合深度学习特征匹配的同步跟踪与建图方法。

技术介绍

[0002]同步跟踪与建图(PTAM，Parallel Tracking And Mapping)技术是一种同步定位和地图构建算法(SLAM，Simultaneous Localization And Mapping)，属于视觉导航、智能机器人控制领域的核心
，目前广泛应用于无人机、室内智能机器人、无人驾驶等方面。
[0003]现有的大多SLAM体系都是基于ORBSLAM2、ORBSLAM3进行研究，其中ORB特征匹配算法最大的优点在于算法速度快，可以满足SLAM系统实时性。但是在动态、低纹理等环境下对目标特征识别的精度低、提取特征点不足，对关键帧的选取、应用有影响，也会导致跟踪难度大；在匹配过程中可能会存在误匹配，导致地图点的选取以及运动位姿的估算存在误差。
[0004]近年来，基于深度学习的特征匹配方式逐渐流行。Tang等人受到了深度学习特征提取算法SuperPoint的启发，提出了GCNv2
‑
SLAM，替换了ORB算法中的特征点提取和描述方法，并满足了SLAM的实时性要求，但此系统在遮挡、低纹理等环境下效果并不是很好。Shen等人受到Supergule的启发，提出了端到端的特征匹配方式LoFTR，仍无法应对遮挡环境，并且算法耗时难以满足SLAM实时性。上述Superglue以及LoFTR算法都可以在图像中获取大量匹配对，在一定程度上可以解决SLAM系统中，因动态、低纹理环境下提取特征点少，而产生位姿解算存在误差、跟踪难度大的问题。
[0005]在现有文献中，论文《S
‑
PTAM:Stereo Parallel Tracking and Mapping》提供了一种双目视觉SLAM方法，此方法同样采用ORB匹配方式，并且跟踪过程中只提供了恒速运动模型和重定位两种方式，在动态、低纹理环境下提取不到足够数量的特征点，无法应对更多的跟踪丢失情况，对建图也有影响。将该SLAM方法与深度学习的特征匹配相结合，可以在一定程度上解决上述问题。

技术实现思路

[0006]本专利技术提供一种融合深度学习特征匹配的同步跟踪与建图方法，解决现有SLAM方法在动态、低纹理等环境中跟踪效果差、位姿解算误差大的技术问题。
[0007]本专利技术采用的技术方案如下：
[0008]一种融合深度学习特征匹配的同步跟踪与建图方法，它包括以下步骤：
[0009]步骤S1、采集视觉前端图像，进行初始化；
[0010]步骤S2、通过特征匹配估计运动位姿，跟踪局部地图，决定下一关键帧；
[0011]步骤S3、依据关键帧信息，构建局部地图；
[0012]步骤S4、回环检测和优化。
[0013]在步骤S1中，包括以下步骤：
[0014]使用双目相机采集视觉前端图像，使用LoFTR算法进行匹配，将匹配结果用作初始化跟踪线程，进行地图初始。
[0015]具体步骤如下：
[0016]步骤S101、调用gpu，选取第一帧双目图像记录为关键帧，使用LoFTR算法通过gpu运算进行匹配，输出格式为[mkpts0，mkpts1，mconf]；其中mkpts0、mkpts1分别为特征点在左右目图像中的坐标信息，mconf为匹配对置信度；
[0017]步骤S102、记录匹配对在左右目图像上的特征点坐标；使用Brief描述符提取器，在特征点处提取各自相应描述符，格式为[desp0，desp1]；使用特征点坐标进行特征点三角化，计算特征点3D坐标，更新初始位姿信息；
[0018]步骤S103、创建并初始化地图，将关键帧插入地图，将第一个关键帧3D坐标初始化为地图点。LoFTR相较于ORB算法可以匹配到更多的特征点，可以求解出更加精确的位姿信息，有利于后续跟踪的精度，虽然在耗时上有所增加，但是在初始化过程中的耗时并不影响后续系统实时性。
[0019]在步骤S101中，使用LoFTR算法进行匹配时，采用以下步骤：
[0020]步骤S101
‑
1、通过特征提取网络提取粗略级别特征图F1、精细级别特征图F3[0021]步骤S101
‑
2、对粗略级别特征图F1进行位置编码，并计算多头交叉注意力，输出特征图F1′
；
[0022]步骤S101
‑
3、对特征图F1′
使用dual
‑
softmax算法进行匹配，使用互近邻MNN算法筛选匹配对，最终输出粗略级别特征匹配Mc；
[0023]步骤S101
‑
4、将粗略级别特征匹配Mc映射在精细级别特征图F3中，裁剪出目标大小的窗口，再次提取特征并匹配，最后筛选出精细级别特征匹配Mf，作为最终输出结果。
[0024]在步骤S2中，通过特征匹配跟踪估计运动位姿，跟踪局部地图，决定下一关键帧；
[0025]具体包括以下步骤：
[0026]步骤S201、为保证跟踪主线程的实时性，使用ORB特征匹配，依次通过步骤S201
‑
1、步骤S201
‑
2、步骤S201
‑
3三种跟踪模型进行帧间跟踪，输出相机位姿信息，用以局部地图跟踪；任一模型跟踪成功，等待该跟踪模型步骤完成后，进入步骤S202；
[0027]步骤S201
‑
1、使用恒速模型进行跟踪，步骤如下：
[0028]步骤(1)利用上一帧解算的位姿，通过恒速运动模型估计当前初始位姿，保存当前恒速模型；
[0029]步骤(2)利用上一帧解算的临时地图点，投影到当前坐标系，将两帧中描述子进行匹配，当搜索到欧式距离小于阈值的匹配点数大于一定数量，则跟踪成功；
[0030]步骤(3)将重投影误差作为目标函数，使用最小二乘法优化当前帧位姿，剔除优化过程中的外点。
[0031]重投影误差计算公式如下：
[0032][0033]其中e为重投影误差；P为上一帧特征点在世界坐标系的坐标，u为上一帧投影在当前帧的像素坐标，s为深度值与实际距离的转换参数，K为相机内参，ζ为此时相机位姿对应的李代数，exp(ζ)是ζ从向量到矩阵的对数映射；以所有跟踪特征点重投影误差之和作为优
化目标函数，使用最小二乘法优化；
[0034]步骤S201
‑
2、参考上一关键帧信息进行跟踪，步骤如下：
[0035]步骤(1)选取具有共视关系的一级、二级关键帧参考；
[0036]步骤(2)使用词袋BoW加速当前帧与参考帧的匹配，如果搜索到欧式距离小于阈值的匹配点数大于一定数量，将上一帧位姿作为当前帧初始值；
[0037]步骤(3)使用重投影误差优化当前位姿并计算内点，若内点数大于一定数量则跟踪成功；
[0038]步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合深度学习特征匹配的同步跟踪与建图方法，其特征在于，它包括以下步骤：步骤S1、采集视觉前端图像，进行初始化；步骤S2、通过特征匹配估计运动位姿，跟踪局部地图，决定下一关键帧；步骤S3、依据关键帧信息，构建局部地图；步骤S4、回环检测和优化。2.根据权利要求1所述的方法，其特征在于，在步骤S1中，使用双目相机采集视觉前端图像，使用LoFTR算法进行匹配，将匹配结果用作初始化跟踪线程，进行地图初始化；具体步骤如下：步骤S101、调用gpu，选取第一帧双目图像记录为关键帧，使用LoFTR算法通过gpu运算进行匹配，输出格式为[mkpts0，mkpts1，mconf]；其中mkpts0、mkpts1分别为特征点在左右目图像中的坐标信息，mconf为匹配对置信度；步骤S102、记录匹配对在左右目图像上的特征点坐标；使用Brief描述符提取器，在特征点处提取各自相应描述符，格式为[desp0，desp1]；使用特征点坐标进行特征点三角化，计算特征点3D坐标，更新初始位姿信息；步骤S103、创建并初始化地图，将关键帧插入地图，将第一个关键帧3D坐标初始化为地图点。3.根据权利要求2所述的方法，其特征在于，在步骤S101中，在使用LoFTR算法进行匹配时，采用以下步骤：步骤S101
‑
1、通过特征提取网络提取粗略级别特征图F1、精细级别特征图F3步骤S101
‑
2、对粗略级别特征图F1进行位置编码，并计算多头交叉注意力，输出特征图F1′
；步骤S101
‑
3、对特征图F1′
使用dual
‑
softmax算法进行匹配，使用互近邻MNN算法筛选匹配对，最终输出粗略级别特征匹配Mc；步骤S101
‑
4、将粗略级别特征匹配Mc映射在精细级别特征图F3中，裁剪出目标大小的窗口，再次提取特征并匹配，最后筛选出精细级别特征匹配Mf，作为最终输出结果。4.根据权利要求1所述的方法，其特征在于，在步骤S2中，通过特征匹配跟踪估计运动位姿，跟踪局部地图，决定下一关键帧；具体包括以下步骤：步骤S201、为保证跟踪主线程的实时性，使用ORB特征匹配，依次通过步骤S201
‑
1、步骤S201
‑
2、步骤S201
‑
3三种跟踪模型进行帧间跟踪，输出相机位姿信息，用以局部地图跟踪；任一模型跟踪成功，等待该跟踪模型步骤完成后，进入步骤S202；步骤S201
‑
1、使用恒速模型进行跟踪，步骤如下：步骤(1)利用上一帧解算的位姿，通过恒速运动模型估计当前初始位姿，保存当前恒速模型；步骤(2)利用上一帧解算的临时地图点，投影到当前坐标系，将两帧中描述子进行匹配，当搜索到欧式距离小于阈值的匹配点数大于一定数量，则跟踪成功；步骤(3)将重投影误差作为目标函数，使用最小二乘法优化当前帧位姿，剔除优化过程中的外点；重投影误差计算公式如下：
其中e为重投影误差；P为上一帧特征点在世界坐标系的坐标，u为上一帧投影在当前帧的像素坐标，s为深度值与实际距离的转换参数，K为相机内参，ζ为此时相机位姿对应的李代数，exp(ζ)是ζ从向量到矩阵的对数映射；以所有跟踪特征点重投影误差之和作为优化目标函数...

【专利技术属性】
技术研发人员：冉昌艳，李维文，
申请(专利权)人：三峡大学，
类型：发明
国别省市：