一种结合SuperPoint网络特征提取的单目SLAM方法技术

本发明专利技术公开了一种结合SuperPoint网络特征提取的单目SLAM方法，包括步骤：步骤1)，输入单目相机视频图像，以每帧的格式输入并进行预处理；步骤2)，读取每帧图像，将每帧图像输入到SuperPoint网络中，输出的是图像特征点和描述子；步骤3)，进入跟踪模式，将满足特征点数目的帧作为参考帧，继续读取下一帧进行特征匹配，根据匹配的特征点计算相机位姿轨迹，同时不断加入下一帧；步骤4)，根据计算的相机位姿轨迹绘制局部地图，并不断更新，直至读取完所有的图像帧。本发明专利技术针对GCN

【技术实现步骤摘要】
一种结合SuperPoint网络特征提取的单目SLAM方法


[0001]本专利技术涉及实时SLAM(同步定位与绘制地图)领域，特别涉及机器人在未知环境中一边移动一边得到周围环境地图以及移动路线的技术，具体地指一种结合SuperPoint网络特征提取的单目SLAM方法。

技术介绍

[0002]SLAM(Simultaneous Localization and Mapping)，同步定位与绘制地图。利用SLAM功能，机器人可以在未知的环境中找到自己的位置，并且得到周围环境地图。在机器人的移动和感知环境得到路径的过程中，SLAM常常扮演着重要的角色。到现在，SLAM技术经历了三十多年的发展，其在无人驾驶、机器人、AR/VR等领域都有了一定的发展应用。
[0003]当前SLAM方法主要分为特征点法和直接法，其中伴随着深度学习的不断发展，借助神经网络进行特征提取从而替换掉SLAM系统中的特征提取部分也逐渐成为新的研究热点。
[0004]GCN
‑
SLAM系统借鉴了SuperPoint网络中使用单个网络自我监督策略预测关键点和描述符的思想，简化网络结构。SuperPoint网络不是端到端的估计位姿，而是专注于提取特征点和描述子，再利用特征点的几何投影计算位姿。SuperPoint网络首先通过编码网络对输入图片降维，然后分别通过特征点检测网络和描述子检测网络得到特征点和描述子。通过构建与ORBSLAM2系统相同的二进制描述子来加速匹配，并结合ORBSLAM2系统，替换掉特征提取部分，构建了Jetson TX2上实时的GCN
‑
SLAM。
[0005]GCN
‑
SLAM系统的目标平台是在室内环境中运行的无人机，因此GCN
‑
SLAM系统仅使用深度相机(RGB
‑
D)传感器估计运动，使用深度相机传感器可直接观察尺度，无需视觉惯性聚变或使用神经网络推断深度的计算成本。但是深度相机在室外环境会受到光照的影响，得到的深度信息具有很大误差，从而大大降低GCN
‑
SLAM系统的精度，同时深度相机往往价格昂贵，导致设备成本上升。

技术实现思路

[0006]本专利技术的目的是为了解决上述
技术介绍
存在的不足，而提出的一种结合SuperPoint网络特征提取的单目SLAM方法，能够将GCN
‑
SLAM系统拓展适用于单目相机。
[0007]为实现上述目的，本专利技术所设计的一种结合SuperPoint网络特征提取的单目SLAM方法，其特殊之处在于，所述方法包括如下步骤：
[0008]步骤1)，输入单目相机视频图像，将单目相机视频图像划分为以每帧的格式输入并进行预处理；
[0009]步骤2)，读取每帧图像，将每帧图像输入到SuperPoint网络中，输出的是图像特征点和描述子；
[0010]步骤3)，进入跟踪模式，将满足特征点数目的帧作为参考帧，继续读取下一帧进行特征匹配，根据匹配的特征点计算相机位姿轨迹，同时不断加入下一帧；
[0011]步骤4)，根据计算的相机位姿轨迹绘制局部地图，并不断更新，直至读取完所有的图像帧。
[0012]优选地，所述步骤1)的具体步骤包括：
[0013]步骤1.1)，将连续视频图像以每帧图像循环读入；
[0014]步骤1.2)，对每帧图像进行处理，将每帧图像转为灰度图。
[0015]优选地，所述步骤2)的具体步骤包括：
[0016]步骤2.1)，将经过处理的灰度图输入至SuperPoint网络中；
[0017]步骤2.2)，在SuperPoint网络一个共享的编码器对输入图片进行降维，再将图像分别送到特征点检测网络和描述子检测网络；
[0018]步骤2.3)，在特征点检测网络中，采用Shi
‑
Tomasi角点检测图像块，输出的每个像素点成为特征点的概率；
[0019]步骤2.4)，在描述子检测网络中，先学习半稠密的描述子，然后进行双三次插值算法得到完整描述子，再使用L2标准化处理得到单位长度的描述。
[0020]优选地，所述步骤3)的具体步骤包括：
[0021]步骤3.1)，对每帧图像提取的特征点进行判断，如果特征点数目满足设定要求，则将该帧作为参考帧，否则继续读入下一帧；
[0022]步骤3.2)，选好参考帧后，读取下一帧与参考帧进行特征匹配；
[0023]步骤3.3)，选择两个图像帧中匹配的特征点P1与P2，利用三角测量法，通过在两个图像帧中观察同一个点的夹角，从而确定该点的距离；
[0024]步骤3.4)，由于已知P1与P2点的像素坐标，将其分别归一化平面上的坐标x1与x2，转换公式为x2＝Rx1+t，其中R为旋转矩阵，t为平移矩阵；得到旋转矩阵R和平移矩阵t即求得位姿，在二维图像中的点x1经过旋转和平移得到x2，在其对应的三维点中也同样适用，设X1是x1对应的三维坐标，X2是x2对应的三维坐标，其计算公式为x＝PX，式中P为相机内参矩阵模型，则三维点坐标轨迹满足X2＝RX1+t。
[0025]步骤3.5)，求解旋转矩阵R与平移矩阵t，然后选择参考帧，继续读取下一帧与参考帧进行特征匹配，不断得到图像帧之间位姿轨迹。
[0026]优选地，所述步骤4)的具体步骤包括：
[0027]步骤4.1)，根据图像帧之间位姿轨迹，使用Eigen几何模块在地图上绘制出来；
[0028]步骤4.2)，根据图像帧之间位姿轨迹计算得到相机位姿，并不断更新地图。
[0029]优选地，所述步骤3.5)中求解旋转矩阵R与平移矩阵t通过F模型和/或H模型：F模型利用匹配点，根据八点法求解基础矩阵F进行奇异值分解得到旋转矩阵R与平移矩阵t，H模型利用匹配点，计算单应矩阵H由DLT分解法得到旋转矩阵R与平移矩阵t。第一种求解基础矩阵F的方法适用于大部分旋转和平移的场景，第二种求解单应矩阵H的方法是一种比较特殊的情况，适用于纯旋转场景，没有平移。在不适合的场景下，对应的方法会出现较大误差，因此需要对这两种方法进行评估，选择更合适的方法求解旋转矩阵R与平移矩阵t，减少误差。
[0030]优选地，所述步骤3.5)中选择计算两种方法求解旋转矩阵R与平移矩阵t后，分别计算得到单应矩阵H的重投影误差评分S
H
和基础矩阵F的重投影误差评分S
F
，并根据公式R
H
＝S
H
/(S
H
+S
F
)计算总评分R
H
，若R
H
＞0.4则选择单应矩阵计算，否则选择基础矩阵计算。
[0031]本专利技术针对GCN
‑
SLAM系统中只适用于深度相机的缺陷，在保证精度的同时，将GCN
‑
SLAM系统拓展适用于单目相机，降低设备成本，同时由于采用单目相机不采集深度信息，改进之后的系统本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结合SuperPoint网络特征提取的单目SLAM方法，其特征在于：所述方法包括如下步骤：步骤1)，输入单目相机视频图像，将单目相机视频图像划分为以每帧的格式输入并进行预处理；步骤2)，读取每帧图像，将每帧图像输入到SuperPoint网络中，输出的是图像特征点和描述子；步骤3)，进入跟踪模式，将满足特征点数目的帧作为参考帧，继续读取下一帧进行特征匹配，根据匹配的特征点计算相机位姿轨迹，同时不断加入下一帧；步骤4)，根据计算的相机位姿轨迹绘制局部地图，并不断更新，直至读取完所有的图像帧。2.根据权利要求1所述的一种结合SuperPoint网络特征提取的单目SLAM方法，其特征在于：所述步骤1)的具体步骤包括：步骤1.1)，将连续视频图像以每帧图像循环读入；步骤1.2)，对每帧图像进行处理，将每帧图像转为灰度图。3.根据权利要求2所述的一种结合SuperPoint网络特征提取的单目SLAM方法，其特征在于：所述步骤2)的具体步骤包括：步骤2.1)，将经过处理的灰度图输入至SuperPoint网络中；步骤2.2)，在SuperPoint网络一个共享的编码器对输入图片进行降维，再将图像分别送到特征点检测网络和描述子检测网络；步骤2.3)，在特征点检测网络中，采用Shi
‑
Tomasi角点检测图像块，输出的每个像素点成为特征点的概率；步骤2.4)，在描述子检测网络中，先学习半稠密的描述子，然后进行双三次插值算法得到完整描述子，再使用L2标准化处理得到单位长度的描述。4.根据权利要求2所述的一种结合SuperPoint网络特征提取的单目SLAM方法，其特征在于：所述步骤3)的具体步骤包括：步骤3.1)，对每帧图像提取的特征点进行判断，如果特征点数目满足设定要求，则将该帧作为参考帧，否则继续读入下一帧；步骤3.2)，选好参考帧后，读取下一帧与参考帧进行特征...

【专利技术属性】
技术研发人员：袁景凌，李宵，俞洋，白立华，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：