视觉SLAM特征匹配方法、系统、装置及可读存储介质制造方法及图纸

本发明专利技术提供了一种视觉SLAM特征匹配方法、系统、装置及可读存储介质，方法包括以下步骤；步骤1，预处理双目相机图像数据；步骤2，对惯性测量单元IMU测量值进行预积分；步骤3，对预积分进行误差分析；步骤4，对像素坐标进行预测；步骤5，确定自适应阈值。本发明专利技术提出的自适应算法能够有效缩小特征匹配的搜索半径，为特征点提供区域约束，提高图像特征匹配的准确度，为SLAM系统提供较为准确的位姿初值，进而提升系统整体位姿精度。统整体位姿精度。统整体位姿精度。

【技术实现步骤摘要】
视觉SLAM特征匹配方法、系统、装置及可读存储介质


[0001]本专利技术涉及一种图像特征匹配算法，具体来说，涉及了一种视觉SLAM特征匹配方法、系统、装置及可读存储介质。

技术介绍

[0002]作为视觉SLAM(Simultaneous Localization And Mapping)的前端技术，视觉里程计的主要任务是根据相邻图像的匹配信息估计相机运动，其中对图像进行特征匹配是最关键环节，匹配的准确性直接影响VSLAM系统精度。常用的特征匹配算法有暴力匹配算法和快速最近邻匹配算法。然而，当相机运动过快时，图像模糊、动态场景、光线变化和图像特征本身的局部特性，使特征误匹配广泛存在，并成为制约视觉SLAM性能提升的一大瓶颈。
[0003]为解决特征误匹配率高的问题，国内外学者大多采用VSLAM与惯性测量单元(Inertial Measurement Unit,IMU)融合技术。有学者提出了一种改进的ASIFT特征匹配方法，利用IMU提供的运动信息虚构相机视图并估计本质矩阵，以提高特征匹配的稳健性。吴斌和王旭日利用图像的对极约束建立了前后两帧图像像素所在极线的数学关系，并结合IMU预测相机位姿获取特征点所在极线，有效地剔除误匹配的特征点。Qi Guan提出了一种全局搜索和局部搜索交替操作并自动切换的特征匹配算法，利用相机投影模型和IMU预积分结果预测特征点可能出现的区域，并对局部区域进行搜索匹配。同样地，Campos C,Elvira R提出的视觉惯性SLAM系统ORB
‑
SLAM3在特征匹配阶段也引入了惯导约束，利用IMU预测相机位姿，将双目相机左右匹配或三角化得到的地图点投影至图像，预测像素位置。由于惯导解算可为特征点匹配提供区域约束，提高特征匹配的准确度，所以得到了广泛应用。
[0004]然而，由于IMU测量值本身存在误差，在惯导辅助图像特征匹配时，通常将全图像的特征匹配转换为以预测位置为原点，某一固定值为半径的局部区域特征匹配。而且为了适配不同精度IMU，普遍做法是设置一个较大的搜索半径值，以避免漏掉特征点。这在IMU精度较高时易造成计算资源浪费，提高了图像特征的误匹配率，使SLAM系统的位姿估计精度降低。

技术实现思路

[0005]本专利技术针对上述现有技术的不足，提供一种自适应惯导辅助视觉SLAM特征匹配方法及系统，以惯性单元误差为基础，根据误差传播定律自动调整图像特征匹配搜索半径，不仅能提高特征点匹配的准确率，还能减少匹配所需的计算量和耗时，提高特征匹配的效率。
[0006]本专利技术为实现上述目的所采用的技术方案是：
[0007]本专利技术第一方面提供一种基于自适应惯导辅助的视觉SLAM特征匹配方法，包括以下步骤；
[0008]步骤1，预处理双目相机图像数据；
[0009]步骤2，对惯性测量单元IMU测量值进行预积分；
[0010]步骤3，对预积分进行误差分析；
[0011]步骤4，对像素坐标进行预测；
[0012]步骤5，确定自适应阈值。
[0013]本专利技术第二方面提供一种基于自适应惯导辅助的视觉SLAM特征匹配系统，包括：
[0014]第一处理模块，用于预处理双目相机图像数据；
[0015]第二处理模块，用于对惯性测量单元IMU测量值进行预积分；
[0016]第三处理模块，用于对预积分进行误差分析；
[0017]第四处理模块，用于对像素坐标进行预测；
[0018]第五处理模块，用于确定自适应阈值；
[0019]所述第一处理模块、所述第二处理模块、所述第三处理模块、所述第四处理模块和所述第五处理模块依次连接，用以完成所述的基于自适应惯导辅助的视觉SLAM特征匹配方法。
[0020]本专利技术第三方面提供一种视觉SLAM特征匹配装置，包括：
[0021]存储器；以及
[0022]耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行所述的基于自适应惯导辅助的视觉SLAM特征匹配方法。
[0023]本专利技术第四方面提供一种非瞬时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的基于自适应惯导辅助的视觉SLAM特征匹配方法。
[0024]本专利技术相对现有技术具有突出的实质性特点和显著进步，具体来说，本专利技术具有以下有益效果及优点：
[0025]本专利技术提出了自适应阈值惯性测量单元辅助的图像特征匹配算法，以惯性单元误差为基础，能够根据误差传播定律自动调整图像特征匹配搜索半径，从而利用不同精度的惯性测量数据高效辅助视觉SLAM的特征匹配。本专利技术提出的自适应算法能够有效缩小特征匹配的搜索半径，为特征点提供区域约束，提高图像特征匹配的准确度，为SLAM系统提供较为准确的位姿初值，进而提升系统整体位姿精度。
附图说明
[0026]图1惯导辅助图像特征匹配流程图。
[0027]图2双目相机的成像模型图。
[0028]图3确定自适应特征匹配搜索半径流程图。
具体实施方式
[0029]下面结合附图对本专利技术做进一步的详细说明。
[0030]技术名称的说明：
[0031]特征点，是指像素坐标系下具有代表性的像素，是从图像中选取的具有代表性的点，因此其对应的坐标称为像素坐标；
[0032]地图点，是指特征点对应的三维空间点；
[0033]载体，是指搭载相机与惯导的平台。
[0034]实施例1
[0035]如图1
‑
3所示，本实施例提供一种基于自适应惯导辅助的视觉SLAM特征匹配方法，
包括以下步骤；
[0036]步骤1，预处理双目相机图像数据；
[0037]预处理双目图像数据的方法包括：
[0038]步骤1
‑
1，根据相似三角形原理，得地图点在双目相机坐标系下的深度值z为
[0039][0040]其中，f为相机的焦距，b为双目相机的基线；
[0041]步骤1
‑
2，将特征点在双目相机坐标系下的深度值z代入针孔相机投影模型，得地图点在相机坐标系下的坐标P
l
为
[0042][0043]式中，(u
l
,v
l
)是地图点P在左目相机图像平面坐标系下的像素坐标，c
x
,c
y
是相机内参。
[0044]步骤2，对惯性测量单元IMU测量值进行预积分；
[0045]在两个连续图像帧i,j之间有多帧IMU数据，通过对惯性测量单元IMU测量值预积分可得到两帧图像的相对运动增量；
[0046]对惯性测量单元IMU测量值进行预积分的方法包括：
[0047][0048][0049][0050]式中，ΔR
ij
,Δv
ij
,Δp
ij
分别为相邻两图像帧i,j经预积分解算得到的相对姿态、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应惯导辅助的视觉SLAM特征匹配方法，其特征在于，包括以下步骤；步骤1，预处理双目相机图像数据；步骤2，对惯性测量单元IMU测量值进行预积分；步骤3，对预积分进行误差分析；步骤4，对像素坐标进行预测；步骤5，确定自适应阈值。2.根据权利要求1所述的基于自适应惯导辅助的视觉SLAM特征匹配方法，其特征在于，预处理双目图像数据的方法包括：步骤1
‑
1，根据相似三角形原理，得地图点在双目相机坐标系下的深度值z为其中，f为相机的焦距，b为双目相机的基线；步骤1
‑
2，将特征点在双目相机坐标系下的深度值z代入针孔相机投影模型，得地图点在相机坐标系下的坐标P
l
为式中，(u
l
,v
l
)是地图点P在左目相机图像平面坐标系下的像素坐标，c
x
,c
y
是相机内参。3.根据权利要求2所述的基于自适应惯导辅助的视觉SLAM特征匹配方法，其特征在于，对惯性测量单元IMU测量值进行预积分的方法包括：元IMU测量值进行预积分的方法包括：元IMU测量值进行预积分的方法包括：式中，ΔR
ij
,Δv
ij
,Δp
ij
分别为相邻两图像帧i,j经预积分解算得到的相对姿态、速度和位置；分别为k时刻陀螺仪和加速度计的测量值、零偏和离散的高斯白噪声；Δt为惯性测量单元IMU的采样时间间隔；Exp(
·
)为指数映射，将旋转向量映射为李群空间的旋转矩阵。4.根据权利要求3所述的基于自适应惯导辅助的视觉SLAM特征匹配方法，其特征在于，对预积分进行误差分析的方法包括：步骤3
‑
1，预积分测量噪声与惯性测量单元IMU噪声关系为：1，预积分测量噪声与惯性测量单元IMU噪声关系为：
式中，为i到j时刻惯性测量单元IMU预积分量中姿态误差δR
ij
对应的李代数；δv
ij
,δp
ij
分别为i到j时刻惯性测量单元IMU预积分量中速度和位置的误差；分别为k时刻陀螺仪和加速度计的离散噪声，是其连续噪声与采样频率开方的乘积，单位分别为rad/s,m/s2；步骤3
‑
2，得预积分量误差的递推公式为式中，为i到j
‑
1时刻惯性测量单元IMU预积分量中姿态误差δR
i,j
‑1对应的李代数；δv
i,j
‑1,δp
i,j
‑1分别为i到j
‑
1时刻惯性测量单元IMU预积分量中速度和位置的误差；为j到j
‑
1时刻载体相对姿态；为j
‑
1时刻加速度计测量值；为i时刻加速度计零偏，这里定义相邻两图像帧间偏差不变；为右雅克比矩阵的逆；分别为j
‑
1时刻陀螺仪和加速度计的离散噪声；步骤3
‑
3，得两相邻图像帧之间IMU预积分量的协方差∑
ij
为为为
式中，∑
i,j
‑1为i到j
‑
1时刻惯性测量单元IMU预积分量的协方差，定义初始时刻惯性测量单元IMU预积分量无误差，即∑
ii
为零矩阵；为j
‑
1时刻惯性测量单元IMU测量值噪声的协方差，定义任意时刻惯性测量单元IMU协方差都为固定值，...

【专利技术属性】
技术研发人员：尚延法，贾晓雪，邱春平，王富强，张有为，吴一博，房飞跃，王祎飞，
申请(专利权)人：郑州信大先进技术研究院，
类型：发明
国别省市：