基于点线融合特征的视觉跟踪方法技术

本发明专利技术提供一种基于点线融合特征的视觉跟踪方法，该视觉跟踪方法包括：提取点特征并完成点特征匹配；提取线特征；基于所提取的线特征，采用改进的线特征匹配方法，基于几何约束辅助描述子匹配完成特征匹配，并剔除误匹配，包括：初步建立线匹配集合；采用双向最近邻结合比例测试的方式，选取出最优匹配线段；基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配；构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿

【技术实现步骤摘要】
基于点线融合特征的视觉跟踪方法


[0001]本专利技术属于视觉导航
，涉及一种基于点线融合特征的视觉跟踪方法
。

技术介绍

[0002]科技的发展逐渐向智能化水平前行，面向无人设备的自主导航技术逐渐成熟，卫星可以提供实时的位置，是通用的导航方式之一
。
在楼宇
、
巷道
、
室内等典型城市复杂环境中，卫星拒止条件成为常态，传统基于卫星的定位技术受到很多制约，
GPS
装备甚至无法正常工作
。
[0003]随着视觉传感器技术
、
计算机技术和人工智能技术的迅速发展，基于计算机视觉的识别定位技术作为一种新的导航方式，视觉导航开始在自主导航领域占据一席之地
。
视觉传感器具有隐蔽性
、
轻便
、
低功耗和价格低廉等特点，因此利用视觉传感器进行导航具有很大的优势
。
[0004]视觉导航在纹理丰富区域往往能实现良好的跟踪效果，达到较高的定位精度
。
但是基于点特征的方法在弱纹理环境下难以提取到足够的特征点或者特征点分布不均匀，跟踪定位精度大幅下降
。
因此开展地面环境下高精度
、
高鲁棒性的导航定位技术研究极为迫切
。

技术实现思路

[0005]本专利技术旨在至少解决现有技术或相关技术中存在的技术问题之一
。
[0006]为此，本专利技术提供了一种基于点线融合特征的视觉跟踪方法
。
[0007]本专利技术的技术解决方案如下：
[0008]根据一方面，提供一种基于点线融合特征的视觉跟踪方法，该视觉跟踪方法包括：
[0009]提取点特征并完成点特征匹配；
[0010]提取线特征；
[0011]基于所提取的线特征，采用改进的线特征匹配方法，基于几何约束辅助描述子匹配完成特征匹配，并剔除误匹配，包括：
[0012]初步建立线匹配集合；
[0013]采用双向最近邻结合比例测试的方式，选取出最优匹配线段；
[0014]基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配；
[0015]构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿
。
[0016]进一步地，采用基于
ORB
的特征提取方法提取点特征，采用基于描述子的匹配方法完成点特征匹配
。
[0017]进一步地，采用基于
ORB
的特征提取方法提取点特征时，将改进后的
Fast
角点作为特征点，所述特征点具备旋转不变性
。
[0018]进一步地，采用基于描述子的匹配方法完成点特征匹配，具体包括：
[0019]对于每个特征点采用改进的
BRIEF
描述子，利用
ORB
‑
SLAM2
中的匀速模型运动预估划定上一帧图像在当前帧图像的投影区域；
[0020]然后在投影区域中对比特征点对描述子的汉明距离，选取距离最小的特征点对为匹配点对；
[0021]提取前后帧图像的所有匹配点对，完成点特征匹配
。
[0022]进一步地，采用参数优化的
LSD
线特征提取方法提取线特征，其中，所述
LSD
线特征提取方法中，设计
s
＝
0.5,d
＝
0.6
，其中，
s
为尺度参数，用于缩放各层金字塔图像，
d
为最小密度阈值，代表区域生长拟合矩形框内最少点的数量
。
[0023]进一步地，所述
LSD
线特征提取方法还包括：
[0024]设置最短线长阈值其中
W
I
和
H
I
分别表示图像的宽和高，
η
为比例参数；
[0025]设计检测直线段的长度低于所述阈值时被过滤
。
[0026]进一步地，采用双向最近邻结合比例测试的方式，选取出最优匹配线段，具体包括：
[0027]1)
将第
i
关键帧的第
m
条检测直线段记作计算在第
j
关键帧上的最近邻线段特征和次优最近邻线段特征
[0028]2)
进行比例测试，分别计算两个线段特征描述子的距离，并判断是否具备较大的差异，若则，判定具备较大的差异，将记为优选匹配线段，其中
ρ
为比例阈值，
d
代表两个特征描述子距离；
[0029]3)
对步骤
2)
得到的优选匹配线段的进行最优距离筛选，判断是否满足
D
max
为特征距离的上限，若满足，则将使记为的最优匹配线段；
[0030]4)
按照步骤
1)
～
3)
方法筛选出所有最优线段匹配对
。
[0031]进一步地，所述基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配，具体包括：
[0032]对于任意筛选出的最优线匹配对经过三角化获得地图线记作
[0033]假设存在线匹配将投影至第
k
关键帧，得到投影直线段并衡量投影直线段与的相似度，若满足时，认为匹配对提供了支持；其中，函数
S1()
代表角度相似度，函数
S2()
代表位置相似性；为第
k
关键帧的的最优匹配线段；
[0034]设计线匹配对在5个关键帧之内至少具有2票支持才被认为是正确匹配，否则被视作误匹配而删除相应匹配对和地图线
。
[0035]进一步地，通过下述方式设计函数
S1()
和函数
S2()
：
[0036]假设两条直线段
l1和
l2，其中，该两条直线段满足：
[0037][0038]其中
∠(l1,l2)
表示直线段的角度差异，
d
max
(l1,l2)
表示直线段端点到另一直线段所在直线的最大距离，
σ
a
和
σ
p
是设置的标准差
。
[0039]进一步地，所述构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿，具体包括：
[0040]构造特征点的最小化重投影误差模型；
[0041]构造线特征的最小化重投影误差模型；
[0042]联合任意第
i
个图像帧上面所有特征点和线特征的最小化重投影误差，迭代求解获取相机第
i
帧的位姿，实现视觉跟踪
。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于点线融合特征的视觉跟踪方法，其特征在于，所述视觉跟踪方法包括：提取点特征并完成点特征匹配；提取线特征；基于所提取的线特征，采用改进的线特征匹配方法，基于几何约束辅助描述子匹配完成特征匹配，并剔除误匹配，包括：初步建立线匹配集合；采用双向最近邻结合比例测试的方式，选取出最优匹配线段；基于筛选出的最优匹配线段，通过衡量其他线匹配对此线特征对应地图线的支持，进一步剔除误匹配；构造最小化重投影模型，根据所述点特征和线特征的匹配，获取相机位姿
。2.
根据权利要求1所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，采用基于
ORB
的特征提取方法提取点特征，采用基于描述子的匹配方法完成点特征匹配
。3.
根据权利要求2所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，采用基于
ORB
的特征提取方法提取点特征时，将改进后的
Fast
角点作为特征点，所述特征点具备旋转不变性
。4.
根据权利要求2所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，采用基于描述子的匹配方法完成点特征匹配，具体包括：对于每个特征点采用改进的
BRIEF
描述子，利用
ORB
‑
SLAM2
中的匀速模型运动预估划定上一帧图像在当前帧图像的投影区域；然后在投影区域中对比特征点对描述子的汉明距离，选取距离最小的特征点对为匹配点对；提取前后帧图像的所有匹配点对，完成点特征匹配
。5.
根据权利要求1‑4任一项所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，采用参数优化的
LSD
线特征提取方法提取线特征，其中，所述
LSD
线特征提取方法中，设计
s
＝
0.5,d
＝
0.6
，其中，
s
为尺度参数，用于缩放各层金字塔图像，
d
为最小密度阈值，代表区域生长拟合矩形框内最少点的数量
。6.
根据权利要求5所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，所述
LSD
的线特征提取方法还包括：设置最短线长阈值其中
W
I
和
H
I
分别表示图像的宽和高，
η
为比例参数；设计检测直线段的长度低于所述阈值时被过滤
。7.
根据权利要求5或6所述的一种基于点线融合特征的视觉跟踪方法，其特征在于，采用双向最近邻结合比例测试的方式，选取出最优匹配线段，具体包括：
1)
将第
i
关键帧的第
m
条检测直线段记作计算在第
j
关键帧上的最近邻线段特征和次优最近邻线段特征
2)
进行比例测试，分别计算两个线段特征描述子的距离，并判断是否具备较大的差异，若则，判定具备较大的差异，将记为优选匹配线段，其中
ρ
为比例
阈值，
d
代表两个特征描述子距离；
3)
对步骤
2)
得到的优选匹配线段的进行最优距离筛选，判断是否满足
D
max
...

【专利技术属性】
技术研发人员：尚克军，李至，焦浩，李茜茜，明丽，王大元，赵亮，扈光锋，徐策，刘崇亮，
申请(专利权)人：北京自动化控制设备研究所，
类型：发明
国别省市：