一种点线面多维特征-可见光融合slam方法技术

本发明专利技术涉及一种点线面多维特征

【技术实现步骤摘要】
一种点线面多维特征
‑
可见光融合slam方法


[0001]本专利技术涉及智能交互
，特别是涉及一种点线面多维特征
‑
可见光融合slam方法。

技术介绍

[0002]现有的点线面三维特征融合方法主要基于可见光
‑
深度(RGB
‑
D)相机设计，考虑的是室内环境，使用平面的平行和垂直约束，优化无人系统的位姿和特征位置。此外现有研究基于光线良好，环境结构特征良好的前提假设，实现点线面的特征融合。因此不满足室内外环境，良好光线和昏暗光线全覆盖的要求。

技术实现思路

[0003]本专利技术的目的是提出一种点线面多维特征
‑
可见光融合slam方法，实现在良好和昏暗光照环境，有效估计无人系统位姿功能，具有室内外鲁棒高精定位能力以及各种照度光线鲁棒定位能力。
[0004]为实现上述目的，本专利技术提供了如下方案：
[0005]一种点线面多维特征
‑
可见光融合slam方法，包括：
[0006]获取红外图像和可见光图像，分别对所述红外图像和所述可见光图像进行点特征、线特征、面特征提取，获得红外特征图像和可见光特征图像；
[0007]根据对应关系，对所述红外特征图像和所述可见光特征图像进行特征融合，并基于特征匹配方法，得到匹配后的共视图像；
[0008]基于所述匹配后的共视图像进行特征追踪，提取共视关键帧图像。
[0009]优选地，分别对所述红外图像和所述可见光图像进行点特征提取，包括：
[0010]分别对经过预处理的所述红外图像和经过预处理后的所述可见光图像，使用Harris角点特征提取算法，提取点特征。
[0011]优选地，分别对所述红外图像和所述可见光图像进行线特征提取，包括：
[0012]分别对经过预处理的所述红外图像和经过预处理的所述可见光图像，使用LSD直线检测方法，提取线特征，并设置直线长度阈值，过滤长度低于所述阈值的短直线，最后使用直线方向向量和直线法向量对直线进行表征以及存储。
[0013]优选地，分别对所述红外图像和所述可见光图像进行面特征提取，包括：
[0014]基于所述点特征所在像素的所有邻域像素，计算点特征法向量；
[0015]根据所述点特征法向量和空间距离，通过K邻域的方法，进行聚类，获得特征点云；
[0016]计算每个所述特征点云的聚类中心，以所述聚类中心的位置和所述点特征法向量作为面特征的位置和所述面特征法向量，实现所述面特征的提取。
[0017]优选地，得到所述匹配后的共视图像，包括：
[0018]基于所述红外特征图像和所述可见光特征图像，通过所述红外
‑
可见光相机的外参和提取的点特征、线特征、面特征进行特征融合和匹配方法，得到匹配后的共视图像。
[0019]优选地，基于所述点特征进行特征融合和匹配，包括：
[0020]根据红外
‑
可见光相机的外参，将所述红外图像提取的特征点变换到可见光坐标系中，获得坐标x，基于所述坐标x查找点特征，若查找到所述点特征，即为匹配好的点特征对，对所述点特征对赋第一权重，反之赋第二权重；其中，匹配好的点特征的描述子以可见光特征的描述子为准。
[0021]优选地，基于所述线特征进行特征融合和匹配，包括：
[0022]将所述红外图像提取的线特征的端点变换到可见光坐标系中，并分别在变换后线段的起点和终点处的邻域内，查找目标线特征，其中所述目标线特征的方向向量和法向量贴合于可见光图像线特征的方向向量和法向量；其中，匹配好的线特征的描述子以可见光特征的描述子为准。
[0023]优选地，根据所述红外
‑
可见光相机的外参，将所述红外图像提取的面特征的中心点变换到可见光坐标系中，并在变换后的面元中心点的面元半径中查找出和可见光图像提取到的面特征的中心位置和法向量最符合的面特征；其中，匹配好的面特征的描述子以可见光特征的描述子为准。
[0024]优选地，基于所述匹配后的共视图像进行特征追踪，包括：
[0025]使用Brief描述子对特征以及子特征的位置进行描述，使用恒速模型对点特征和面特征进行追踪匹配；使用LBD描述子对线特征进行描述，使用恒速模型对线特征进行追踪匹配。
[0026]优选地，所述方法还包括，基于图优化策略对所述共视关键帧图像进行优化，所述图优化策略包括优化状态量和目标函数，所述优化状态量为：
[0027][0028]其中，表示可见光相机到世界坐标系位置，表示可见光相机到世界坐标系的姿态，λ
n
表示第n个点特征的逆深度，L
m
表示第m个线特征的方向向量和法向量，S
k
表示的是第k个面特征的位置和法向量；
[0029]所述目标函数为：
[0030][0031]其中，e
p
是点特征的重投影误差，e
L
是线特征的重投影误差，e
S
是面特征的冲投影误差，∑
L
(p,L,S)分别表示点，线，面的协方差矩阵。
[0032]本专利技术的有益效果为：
[0033]本专利技术提出一种点线面多维特征
‑
可见光融合slam方法，该方法首次使用红外
‑
可见光点线面特征融合提取方法，通过多特征融合，提高系统对环境光线变化和相机噪声的抵抗性，充分利用环境信息，保证在光线明暗变化环境中的定位精度。
附图说明
[0034]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图
获得其他的附图。
[0035]图1为本专利技术实施例中一种点线面多维特征
‑
可见光融合slam方法流程图。
具体实施方式
[0036]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0037]为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进一步详细的说明。
[0038]本专利技术实施例提供一种点线面多维特征
‑
可见光融合slam方法，如图1，包括：
[0039]通过红外
‑
可见光相机获取红外图像和可见光图像，分别对所述红外图像和所述可见光图像进行预处理，并进行点、线、面特征提取，获得红外特征图像和可见光特征图像；
[0040]根据对应关系，对所述红外特征图像和所述可见光特征图像进行特征融本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点线面多维特征
‑
可见光融合slam方法，其特征在于，包括：获取红外图像和可见光图像，分别对所述红外图像和所述可见光图像进行点特征、线特征、面特征提取，获得红外特征图像和可见光特征图像；根据对应关系，对所述红外特征图像和所述可见光特征图像进行特征融合，并基于特征匹配方法，得到匹配后的共视图像；基于所述匹配后的共视图像进行特征追踪，提取共视关键帧图像。2.根据权利要求1所述的点线面多维特征
‑
可见光融合slam方法，其特征在于，分别对所述红外图像和所述可见光图像进行点特征提取，包括：分别对经过预处理的所述红外图像和经过预处理后的所述可见光图像，使用Harris角点特征提取算法，提取点特征。3.根据权利要求1所述的点线面多维特征
‑
可见光融合slam方法，其特征在于，分别对所述红外图像和所述可见光图像进行线特征提取，包括：分别对经过预处理的所述红外图像和经过预处理的所述可见光图像，使用LSD直线检测方法，提取线特征，并设置直线长度阈值，过滤长度低于所述阈值的短直线，最后使用直线方向向量和直线法向量对直线进行表征以及存储。4.根据权利要求2所述的点线面多维特征
‑
可见光融合slam方法，其特征在于，分别对所述红外图像和所述可见光图像进行面特征提取，包括：基于所述点特征所在像素的所有邻域像素，计算点特征法向量；根据所述点特征法向量和空间距离，通过K邻域的方法，进行聚类，获得特征点云；计算每个所述特征点云的聚类中心，以所述聚类中心的位置和所述点特征法向量作为面特征的位置和所述面特征法向量，实现所述面特征的提取。5.根据权利要求1述的点线面多维特征
‑
可见光融合slam方法，其特征在于，得到所述匹配后的共视图像，包括：基于所述红外特征图像和所述可见光特征图像，通过所述红外
‑
可见光相机的外参和提取的点特征、线特征、面特征进行特征融合和匹配方法，得到匹配后的共视图像。6.根据权利要求5所述的点线面多维特征
‑
可见光融合slam方法，其特征在于，基于所述点特征进行特征融合和匹配，包括：根据红外
‑
可见光相机的外参，将所述红外图像提取的特征点变换到可见光坐标系中，获...

【专利技术属性】
技术研发人员：蒋朝阳，郑晓妮，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：