一种基于点线融合的权重自适应位姿估计方法技术

本发明专利技术公开了一种基于点线融合的权重自适应位姿估计方法。该方法使用点线融合算法对环境进行特征提取及匹配，实现对环境的描述。使用点线融合算法提高了对环境的适应性和鲁棒性，保证能够在各种复杂环境下稳定提取环境特征的同时，也提高了对环境的描述性。采用区域划分和区域增长的方式来适应点特征及线特征端点的分布情况和疏密程度，再自适应调整增长后网格内的点特征及线特征端点的权重分配，最大可能地减小特征分布不均匀对位姿估计产生的影响。通过计算投影线段两个端点到相应的检测直线的距离来计算线特征的重投影误差，这样将线特征重投影误差的计算分为两个部分，两个端点在不同的网格中互不干扰，提高了线特征重投影误差的描述精度。

A weight adaptive pose estimation method based on point line fusion

【技术实现步骤摘要】
一种基于点线融合的权重自适应位姿估计方法
本专利技术属于图像处理及视觉定位领域，具体是一种基于点线融合的权重自适应位姿估计方法。
技术介绍
随着机器人技术的发展，基于视觉的同时定位与地图构建(SLAM)技术逐渐成为机器人关键技术的研究热点。视觉SLAM技术利用视觉传感器提取的信息进行同时定位与地图创建，并获取机器人运动的位姿轨迹及环境信息，在机器人导航系统中起到越来越重要的作用。目前可以通过使用包括单目相机、双目相机或者RGB-D相机等不同类型的相机实时地完成视觉里程计的计算流程。为适应低纹理结构化场景中的特征提取及匹配，一般采用点线融合的方式实现对场景中特征的提取及匹配，并通过重投影误差得出估计位姿。在利用视觉里程计进行室内的特征提取、位姿估计的过程中，由于环境的不确定性，受光照、角度等因素的影响，容易造成在每帧图像中各部分的特征提取不均匀的现象，尤其是针对点线融合算法。经分析，特征分布的不均匀性严重影响视觉里程计的定位精度，因此对点线融合算法中点特征和线特征重投影误差进行权重分配，减小特征分布不均匀对位姿估计的影响，是提升视觉里程计定位精度的关键。权重分配算法主要利用特征在每帧中的分布情况调整不同特征的权重分配系数。常见的权重分配算法中，通过分别对每帧中点特征和线特征数量进行统计，根据点线特征在每帧中的数量对比来分配点和线的权重，达到权重分配的效果，但是并不能解决特征分布不均匀对位姿估计产生的影响。申请号201810213575.X的文献中公开了一种快速鲁棒的RGB-D室内三维场景重建方法，使用RGB-D相机作为传感器并通过点线融合算法实现对环境的特征提取及描述匹配，在一定程度上提高了算法在复杂环境下的稳定性，然而依然存在特征分布不均匀的问题，严重影响位姿估计的效果。
技术实现思路
针对现有技术的不足，本专利技术拟解决的技术问题是，提供一种基于点线融合算法的权重自适应分配方法。本专利技术解决所述技术问题的技术方案是，提供一种基于点线融合的权重自适应位姿估计方法，其特征在于该方法包括以下步骤：步骤一、使用双目相机采集图像，得到连续的图像序列；步骤二、对图像进行特征提取及处理，得到每帧中点特征和线特征端点的总数及其像素坐标集合；步骤三、点线特征的初始化：通过双目相机左右图像中的相应的点线特征恢复出空间点线，再将恢复出空间状态的点线投影到当前帧；步骤四、使用网格对每帧图像进行区域划分，计算每个网格中的由点特征的个数和线特征端点的个数的总和构成的特征数；步骤五、对网格进行区域增长处理；当待增长区域网格没有相邻的种子网格时，则该待增长区域网格无效；当待增长区域网格有相邻的种子网格且种子网格数为1时，则将待增长区域网格与该种子网格合并；当待增长区域网格有相邻的种子网格且种子网格个数大于等于2时，若各个种子网格内的特征数不同，则将待增长区域网格与特征数最多的种子网格合并；若各个种子网格内的特征数相同，则将待增长区域网格与每个种子网格合并；所述待增长区域网格为与种子网格相邻且其区域内没有特征的网格；步骤六、根据区域增长后的网格面积的大小对其内部的特征进行权重分配：假设某增长后的网格在图像中所占比例为q，并计算得到该增长后的网格中的特征数sm，则该网格中每个特征所占权重ω＝q*(1/sm)；步骤七、将空间点特征和线特征分别通过重投影的方式投影到当前帧，分别计算点特征和线特征的重投影误差；再在点特征和线特征的重投影误差中加入步骤六得到的相应的权重后，组成每帧的代价函数E(ξ)；步骤八、通过对代价函数E(ξ)进行最小二乘实现对帧与帧之间的位姿估计。与现有技术相比，本专利技术有益效果在于：(1)本方法采用区域划分和区域增长的方式来适应点特征及线特征端点的分布情况和疏密程度，再自适应调整增长后网格内的点特征及线特征端点的权重分配，最大可能地减小特征分布不均匀对位姿估计产生的影响。(2)使用点线融合算法对环境进行特征提取及匹配，实现对环境的描述。使用点线融合算法提高了对环境的适应性和鲁棒性，保证能够在各种复杂环境下稳定提取环境特征的同时，也提高了对环境的描述性。(3)通过计算投影线段两个端点到相应的检测直线的距离来计算线特征的重投影误差，这样将线特征重投影误差的计算分为两个部分，两个端点在不同的网格中互不干扰，提高了线特征重投影误差的描述精度。附图说明图1为本专利技术的融合点线特征提取到的点特征和线特征的示意图；图2为本专利技术的融合点线特征进行的图像区域划分示意图；图3为本专利技术的在区域增长过程中遇到的四种情况；图4为本专利技术的网格区域增长后的结果图。具体实施方式下面结合实施例及附图对本专利技术作进一步说明。具体实施例仅用于进一步详细说明本专利技术，不限制本申请权利要求的保护范围。本专利技术提供了一种基于点线融合的权重自适应位姿估计方法(简称方法)，其特征在于该方法包括以下步骤：步骤一、使用双目相机采集图像，得到连续的图像序列：使用双目相机对环境中的场景信息进行采集，获取实时的环境信息，形成连续的图像序列；步骤二、对图像进行特征提取及处理，得到每帧中点特征和线特征端点的总数nf及其像素坐标集合Cj：(1)使用ORB算法和LSD算法对图像进行处理，分别提取点特征和线特征(如图1所示)，并进行点特征与点特征的匹配以及线特征与线特征的匹配；(2)使用RANSAC算法剔除误匹配：在得到的匹配结果中，使用遍历式方法随机抽选匹配结果中的样本数据，迭代计算最优内点集；(3)在提取完特征并剔除误匹配后，以左图像为基准，计算每帧图像中点特征和线特征端点的总数nf，并得出点特征和线特征端点在每帧中的像素坐标集合Cj；步骤三、点线特征的初始化：通过双目相机左右图像中的相应的点线特征恢复出空间点线，再将恢复出空间状态的点线投影到当前帧；具体是：点特征先通过式1)将像素坐标转换为相机坐标，再通过式2)将相机坐标转换为世界坐标；线特征先通过式3)将像素坐标转换为相机坐标，再通过式4)(即普吕克坐标表示)将相机坐标转换为世界坐标；其中点特征满足式1)和式2)，线特征满足式3)和式4)：式1-4)中，表示k帧下的第i个空间点的像素坐标；表示k帧下的第i个空间点的相机坐标；K为相机校准参数；n()表示将齐次坐标转换为非齐次坐标；表示k帧下的第i个空间点的世界坐标；RCW和tcw分别表示世界坐标系相对于相机坐标系的旋转和位移；表示k帧下的第j个线特征的像素坐标；为相机模型参数；表示k帧下的第j个线特征的相机坐标；为与k帧下的第j个线特征的世界坐标对应的矩阵表示；为过该线特征且通过原点的法向量；为该线特征的方向向量；步骤四、网格划分：(1)使用n*n网格对每帧图像进行区域划分，通过区域划分将每帧图像划分为多个网格(如图2所示)；(2)计算每个网格中的由点特征的个数和本文档来自技高网...

【技术保护点】
1.一种基于点线融合的权重自适应位姿估计方法，其特征在于该方法包括以下步骤：/n步骤一、使用双目相机采集图像，得到连续的图像序列；/n步骤二、对图像进行特征提取及处理，得到每帧中点特征和线特征端点的总数及其像素坐标集合；/n步骤三、点线特征的初始化：通过双目相机左右图像中的相应的点线特征恢复出空间点线，再将恢复出空间状态的点线投影到当前帧；/n步骤四、使用网格对每帧图像进行区域划分，计算每个网格中的由点特征的个数和线特征端点的个数的总和构成的特征数；/n步骤五、对网格进行区域增长处理；/n当待增长区域网格没有相邻的种子网格时，则该待增长区域网格无效；/n当待增长区域网格有相邻的种子网格且种子网格数为1时，则将待增长区域网格与该种子网格合并；/n当待增长区域网格有相邻的种子网格且种子网格个数大于等于2时，若各个种子网格内的特征数不同，则将待增长区域网格与特征数最多的种子网格合并；若各个种子网格内的特征数相同，则将待增长区域网格与每个种子网格合并；/n所述待增长区域网格为与种子网格相邻且其区域内没有特征的网格；/n步骤六、根据区域增长后的网格面积的大小对其内部的特征进行权重分配：假设某增长后的网格在图像中所占比例为q，并计算得到该增长后的网格中的特征数s...

【技术特征摘要】
1.一种基于点线融合的权重自适应位姿估计方法，其特征在于该方法包括以下步骤：
步骤一、使用双目相机采集图像，得到连续的图像序列；
步骤二、对图像进行特征提取及处理，得到每帧中点特征和线特征端点的总数及其像素坐标集合；
步骤三、点线特征的初始化：通过双目相机左右图像中的相应的点线特征恢复出空间点线，再将恢复出空间状态的点线投影到当前帧；
步骤四、使用网格对每帧图像进行区域划分，计算每个网格中的由点特征的个数和线特征端点的个数的总和构成的特征数；
步骤五、对网格进行区域增长处理；
当待增长区域网格没有相邻的种子网格时，则该待增长区域网格无效；
当待增长区域网格有相邻的种子网格且种子网格数为1时，则将待增长区域网格与该种子网格合并；
当待增长区域网格有相邻的种子网格且种子网格个数大于等于2时，若各个种子网格内的特征数不同，则将待增长区域网格与特征数最多的种子网格合并；若各个种子网格内的特征数相同，则将待增长区域网格与每个种子网格合并；
所述待增长区域网格为与种子网格相邻且其区域内没有特征的网格；
步骤六、根据区域增长后的网格面积的大小对其内部的特征进行权重分配：假设某增长后的网格在图像中所占比例为q，并计算得到该增长后的网格中的特征数sm，则该网格中每个特征所占权重ω＝q*(1/sm)；
步骤七、将空间点特征和线特征分别通过重投影的方式投影到当前帧，分别计算点特征和线特征的重投影误差；再在点特征和线特征的重投影误差中加入步骤六得到的相应的权重后，组成每帧的代价函数E(ξ)；
步骤八、通过对代价函数E(ξ)进行最小二乘实现对帧与帧之间的位姿估计。


2.根据权利要求1所述的基于点线融合的权重自适应位姿估计方法，其特征在于步骤二具体是：
(1)使用ORB算法和LSD算法对图像进行处理，分别提取点特征和线特征，并进行点特征与点特征的匹配以及线特征与线特征的匹配；
(2)使用RANSAC算法剔除误匹配：使用遍历式方法随机抽选匹配结果中的样本数据，迭代计算最优内点集；
(3)在提取完特征并剔除误匹配后，以左图像为基准，计...

【专利技术属性】
技术研发人员：张建华，周有杰，李辉，薛原，赵岩，何伟，张霖，
申请(专利权)人：河北工业大学，
类型：发明
国别省市：天津;12