一种融合视觉里程计及IMU的室内定位方法技术

本发明专利技术公开了一种融合视觉里程计及IMU的室内定位方法，包括以下步骤：步骤1：对室内场景进行目标分析，获取场景图像；步骤2：对场景图像提取关键帧；步骤3：对连续两个关键帧进行特征点匹配，获得位姿约束信息；步骤4：基于因子图优化算法，根据位姿约束信息，对场景图像进行位姿全局优化，获得优化位姿；步骤5：根据位姿约束信息和优化位姿，对相机的位姿进行实时优化，获得场景轨迹和全局地图，完成室内定位。此发明专利技术解决了传统机器人定位实时性和鲁棒性差的问题，利用双目相机结合场景结构化特征，基于室内场景结构化特征的立体匹配方法，提升了立体匹配精度，与基于因子图的后端全局优化相结合，提升了机器人定位的实时性和鲁棒性。性。性。

【技术实现步骤摘要】
一种融合视觉里程计及IMU的室内定位方法


[0001]本专利技术涉及机器人定位
，具体涉及一种融合视觉里程计及 IMU的室内定位方法。

技术介绍

[0002]随着传感器、人工智能等技术的快速发展，机器人的研究越来越受到重视。机器人通过传感器获取外部环境信息和自身状态信息，依据这些信息实现自主运动并完成一定的作业任务。
[0003]但，自主定位是机器人智能导航和环境探索研究的基础，由于单一传感器难以获取系统所需的全部信息，多传感器的信息融合成为机器人实现自主定位的关键。
[0004]目前，单一或两种传感器的定位精度和稳定性很难满足要求，采用视觉或者里程计的方法较为成熟，但在室内，运动和光照环境对其稳定性及精确度有较大影响。
[0005]因此，利用惯性测量单元(IMU)来获取机器人的瞬时位移增量来推算出机器人的轨迹，然后来辅助定位成为可能。

技术实现思路

[0006]本专利技术的目的是提供一种融合视觉里程计及IMU的室内定位方法。此方法旨在解决传统机器人定位实时性和鲁棒性差的问题，利用双目相机结合场景结构化特征，基于室内场景结构化特征的立体匹配方法，提升立体匹配精度，与基于因子图的后端全局优化相结合，以提升机器人定位的实时性和鲁棒性。
[0007]为达到上述目的，本专利技术提供了一种融合视觉里程计及惯性测量单元 (IMU)的室内定位方法，包括以下步骤：
[0008]步骤1：采用相机对室内场景进行目标分析，获取场景图像；
[0009]步骤2：对场景图像进行关键帧提取，获得场景图像的关键帧；
[0010]步骤3：基于随机抽样一致算法，对相机在不同位姿下的两幅连续场景图像中的关键帧，进行特征点匹配，获得场景图像的位姿约束信息；
[0011]步骤4：基于因子图优化算法，根据连续两幅场景图像特征匹配获得的位姿约束信息，给因子图中定位姿节点之间边的初始值，并对场景图像进行位姿全局优化，获得优化位姿；
[0012]步骤5：根据位姿约束信息以及优化位姿，对相机的位姿进行实时优化，获得室内场景的场景轨迹和全局地图，完成室内定位。
[0013]最优选的，所述关键帧提取包括以下步骤：
[0014]步骤2.1：基于线段特征与二进制线描述符相结合，对所述场景图像进行线条结构关系提取，获取场景图像的场景空间结构；
[0015]步骤2.2：基于ORB特征点提取算法，对所述场景图像进行特征点提取，获取场景图像的特征点矩阵；
[0016]步骤2.3：结合所述场景图像的场景空间结构与所述特征点矩阵，获得场景图像的关键帧。
[0017]最优选的，所述特征点提取包括以下步骤：
[0018]步骤2.2.1：根据场景图像，构建多层的高斯金字塔；
[0019]步骤2.2.2：基于FAST算法，根据所述多层的高斯金字塔，计算出每层的高斯金字塔的特征点位置；
[0020]步骤2.2.3：根据所述每层的高斯金字塔的特征点位置，将每层的高斯金字塔划分为若干个区域；
[0021]步骤2.2.4：提取每层每个区域的高斯金字塔中响应值最大的兴趣点，并进行描述子计算，获得场景图像的特征点矩阵。
[0022]最优选的，相机为双目相机。
[0023]最优选的，室内场景为室内天顶纹理图像、地板纹理图像中的任意一种。
[0024]运用此专利技术，解决了传统机器人定位实时性和鲁棒性差的问题，利用双目相机结合场景结构化特征，基于室内场景结构化特征的立体匹配方法，提升了立体匹配精度，与基于因子图的后端全局优化相结合，提升了机器人定位的实时性和鲁棒性。
[0025]相对于现有技术，本专利技术具有以下有益效果：
[0026]1、本专利技术提供的融合视觉里程计及IMU的室内定位方法，利用双目相机结合场景结构化特征，基于室内场景结构化特征的立体匹配方法，提升立体匹配精度与建图效果，并与基于因子图的后端全局优化相结合，构建视觉SLAM系统，以提升机器人定位的实时性和鲁棒性。
[0027]2、本专利技术提供的融合视觉里程计及IMU的室内定位方法，通过对目标场景进行分析，基于室内场景固有特点，获取位姿估计的精确信息约束条件，并采用因子图算法进行位姿优化。
[0028]3、本专利技术提供的融合视觉里程计及IMU的室内定位方法，前端为视觉里程计，估算相邻图像间相机的运动，以及局部地图，后端通过因子图接收不同时刻视觉里程计测量的相机位姿，对他们进行优化，得到全局一致的轨迹和地图。
附图说明
[0029]图1为本专利技术提供的室内定位方法流程图。
具体实施方式
[0030]以下结合附图通过具体实施例对本专利技术作进一步的描述，这些实施例仅用于说明本专利技术，并不是对本专利技术保护范围的限制。
[0031]本专利技术提供了一种融合视觉里程计及IMU的室内定位方法，如图1所示，包括以下步骤：
[0032]步骤1：采用双目相机对变电站的室内场景进行目标分析，获取变电站室内场景的场景图像。
[0033]在本实施例中，双目相机的型号为MYNT S1030-IR-120；变电站的室内场景为室内天顶纹理图像、地板纹理图像等。
[0034]步骤2：对变电站室内场景的场景图像进行关键帧提取，获得变电站室内场景的场景图像的关键帧；
[0035]其中，关键帧提取包括以下步骤：
[0036]步骤2.1：基于线段特征与二进制线描述符相结合，对变电站室内场景的场景图像进行线条结构关系提取，获取变电站室内场景的场景图像的场景空间结构。
[0037]步骤2.2：基于ORB(Oriented FAST and Rotated BRIEF)特征点提取算法，对场景图像进行特征点提取，获取变电站室内场景的场景图像的特征点矩阵。
[0038]其中，特征点提取包括以下步骤：
[0039]步骤2.2.1：根据场景图像，构建场景图像的多层的高斯金字塔，以实现场景图像的尺度不变性变换、以及通过灰度质心对方向进行标定实现旋转不变性变换。
[0040]在本实施例中，构建出场景图像的多层的高斯金字塔对应的C语言程序如下：
[0041]输入：InputArray_图像，vector_特征点，OutputArray_描述子
[0042]对输入图像进行高斯模糊
[0043]金字塔时的变化尺度scaleFactor＝1.2；金字塔的层数nLevels＝8
[0044]for(当前层数＝0；层数<nLevels；++当前层数)
[0045]按照层数，对图像进行下采样
[0046]if(层数！＝0)
[0047]为图像添加边缘。
[0048]步骤2.2.2：基于FAST算法，根据场景图像的多层的高斯金字塔，计算出场景图像的每层的高斯金字塔的特征点位置。
[0049]在本实施例中，计算特征点位置对应的C语言程序如下：
[0050]FAST特征点的默本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合视觉里程计及IMU的室内定位方法，其特征在于，包括以下步骤：步骤1：采用相机对室内场景进行目标分析，获取场景图像；步骤2：对所述场景图像进行关键帧提取，获得所述场景图像的关键帧；步骤3：基于随机抽样一致算法，对所述相机在不同位姿下的两幅连续所述场景图像中的关键帧，进行特征点匹配，获得所述场景图像的位姿约束信息；步骤4：基于因子图优化算法，根据所述位姿约束信息，给定因子图中位姿节点之间边的初始值，并对所述场景图像进行位姿全局优化，获得优化位姿；步骤5：根据所述位姿约束信息以及所述优化位姿，对所述相机的位姿进行实时优化，获得室内场景的场景轨迹和全局地图，完成室内定位。2.如权利要求1所述的融合视觉里程计及IMU的室内定位方法，其特征在于，所述关键帧提取包括以下步骤：步骤2.1：基于线段特征与二进制线描述符相结合，对所述场景图像进行线条结构关系提取，获取所述场景图像的场景空间结构；步骤2.2：基于ORB特征点提取算法，对...

【专利技术属性】
技术研发人员：邵宇鹰，李新利，王孝伟，刘文杰，苏填，王一帆，彭鹏，陈怡君，陆启宇，张琪祁，
申请(专利权)人：华北电力大学，
类型：发明
国别省市：