一种视觉同步定位与地图构建的方法及系统技术方案

本发明专利技术公开了一种视觉同步定位与地图构建方法及系统，包括：基于AGV实时采集的数据提取每一帧RGB图像和深度图像信息；采用改进的ORB算法对每一帧RGB图像进行特征点提取，结合相对应的深度图像信息得到每一帧图像的具有深度信息的特征点及其描述子；对相邻帧图像进行特征匹配，并利用极线约束特征匹配算法来筛选去除误匹配，作为运动估计的初始值；基于初始值计算每帧图像对应的深度相机位姿，通过非线性优化方法对深度相机位姿进行局部优化和全局优化，最终得到AGV的最优位姿及移动距离。本发明专利技术利用基于RANSAC算法的极线约束特征匹配算法来筛选去除误匹配，减少了运算量，有效提高了图像特征点匹配的速度和准确性。提高了图像特征点匹配的速度和准确性。提高了图像特征点匹配的速度和准确性。

【技术实现步骤摘要】
一种视觉同步定位与地图构建的方法及系统


[0001]本专利技术涉及智能机器人定位
，尤其涉及一种视觉同步定位与地图构建的方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]自动导引车(Automated Guided Vehicle，AGV)是指能够沿规定的导航路径行驶，具有安全保护以及各种移载功能的运输车。导航技术是AGV技术的核心，主要用来解决定位、建图、路径规划等问题，也是当前研究领域的热点。
[0004]视觉导航技术是AGV普遍采用的导航方式，现有的视觉导航方法大多利用超宽带(Ultra Wide Band，UWB)技术与二维码导航相结合的方式；但是，这种定位方式可能存在因环境问题导致的非视距定位误差(Non
‑
Line
‑
of
‑
Sight,NLOS)，从而导致定位偏差，影响导航精度。
[0005]另外，在视觉导航领域，高精度的图像特征提取与匹配是决定视觉导航前端性能的关键。特征提取与匹配主要是指通过提取图像的特征，并根据特征对两幅图像进行匹配，得到两幅图像之间的关系。
[0006]ORB(Oriented FAST and Rotated BRIEF)特征算法将FAST(Features from Accelerated Segment Test)特征点的检测方法与BRIEF(Binary Robust IndependentElementary Features)特征描述子结合起来，大大降低了计算量，因此被广泛应用于AGV导航研究中。但是，ORB特征提取算法存在特征点冗余和分布不均等问题，对特征匹配有一定的影响。

技术实现思路

[0007]为了解决上述问题，本专利技术提出了一种视觉同步定位与地图构建的方法及系统，基于四叉树图像分割的改进ORB算法，并设置多个FAST提取特征点的阈值，能够提高AGV视觉导航的定位精度。
[0008]在一些实施方式中，采用如下技术方案：
[0009]一种视觉同步定位与地图构建方法，包括：
[0010]通过固定在AGV上的深度相机，实时采集变电站的RGB图像和深度图像信息；
[0011]采用改进的ORB算法对每一帧RGB图像进行特征点提取，结合相对应的深度图像信息得到每一帧图像的具有深度信息的特征点及特征描述子；
[0012]对相邻帧图像进行特征匹配，并利用极线约束特征匹配算法来筛选去除误匹配，作为运动估计的初始值；
[0013]基于所述初始值计算每帧图像对应的深度相机位姿，通过非线性优化方法对深度相机位姿进行局部优化和全局优化，最终得到AGV的最优位姿及移动距离。
[0014]作为进一步地方案，在AGV采集数据之前，采用基于单平面棋盘格的相机标定方法对深度相机进行标定。
[0015]作为进一步地方案，采用改进的ORB算法对每一帧RGB图像进行特征点提取，具体包括：
[0016]对于每一帧RGB图像，构建图像金字塔，将其分为N层；
[0017]在每层金字塔上划分K个单元格，按照尺度因子设置每层所需提取的特征点数，使特征点数量以等比数列的形式分布在各层金字塔上；
[0018]在金字塔的每个单元格进行FAST角点检测，设置最大、最小阈值maxFAST、minFAST，假设检测到预定关键点数目，则进行下一个单元格的检测；
[0019]如果不能检测到预定数目，则采用二分法确定最优阈值并重新检测；
[0020]将检测到的特征点以四叉树的方式进行划分，优先划分特征点少的节点；最后在区域内保存Harris值响应最大的角点并计算其特征方向和描述子。
[0021]作为进一步地方案，利用极线约束特征匹配算法来筛选去除误匹配，具体包括：
[0022]对提取的特征点进行规范化处理；
[0023]随机采样k组特征点数据，每组包含八对匹配点，分别为每组特征点数据建立非退化模型，并计算每组特征点数据中每一个特征点到非退化模型的距离，如果距离在设定的阈值范围之内，则认为该特征点是内点；记录k组特征点数据中内点数目最多的一组数据，计算基础矩阵以及采样次数m；此过程并行执行m/k次，保存内点数目最多的一组数据的基础矩阵的估计值和相应的内点数L；
[0024]根据L个内点重新计算基础矩阵，通过基础矩阵的SVD分解，将基础矩阵的最小奇异值设为0，从而优化该基础矩阵；
[0025]通过优化后的基础矩阵，计算图像的极线，求取极线方程；
[0026]通过最小对极距离准则来寻找准确的匹配点，若匹配点和待匹配点到对应的极线距离均小于设定的阈值，且两距离之差最小，该点保留，否则删除，直到图像的所有特征点完成匹配。
[0027]作为进一步地方案，基于所述初始值计算每帧图像对应的深度相机位姿，具体为：
[0028]将所述初始值作为ICP算法的输入，利用ICP算法得到每帧图像的位姿；
[0029]采用图优化的方法，对每帧图像对应的深度相机位姿进行局部优化，基于局部优化结果对深度相机位姿进行全局优化；
[0030]其中，局部优化指的是对设定时间t1内深度相机的位姿进行优化；
[0031]全局优化指的是对设定时间t2内深度相机的位姿进行优化；t2＞t1。
[0032]作为进一步地方案，还包括：基于RGB图像和深度图像信息，得到AGV行驶过程中的三维点云信息；进而在AGV行驶过程中不断构建三维点云地图。
[0033]作为进一步地方案，将三维点云地图转化为2D栅格地图，基于2D栅格地图进行AGV导航。
[0034]在另一些实施方式中，采用如下技术方案：
[0035]一种视觉同步定位与地图构建系统，包括：
[0036]图像提取模块，用于通过固定在AGV上的深度相机，采集AGV运行过程中每一帧RGB图像和深度图像；
[0037]特征提取模块，用于采用改进的ORB算法对每一帧RGB图像进行特征点提取，结合相对应的深度图像信息得到每一帧图像的具有深度信息的特征点及其描述子；
[0038]特征匹配模块，用于对相邻帧图像进行特征匹配，并利用极线约束特征匹配算法来筛选去除误匹配，作为运动估计的初始值；
[0039]视觉定位模块，用于基于所述初始值计算每帧图像对应的深度相机位姿，通过非线性优化方法对深度相机位姿进行局部优化和全局优化，最终得到AGV的最优位姿及移动距离。
[0040]在另一些实施方式中，采用如下技术方案：
[0041]一种终端设备，其包括处理器和存储器，处理器用于实现各指令；存储器用于存储多条指令，所述指令适于由处理器加载并执行上述的视觉同步定位与地图构建方法。
[0042]在另一些实施方式中，采用如下技术方案：
[0043]一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行上述的视觉同步本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉同步定位与地图构建方法，其特征在于，包括：通过固定在AGV上的深度相机，采集AGV运行过程中每一帧图像的RGB信息和深度信息；采用改进的ORB算法对每一帧RGB图像进行特征点提取，结合相对应的深度图像信息得到每一帧图像的具有深度信息的特征点及其描述子；对相邻帧图像进行特征匹配，并利用极线约束特征匹配算法来筛选去除误匹配，作为运动估计的初始值；基于所述初始值计算每帧图像对应的深度相机位姿，通过非线性优化方法对深度相机位姿进行局部优化和全局优化，最终得到AGV的最优位姿及移动距离。2.如权利要求1所述的一种视觉同步定位与地图构建方法，其特征在于，在AGV采集数据之前，采用基于单平面棋盘格的相机标定方法对深度相机进行标定。3.如权利要求1所述的一种视觉同步定位与地图构建方法，其特征在于，采用改进的ORB算法对每一帧RGB图像进行特征点提取，具体包括：对于每一帧RGB图像，构建图像金字塔，将其分为N层；在每层金字塔上划分K个单元格，按照尺度因子设置每层所需提取的特征点数，使特征点数量以等比数列的形式分布在各层金字塔上；在金字塔的每个单元格进行FAST角点检测，设置最大、最小阈值maxFAST、minFAST，假设检测到预定关键点数目，则进行下一个单元格的检测；如果不能检测到预定数目，则采用二分法确定最优阈值并重新检测；将检测到的特征点以四叉树的方式进行划分，优先划分特征点少的节点；最后在区域内保存Harris值响应最大的角点并计算其特征方向和描述子。4.如权利要求1所述的一种视觉同步定位与地图构建方法，其特征在于，利用极线约束特征匹配算法来筛选去除误匹配，具体包括：对提取的特征点进行规范化处理；随机采样k组特征点数据，每组包含八对匹配点，分别为每组特征点数据建立非退化模型，并计算每组特征点数据中每一个特征点到非退化模型的距离，如果距离在设定的阈值范围之内，则认为该特征点是内点；记录k组特征点数据中内点数目最多的一组数据，计算基础矩阵以及采样次数m；此过程并行执行m/k次，保存内点数目最多的一组数据的基础矩阵的估计值和相应的内点数L；根据L个内点重新计算基础矩阵，通过基础矩阵的SVD分解，将基础矩阵的最小奇异值设为0，从而优化该基础矩阵；通过优化后的基础矩阵，计算图像的极...

【专利技术属性】
技术研发人员：黄聪，褚壮壮，巩方彬，刘加科，杨杰，明钰，翟义凯，薛保平，胡清波，范鹏涛，
申请(专利权)人：国网山东省电力公司济南供电公司，
类型：发明
国别省市：