一种基于双目视觉里程计的足式机器人建图与导航方法技术

本发明专利技术实施例公开了一种基于双目视觉里程计的足式机器人建图与导航方法，涉及多足移动机器人技术领域，在脱离GPS的有效信号范围后，还能够实现足式机器人的自主导航。本发明专利技术包括：通过双目相机采集图像帧；提取各个时间戳下的图像帧的特征点，并建立相机坐标系，之后利用所提取的特征点和所述相机坐标系，得到里程计信息；在所述足式机器人移动的过程中，获取关键帧；进一步建立子地图之后，根据所述子地图建立地图，并在所述地图中规划行进路线，并按照所述规划行进路线进行导航。通过所设计的图像处理的方式，避免足式机器人运动过程中起伏不定的状态所拍摄出的图像效果对计算里程计产生影响。算里程计产生影响。算里程计产生影响。

【技术实现步骤摘要】
一种基于双目视觉里程计的足式机器人建图与导航方法


[0001]本专利技术涉及多足移动机器人
，尤其涉及一种基于双目视觉里程计 的足式机器人建图与导航方法。

技术介绍

[0002]21世纪以来，国内外对机器人技术的发展越来越重视，机器人技术被认为 是对未来新兴产业发展具有重要意义的高技术之一。其中移动机器人应用广泛， 覆盖了地面、空中和水下乃至外太空。轮式机器人利用航迹推算、计算机视觉、 路标识别、无线定位、SLAM等技术进行定位能够基于地图完成机器人运动路径 的规划和运动控制，而足式移动机器人是模仿哺乳类动物的运动方式，通过研 究系统设计、步态规划、稳定性等方面而设计的机器人系统。相比于轮式机器 人，足式机器人的适应性能力更强，适用范围更加复杂。足式机器人可以轻易 地跨过各种障碍，有着良好的自由度、动作灵活、自如、稳定。
[0003]足式机器人的位姿估计排除GPS定位导航的方法外一直缺少有效的手段，主 要的问题在于，轮式机器人可以通过轮式里程计等手段对机器人的行走路线进 行估计，现有的大部分里程计方案目前适用于轮式、履带式等依靠驱动轮的轮 轴传感器来计算里程的。而这些方案是难以有效应用于足式机器人的。因此， 如何在脱离GPS的有效信号范围后，还能够实现足式机器人的自主导航，成为需 要研究的问题。

技术实现思路

[0004]本专利技术的实施例提供一种基于双目视觉里程计的足式机器人建图与导航方 法，在脱离GPS的有效信号范围后，还能够实现足式机器人的自主导航。
[0005]为达到上述目的，本专利技术的实施例采用如下技术方案：
[0006]S1、通过双目相机采集图像帧；
[0007]S2、提取各个时间戳下的图像帧的特征点，并建立相机坐标系，之后利用 所提取的特征点和所述相机坐标系，得到里程计信息；
[0008]S3、在所述足式机器人移动的过程中，获取关键帧；
[0009]S4、通过扩展卡尔曼滤波器对里程计信息进行滤波估计，得到里程计修正 数据；
[0010]S5、通过激光雷达获取环境感知数据，所述环境感知数据包括：所述足式 机器人与障碍物的距离数据；
[0011]S6、利用S4所获取的里程计修正数据、S5所获取的环境感知数据和惯性测 量单元采集的数据，建立用于底层运动控制的子地图，其中，由惯性测量单元 采集的数据包括：加速度测量数据和角速度测量数据；
[0012]S7、根据所述子地图进行优化更新并得到地图。
[0013]本专利技术实施例提供的基于双目视觉里程计的足式机器人建图与导航方法， 可以在没有GPS信号的范围内实现足式机器人的建图导航，以及自主移动和路径 规划。通过所设计的图像处理的方式，避免足式机器人运动过程中起伏不定的 状态所拍摄出的图像效
果对计算里程计产生影响。优化了双目视觉里程计数据 的处理方法，从而可以提高里程计数据的准确度，优化建图效果。对雷达数据 进行滤波处理，防止噪声对建图的影响。在不外加传感器的条件下，大大提高 了足式机器人智能化的同时降低成本，提高生产效益。
附图说明
[0014]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要 使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一 些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还 可以根据这些附图获得其它的附图。
[0015]图1为本专利技术实施例提供的基于优化算法的双目视觉里程计设计流程图；
[0016]图2为本专利技术实施例提供的基于滤波算法的双目视觉里程计设计流程图；
[0017]图3为本专利技术实施例提供的加权计算的视觉里程计系统框图；
[0018]图4为本专利技术实施例提供的基于视觉里程计的足式机器人建图与导航系统 框图；
[0019]图5为本专利技术实施例提供的方法流程示意图；
[0020]图6为本专利技术实施例提供的ROS平台的交互方式示意图；图7为本专利技术实施例提供的子地图(submap)的处理方式的示意图；图8为本专利技术实施例提供的一种可能的子地图(submap)的示例的示意图。
具体实施方式
[0021]为使本领域技术人员更好地理解本专利技术的技术方案，下面结合附图和具体 实施方式对本专利技术作进一步详细描述。下文中将详细描述本专利技术的实施方式， 所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同 或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方 式是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。本技术领 域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、
ꢀ“
所述”和“该”也可包括复数形式。应该进一步理解的是，本专利技术的说明书 中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件， 但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组 件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件 时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这 里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/ 或”包括一个或更多个相关联的列出项的任一单元和全部组合。本
技 术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学 术语)具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。还应 该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的 上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于 正式的含义来解释。
[0022]足式机器人的优点在于其卓越的地形适应能力，相比于轮式、履带式机器 人，其能够去到更加复杂的地形环境中。而针对轮式、履带式机器人，能够计 算其里程计数据的硬件设备已经发展的相当成熟，其计算精度也相对较高。但 对于足式机器人，一直没有较好的硬件设备支撑其里程数据计算，因此本专利技术 着手于视觉里程计的方法研究并应用于建图导航算法中。
[0023]本专利技术实施例提供一种基于双目视觉里程计的足式机器人建图与导航方法， 如图5所示，包括：
[0024]S1、通过双目相机采集图像帧。
[0025]其中，如图4所示的，在所述足式机器人上安装有视觉里程计模块、底层运 动模块和智能控制模块。所述视觉里程计模块包括了安装在所述足式机器人上 的双目相机，所述双目相机包括左目相机和右目相机。所述底层运动模块包括 了惯性测量单元(IMU)，所述惯性测量单元用于获取所述足式机器人的加速度 数据和角速度数据。所述足式机器人上还安装有激光雷达，所述激光雷达用于 获取所述足式机器人与四周环境中的障碍物的距离数据。所采集的图像帧包括： 所述左目相机采集的左目灰度图像的图像帧和所述右目相机采集的右目灰度图 像的图像帧。足式机器人平台搭载了前视双目相机，该相机以每秒20帧图像的 速率采集数据。搭载了I MU以200Hz的速率进行加速度及角加速度的测量。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目视觉里程计的足式机器人建图与导航方法，其特征在于，包括：S1、通过双目相机采集图像帧；S2、提取各个时间戳下的图像帧的特征点，并建立相机坐标系，之后利用所提取的特征点和所述相机坐标系，得到里程计信息；S3、在所述足式机器人移动的过程中，获取关键帧；S4、通过扩展卡尔曼滤波器对里程计信息进行滤波估计，得到里程计修正数据；S5、通过激光雷达获取环境感知数据，所述环境感知数据包括：所述足式机器人与障碍物的距离数据；S6、利用S4所获取的里程计修正数据、S5所获取的环境感知数据和惯性测量单元采集的数据，建立用于底层运动控制的子地图，其中，由惯性测量单元采集的数据包括：加速度测量数据和角速度测量数据；S7、根据所述子地图进行优化更新并得到地图。2.根据权利要求1所述的方法，其特征在于，在所述足式机器人上安装有视觉里程计模块、底层运动模块和智能控制模块；所述视觉里程计模块包括了安装在所述足式机器人上的双目相机，所述双目相机包括左目相机和右目相机；所述底层运动模块包括了惯性测量单元(IMU)，所述惯性测量单元用于获取所述足式机器人的加速度数据和角速度数据；所述足式机器人上还安装有激光雷达，所述激光雷达用于获取所述足式机器人与障碍物的距离数据；所采集的图像帧包括：所述左目相机采集的左目灰度图像的图像帧和所述右目相机采集的右目灰度图像的图像帧。3.根据权利要求1或2所述的方法，其特征在于，S2中，所述利用所提取的图像帧的特征点和所获取的三维坐标点，得到里程计信息，包括：获取特征点在所述相机坐标系下不同时刻的三维坐标点，并建立旋转平移变换矩阵(RT，Rotate Translation Matrix)；通过所述旋转平移变换矩阵得到所述双目相机在空间中的运动轨迹，所述里程计信息包括了所述运动轨迹的参数，所述运动轨迹的参数包括旋转方向和平移距离。4.根据权利要求1所述的方法，其特征在于，在S2中，所述提取各个时间戳下的图像帧的特征点，包括：对所提取的特征点进行特征匹配，其中，若两个特征点的描述子在向量空间的距离相近，则合并为同一个特征点；一个图像帧的特征点的信息，包括了关键点和描述子，所述关键点表示特征点在图像中的位置、方向和尺度信息，所述描述子表示特征点周围像素的信息。5.根据权...

【专利技术属性】
技术研发人员：黄家才，汪涛，张铎，汤文俊，唐安，高芳征，
申请(专利权)人：南京工程学院，
类型：发明
国别省市：