一种基于SLAM和图像信息的机器人构图及导航方法技术

本发明专利技术公开了一种基于SLAM和图像信息的机器人构图及导航方法。该方法为：首先记录初始构建地图时机器人的位姿，设置起始标签；操作机器人移动到预设的切换点位置，记录特征点信息和语义信息，设置切换点标签；构建全局地图完成后，设置结束标签；然后将机器人放置在起始标签位置，收集特征点信息，判断语义信息和特征点图像信息是否匹配通过，是则调整机器人位姿，自主导航至下一个切换点标签位置；否则导航失败，记录导航失败信息，发送信号求助；最后判断是否到达终点，是则结束导航，否则继续进行自主导航。本发明专利技术提高了通过SLAM技术构建大范围地图的效率，能够消除大范围内累计误差，具有可靠性高、鲁棒性强、定位准确的优点。

A Robot Composition and Navigation Method Based on SLAM and Image Information

The invention discloses a robot composition and navigation method based on SLAM and image information. The method is as follows: firstly, the position and posture of the robot are recorded when the initial map is constructed, and the starting tag is set; the robot moves to the preset switching point position, records the feature point information and semantic information, and sets the switching point tag; secondly, after the global map is constructed, the end tag is set; secondly, the robot is placed at the starting tag position to collect the feature point information and judge the semantic information. Whether the image information of feature points matches and passes is to adjust the position and posture of the robot and navigate independently to the label position of the next switching point; otherwise, the navigation failure information is recorded and the signal is sent for help; finally, the navigation is terminated or the autonomous navigation is continued. The invention improves the efficiency of constructing a large-scale map by SLAM technology, can eliminate the accumulated error in a large range, and has the advantages of high reliability, strong robustness and accurate positioning.

【技术实现步骤摘要】
一种基于SLAM和图像信息的机器人构图及导航方法
本专利技术涉及移动机器人和SLAM
，特别是一种基于SLAM和图像信息的机器人构图及导航方法。
技术介绍
机器人于上世纪被科学家首次提出，之后便得到研究人员的关注，世界上首台自主机器人1962年在美国问世。进入二十一世纪，围绕着高性能传感器、高适应性的数据关联方法和高精度的控制技术，移动机器人得到了深入的研究，移动机器人的控制方式从遥控向自主控制发展，综合应用机器视觉、传感器技术、计算机处理等智能技术研制自主移动机器人。移动机器人除用于太空探测，资源开发和核工业等领域外，在制造业自动化，建筑业，自主排险，军事领域、服务业等方面也有广泛的应用前景。机器人实现自我定位，并实现在没有人牵引的情况下导航行走，对机器人在各个行业的应用具有重要的意义。特别是对工作在复杂、动态环境中的移动机器人，例如在工厂地板上或在医院实现运输任务，仅仅运用机载传感器快速实时地生成三维地图，对移动机器人的定位与导航非常重要。操纵机器人在一定空间中自由运动需要一个详细的空间模型，移动机器的定位导航也需要详细的三维地图。目前全球先进的定位系统是GPS，由美国主导研制的GPS系统有着定位精度高、定位速度快、定位成本低等明显的优势，但是由于卫星传输的系统数据无法穿透建筑物到达室内，机器人接收不到来自GPS系统的数据，在这种情况下机器人的定位就需要借助编码器、激光、声纳等传感器，首先通过传感器采集距离和环境特征等信息数据，然后对数据信息进行分析运算，得到机器人在环境中的位置坐标，结合坐标实现全局定位和导航。1983年SmithSelf和Cheeseman针对移动机器人进行同步导航定位和地图创建(simultaneouslocationandmapping,SLAM)的研究，随后国内外的研究人员都认识到了SLAM研究的价值和应用前景，开始了对SLAM课题的研究。在现有的技术中，二维SLAM发展成熟，但在构建地图中丢失了很多有价值的形状和几何信息，而且激光传感器的价格往往过于昂贵。所以，研究人员利用基于结构光的RGB-D传感器的深度信息来模拟激光传感器得到的深度信息，并且RGB-D传感器能够充分利用环境三维属性，精确描述出局部环境形状以及物体的几何外形，但基于RGB-D传感器获得的距离信息往往精度不高，使得构图误差在大范围的区域内累计较为明显，导致构建地图任务的失败，使SLAM技术中的闭环检测环节难以实施。
技术实现思路
本专利技术的目的在与提供一种融合SLAM技术和图像信息的大范围内构图及导航方法，能够实现大范围内可靠性高、鲁棒性强、定位准确的构图和导航。实现本专利技术目的的技术方案为：一种基于SLAM和图像信息的机器人构图及导航方法，包括以下步骤：步骤1、记录初始构建地图时机器人的位姿，设置起始标签；步骤2、操作机器人移动并构建地图，当机器人移动到预设的切换点位置时，记录切换点位置的特征点信息和语义信息，设置切换点标签；步骤3、构建全局地图完成后，设置结束标签；步骤4、将机器人放置在起始标签位置，并收集特征点信息；步骤5、判断语义信息是否匹配通过：如果是，则进入步骤6；否则导航失败，记录导航失败信息，发送信号求助；步骤6、判断特征点图像信息是否匹配通过：如果是则进入步骤7，否则导航失败，记录导航失败信息，发送信号求助；步骤7、融合特征点的图像信息和深度信息，生成3D点云数据，解算偏移量，调整机器人位姿，自主导航至下一个切换点标签位置；步骤8、判断是否到达终点：如果是，则结束导航；否则返回步骤5。进一步地，步骤2所述的操作机器人移动并构建地图，具体如下：机器人平台采用两轮差速机器人；使用RGB-D传感器获取深度和图像信息，使用二维SLAM中的Gmapping算法构建地图。进一步地，步骤2中所述的记录切换点位置的特征点信息和语义信息，设置切换点标签，具体如下：在特定角度提取特征点信息，特定角度选择偏航角依次为0°、30°、60°、90°、120°、150°、180°、210°、240°、270°、300°和330°；使用ORB算法提取图像特征点信息，使用MASKRCNN算法提取语义信息。进一步地，步骤5中所述的判断语义信息是否匹配通过，具体如下：分别为能自主移动的物体和不能自主移动的物体设置不同的匹配偏差权重，如果所有类别物体累加所得到匹配偏差不超过预设阈值，则认为匹配图像信息通过。进一步地，步骤6中所述的判断特征点图像信息是否匹配通过，具体如下：采用快速近似最近邻算法匹配特征信息，如果有超过预设阈值的特征点得到匹配，则认为匹配图像信息通过。进一步地，步骤7中所述的解算偏移量，具体如下：使用ICP算法来进行匹配好的两组点间的运动估计，对不同坐标系下的两个点云，找到两个点云集中对应的匹配点，不断的迭代，进而减小点云之间的距离，直到匹配的距离小于预设的阈值，最后得到对应点云之间的空间变换关系。进一步地，步骤7中所述的调整机器人位姿，具体如下：根据解算偏移量得到的旋转矩阵和平移矩阵，来调整机器人位姿，直至和在此切换位置起始构图位姿相同。进一步地，步骤7中所述的自主导航至下一个切换点标签位置，具体如下：机器人利用AMCL实现导航过程中自身的定位，利用Navigation导航包来完成路径规划和动态壁障功能。本专利技术与现有技术相比，其显著优点为：(1)通过采用融合SLAM技术和图像信息的大范围内构图及导航方法，把要构建的大范围内的全局地图分为多个局部地图构建，从而实现大范围内可靠性高、鲁棒性强、定位准确的构图和导航方法；(2)在地图的切换点位置，保留机器人的位姿、图像特征点信息和物体的语义信息，作为导航时修正机器人位姿的依据，提高了构建大范围地图的效率，消除了累计误差。附图说明图1是本专利技术基于SLAM和图像信息的机器人构图及导航方法中构图方法流程图。图2是本专利技术基于SLAM和图像信息的机器人构图及导航方法中导航方法的流程图。图3是本专利技术本专利技术基于SLAM和图像信息的机器人构图及导航方法的系统框架图。具体实施方式结合图1、图2和图3，本专利技术基于SLAM和图像信息的机器人构图及导航方法，包括以下步骤：步骤1、记录初始构建地图时机器人的位姿，设置起始标签；步骤2、操作机器人移动并构建地图，当机器人移动到预设的切换点位置时，记录切换点位置的特征点信息和语义信息，设置切换点标签；机器人平台采用两轮差速机器人；使用RGB-D传感器获取深度和图像信息，使用二维SLAM中的Gmapping算法构建二维栅格地图。打开启动摄像头的程序，原地旋转机器人至特定角度并使用摄像头记录机器人当前位姿下的图像信息及深度信息，特定角度选择偏航角依次为0°、30°、60°、90°、120°、150°、180°、210°、240°、270°、300°和330°；使用ORB算法提取不同位姿下图像的特征信息，使用MASKRCNN算法提取不同位姿下图像的语义信息并记录当前切换点位置所含物体的信息。步骤3、构建全局地图完成后，设置结束标签；步骤4、将机器人放置在起始标签位置，并收集特征点信息；原地旋转机器人至某些特定角度并使用摄像头记录机器人当前位姿下的图像信息和深度信息，提取不同位姿下图像的语义信息并记录当前切换点位置所含物体的信息，提取不同位姿下本文档来自技高网...

【技术保护点】
1.一种基于SLAM和图像信息的机器人构图及导航方法，其特征在于，包括以下步骤：步骤1、记录初始构建地图时机器人的位姿，设置起始标签；步骤2、操作机器人移动并构建地图，当机器人移动到预设的切换点位置时，记录切换点位置的特征点信息和语义信息，设置切换点标签；步骤3、构建全局地图完成后，设置结束标签；步骤4、将机器人放置在起始标签位置，并收集特征点信息；步骤5、判断语义信息是否匹配通过：如果是，则进入步骤6；否则导航失败，记录导航失败信息，发送信号求助；步骤6、判断特征点图像信息是否匹配通过：如果是则进入步骤7，否则导航失败，记录导航失败信息，发送信号求助；步骤7、融合特征点的图像信息和深度信息，生成3D点云数据，解算偏移量，调整机器人位姿，自主导航至下一个切换点标签位置；步骤8、判断是否到达终点：如果是，则结束导航；否则返回步骤5。

【技术特征摘要】
1.一种基于SLAM和图像信息的机器人构图及导航方法，其特征在于，包括以下步骤：步骤1、记录初始构建地图时机器人的位姿，设置起始标签；步骤2、操作机器人移动并构建地图，当机器人移动到预设的切换点位置时，记录切换点位置的特征点信息和语义信息，设置切换点标签；步骤3、构建全局地图完成后，设置结束标签；步骤4、将机器人放置在起始标签位置，并收集特征点信息；步骤5、判断语义信息是否匹配通过：如果是，则进入步骤6；否则导航失败，记录导航失败信息，发送信号求助；步骤6、判断特征点图像信息是否匹配通过：如果是则进入步骤7，否则导航失败，记录导航失败信息，发送信号求助；步骤7、融合特征点的图像信息和深度信息，生成3D点云数据，解算偏移量，调整机器人位姿，自主导航至下一个切换点标签位置；步骤8、判断是否到达终点：如果是，则结束导航；否则返回步骤5。2.根据权利要求1所述的基于SLAM和图像信息的机器人构图及导航方法，其特征在于，步骤2所述的操作机器人移动并构建地图，具体如下：机器人平台采用两轮差速机器人；使用RGB-D传感器获取深度和图像信息，使用二维SLAM中的Gmapping算法构建地图。3.根据权利要求1所述的基于SLAM和图像信息的机器人构图及导航方法，其特征在于，步骤2中所述的记录切换点位置的特征点信息和语义信息，设置切换点标签，具体如下：在特定角度提取特征点信息，特定角度选择偏航角依次为0°、30°、60°、90°、120°、150°、180°、210°、240°、270°、300°和330°；使用ORB算法提取图像特...

【专利技术属性】
技术研发人员：李胜，郭嘉伟，胡明月，刘辽雪，刘源，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏,32