视觉辅助的距离SLAM方法及装置、机器人制造方法及图纸

本发明专利技术公开了一种视觉辅助的距离SLAM方法，该方法包括：获取多个距离数据帧及多个视觉数据帧，每个视觉数据帧对应一个距离数据帧，相对应的视觉数据帧和距离数据帧是同一帧获取的；利用多个视觉数据帧中的当前视觉数据帧进行回环检测以寻找匹配视觉数据帧；若找到匹配视觉数据帧，则计算所述当前视觉数据帧和匹配视觉数据帧之间的相对位姿；利用相对位姿对当前视觉数据帧和匹配视觉数据帧之间帧的位姿数据进行回环优化。本发明专利技术还公开了一种视觉辅助的距离SLAM装置、机器人和可读存储介质。通过上述方式，本发明专利技术能够提高建图精度/实现快速重定位。

Visual assisted distance slam method, device and robot

【技术实现步骤摘要】
视觉辅助的距离SLAM方法及装置、机器人
本专利技术涉及电机领域，特别是涉及一种视觉辅助的距离SLAM方法及装置、机器人、可读存储介质。
技术介绍
同时定位与地图构建(SimultaneousLocalizationAndMapping，SLAM)是指在通过对载体(例如机器人、无人飞行器等)上各种传感器数据进行采集和计算，生成对载体自身位置姿态(简称位姿)的定位和场景地图信息的技术。常见的SLAM一般有两种：基于距离的SLAM和基于视觉的SLAM。基于距离的SLAM(距离SLAM)，例如基于激光雷达的SLAM(激光SLAM)，使用距离传感器对载体周围的物体进行测距，采集到的物体信息呈现出一系列分散的、具有准确角度和距离信息的点，被称为点云，通过对不同时刻两片点云的匹配与比对，计算距离传感器相对运动的距离和姿态的改变(相对位姿)，也就完成了对载体自身的定位。SLAM中第n帧的位姿是基于第n-1帧的位姿和两帧之间的相对位姿计算得到的，若第n-1帧的位姿存在误差，这一误差会传递到第n帧及其之后的所有帧，从而导致累计误差。为此可以使用回环检测，通过判断不同帧的数据的相似度是否满足要求来判断这两帧是否是在同样的场景采集的，若检测到第i帧和第j帧是在同样的场景采集的，则可对第i至第j帧的位姿进行优化。对于距离SLAM，由于点云包括的信息量较小，不同帧的点云的相似度并不能准确的反应对应的场景的相似度，特别是在空旷的场景，回环检测难度高，难以消除累计误差，影响长期估计的可靠性。同样由于点云包括的信息量较小，在载体刚开机/定位过程中跟踪丢失的情况下，很难根据当期的点云数据在整幅地图中找到匹配的部分，难以完成全局重定位。
技术实现思路
本专利技术主要解决的技术问题是提供一种视觉辅助的距离SLAM方法及装置、机器人、可读存储介质，能够解决现有技术中距离SLAM难以消除累计误差/完成全局重定位的问题。为了解决上述技术问题，本专利技术提供了一种视觉辅助的距离SLAM方法，该方法包括：获取多个距离数据帧及多个视觉数据帧，每个视觉数据帧对应一个距离数据帧，相对应的视觉数据帧和距离数据帧是同一帧获取的；利用多个视觉数据帧中的当前视觉数据帧进行回环检测以寻找匹配视觉数据帧；若找到匹配视觉数据帧，则计算所述当前视觉数据帧和匹配视觉数据帧之间的相对位姿；利用相对位姿对当前视觉数据帧和匹配视觉数据帧之间帧的位姿数据进行回环优化。为了解决上述技术问题，本专利技术提供了一种视觉辅助的距离SLAM方法，该方法包括：获取当前视觉数据；在存储的多个视觉数据帧中对当前视觉数据进行回环检测以寻找定位视觉数据帧；若找到定位视觉数据帧，则计算当前视觉数据和定位视觉数据帧之间的相对位姿；利用相对位姿及定位视觉数据帧对应的位姿数据计算当前位姿。为了解决上述技术问题，本专利技术提供了一种视觉辅助的距离SLAM装置，该装置包括至少一个处理器，单独或协同工作，处理器用于执行指令以实现前述的视觉辅助的距离SLAM方法。为了解决上述技术问题，本专利技术提供了一种机器人，该机器人包括处理器、距离传感器和视觉传感器，处理器分别连接距离传感器和视觉传感器，处理器用于执行指令以实现前述的视觉辅助的距离SLAM方法。为了解决上述技术问题，本专利技术提供了一种可读存储介质，存储有指令，指令被执行时实现前述的视觉辅助的距离SLAM方法。本专利技术的有益效果是：通过获取多个距离数据帧及多个视觉数据帧，每个视觉数据帧对应一个距离数据帧，相对应的视觉数据帧和距离数据帧是同一帧获取的；利用多个视觉数据帧中的当前视觉数据帧进行回环检测以寻找匹配视觉数据帧；若找到匹配视觉数据帧，则计算所述当前视觉数据帧和匹配视觉数据帧之间的相对位姿；利用相对位姿对当前视觉数据帧和匹配视觉数据帧之间帧的位姿数据进行回环优化，由于视觉数据相比于距离数据包含更多的信息，视觉数据的回环检测成功率更高，利用视觉数据的回环检测结果对距离SLAM进行辅助，可以消除累计误差，提高长期估计的可靠性从而提高建图精度。此外，利用视觉数据的回环检测结果对距离SLAM进行辅助定位，可以实现快速全局重定位。附图说明图1是本专利技术视觉辅助的距离SLAM方法第一实施例的流程示意图；图2是本专利技术视觉辅助的距离SLAM方法第二实施例的流程示意图；图3是本专利技术视觉辅助的距离SLAM方法第三实施例的流程示意图；图4是本专利技术视觉辅助的距离SLAM方法一具体实施例中视觉辅助的激光SLAM的整体方案示意图；图5是本专利技术视觉辅助的距离SLAM方法第四实施例的流程示意图；图6是本专利技术视觉辅助的距离SLAM装置第一实施例的结构示意图；图7是本专利技术机器人第一实施例的结构示意图；图8是本专利技术可读存储介质第一实施例的结构示意图。具体实施方式下面结合附图和实施例对本专利技术进行详细说明。以下各实施例中不冲突的可以相互结合。如图1所示，本专利技术视觉辅助的距离SLAM方法第一实施例包括：S1：获取多个距离数据帧及多个视觉数据帧。距离数据帧是利用距离传感器获取的，视觉数据帧是利用视觉传感器获取的。距离传感器可以为激光雷达、超声波测距传感器、红外测距传感器等。视觉传感器可以包括RGB相机和/或深度相机。RGB相机可以获取图像数据，深度相机可以获取深度数据，若视觉传感器仅包括RGB相机，RGB相机的数量可以大于一，例如两个RGB相机组成双目相机，从而可以利用至少两个RGB相机的图像数据计算深度数据。可以将视觉传感器得到的图像数据和/或深度数据直接作为视觉数据帧，或者从图像数据和/或深度数据提取特征数据作为视觉数据帧以节省存储空间，特征数据可以包括从图像数据和/或深度数据提取的地图点数据。完成提取特征数据后原始的图像数据和/或深度数据可以删除。例如，可以对图像数据进行特征点检测，结合深度数据生成特征点对应的3D地图点，计算特征点的描述子，将特征数据(包括特征点、3D地图点、描述子)作为视觉数据帧。每个视觉数据帧对应一个距离数据帧，相对应的视觉数据帧和距离数据帧是同一帧获取的，且载体处于同一位姿下。距离数据帧和视觉数据帧可以是一一对应的，也可以不是。若距离数据帧和视觉数据帧不是一一对应的，部分距离数据帧可以没有对应的视觉数据帧。每个距离数据帧和每个视觉数据帧都有一个ID。相对应的视觉数据帧和距离数据帧的ID可以相匹配以便于处理，例如，相对应的视觉数据帧和距离数据帧的ID可以相同。同一帧内的视觉数据帧和距离数据帧的获取先后顺序并无限制。例如可以在激光雷达扫描得到距离数据帧后向视觉传感器发送信号以获取对应的视觉数据帧，或者在激光雷达扫描过程中控制视觉传感器获取对应的视觉数据帧，或者控制视觉传感器获取视觉数据帧之后激光雷达开始扫描。S2：利用多个视觉数据帧中的当前视觉数据帧进行回环检测以寻找匹配视觉数据帧。当前视觉数据帧是指正在处理的视觉数据帧，并不一定是当前时刻获取的视觉数据帧。一般而言，回环检测是基于图像的相似本文档来自技高网...

【技术保护点】
1.一种视觉辅助的距离SLAM方法，其特征在于，包括：/n获取多个距离数据帧及多个视觉数据帧，每个所述视觉数据帧对应一个所述距离数据帧，相对应的所述视觉数据帧和所述距离数据帧是同一帧获取的；/n利用所述多个视觉数据帧中的当前视觉数据帧进行回环检测以寻找匹配视觉数据帧；/n若找到所述匹配视觉数据帧，则计算所述当前视觉数据帧和所述匹配视觉数据帧之间的相对位姿；/n利用所述相对位姿对所述当前视觉数据帧和所述匹配视觉数据帧之间帧的位姿数据进行回环优化。/n

【技术特征摘要】
1.一种视觉辅助的距离SLAM方法，其特征在于，包括：
获取多个距离数据帧及多个视觉数据帧，每个所述视觉数据帧对应一个所述距离数据帧，相对应的所述视觉数据帧和所述距离数据帧是同一帧获取的；
利用所述多个视觉数据帧中的当前视觉数据帧进行回环检测以寻找匹配视觉数据帧；
若找到所述匹配视觉数据帧，则计算所述当前视觉数据帧和所述匹配视觉数据帧之间的相对位姿；
利用所述相对位姿对所述当前视觉数据帧和所述匹配视觉数据帧之间帧的位姿数据进行回环优化。


2.根据权利要求1所述的方法，其特征在于，
所述利用所述多个视觉数据帧中的当前视觉数据帧进行回环检测以寻找匹配视觉数据帧包括：
在多个候选视觉数据帧中寻找与所述当前视觉数据帧之间的相似度大于预设阈值的候选视觉数据帧作为所述匹配视觉数据帧，每个所述候选视觉数据帧都在所述当前视觉数据帧之前，且与所述当前视觉数据帧之间的帧间距属于预设范围内。


3.根据权利要求2所述的方法，其特征在于，
所述利用所述多个视觉数据帧中的当前视觉数据帧进行回环检测以寻找匹配视觉数据帧进一步包括：
对所述当前视觉数据帧及匹配帧进行校验以去除不合格的匹配视觉数据帧。


4.根据权利要求3所述的方法，其特征在于，
所述对所述当前视觉数据帧及匹配帧进行校验以去除不合格的匹配视觉数据帧包括：
对所述当前视觉数据帧的地图点数据与匹配视觉数据帧的地图点数据进行随机采样一致性筛选以去除所述不合格的匹配视觉数据帧。


5.根据权利要求2所述的方法，其特征在于，
所述预设范围的最大值与距离数据帧率正相关。

【专利技术属性】
技术研发人员：熊友军，蒋晨晨，白龙彪，毕占甲，刘志超，
申请(专利权)人：深圳市优必选科技有限公司，
类型：发明
国别省市：广东;44