本发明专利技术提出一种空地多模态多智能体协同定位与建图方法，包括，获取智能体的测量数据，智能体包括无人机和无人车，无人车设置有视觉标志物；通过无人车的测量数据进行局部视角局部建图，通过无人机的测量数据进行全局视角局部建图；通过无人机对视觉标志物进行检测，当检测成功时获取无人机和无人车之间的相对位姿，利用相对位姿的转换关系进行空地视角地图融合与优化；基于回环不断检测智能体是否经过重叠区域，当检测到重叠区域时，通过匹配的关键帧建立智能体的两幅地图的关联，进行轨迹校准和相近视角地图融合与优化；根据空地视角融合与优化后的地图和相近视角融合与优化后的地图得到位姿轨迹和全局一致的地图。地图得到位姿轨迹和全局一致的地图。地图得到位姿轨迹和全局一致的地图。
【技术实现步骤摘要】
一种空地多模态多智能体协同定位与建图方法
[0001]本专利技术属于无人系统的定位建图领域。
技术介绍
[0002]随着智能机器人领域技术的不断突破，智能机器人在现代社会被越来越多地应用于解决复杂问题，而自主导航能力被认为是智能机器人实现自主任务的基础。为了实现机器人自主规划导航，如何使智能机器人协同进行定位与建图(simultaneous localizationand mapping， SLAM)成为目前的研究热门课题，特别是在军事， 灾难环境搜救等领域拥有巨大的潜力。
[0003]目前， 多机器人之间的互相位姿校正和信息感知成为一个难点。在进行SLAM过程中， 机器人无法预先获取整个环境的信息，地图的构建主要靠机器人的探索。传统的单机器人在大范围场景下进行SLAM存在许多缺陷，例如传感器作用范围小、观测角度局限、计算复杂性高、存储能力弱等。只依靠局部传感器信息，机器人定位误差会越来越大，最终导致建图与定位偏移。而对于一些特殊任务，例如军事、灾难搜救等场合，需要尽可能短的时间完成任务。对于上述问题，通过分散于环境中的多个机器人通信和相互协调工作， 整个系统可以获得更强的环境探测能力和准确的定位能力。
技术实现思路
[0004]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005]为此，本专利技术的目的在于提出一种空地多模态多智能体协同定位与建图方法，用于构建出全局一致的环境地图模型。
[0006]为达上述目的，本专利技术第一方面实施例提出了一种空地多模态多智能体协同定位与建图方法，包括：获取智能体的测量数据，所述智能体包括无人机和无人车，所述无人车设置有视觉标志物；通过所述无人车的测量数据进行局部视角局部建图，通过所述无人机的测量数据进行全局视角局部建图；通过所述无人机对所述视觉标志物进行检测，当检测成功时获取所述无人机和所述无人车之间的相对位姿，利用所述相对位姿的转换关系进行空地视角地图融合与优化；基于回环不断检测所述智能体是否经过重叠区域，当检测到所述重叠区域时，通过匹配的关键帧建立所述智能体的两幅地图的关联，进行轨迹校准和相近视角地图融合与优化；根据所述空地视角融合与优化后的地图和所述相近视角融合与优化后的地图得到位姿轨迹和全局一致的地图。
[0007]另外，根据本专利技术上述实施例的一种空地多模态多智能体协同定位与建图方法还可以具有以下附加的技术特征：
进一步地，在本专利技术的一个实施例中，所述获取智能体的测量数据，包括：对所述测量数据进行预处理，包括视觉检测和光流跟踪、惯性测量单元IMU预积分；其中，所述视觉检测和光流跟踪包括：应用最小二乘法求得光流的速度矢量，如下式，，其中，、表示图像中像素点亮度在、方向上的图像梯度，表示在方向上的时间梯度，、为光流沿、轴的速度矢量；所述惯性测量单元IMU预积分包括：，其中，为IMU坐标系，为原点初始化时IMU所在的坐标系即世界坐标系，和是 IMU所测得的加速度和角速度，为时刻从IMU坐标系到世界坐标系的旋转，为四元数右乘；将第帧到第帧之间的所有IMU数据进行积分，即可得到第帧的位置、速度和旋转，作为视觉估计的初始值，旋转为四元数形式。
[0008]进一步地，在本专利技术的一个实施例中，所述通过所述无人车的测量数据进行局部视角局部建图，通过所述无人机的测量数据进行全局视角局部建图，包括：用SFM求解滑动窗口内所有帧的位姿与所有路标点的三维位置，与IMU 预积分值进行对齐，得到角速度偏置、重力方向、尺度因子和每一帧所对应的速度；使用滑动窗口法优化窗口内的状态变量，在时刻窗口中的优化的状态向量如下式，，其中，和为相机位姿的旋转和平移部分，为相机在世界坐标系下的速度，和分别为IMU的加速度偏置和角速度偏置；系统的状态量的优化目标函数，如下式，，其中，为最大估计后验值，为滑窗初值残差，为IMU观测残差，为相机观测残差。
[0009]进一步地，在本专利技术的一个实施例中，所述基于回环不断检测所述智能体是否经过重叠区域，包括：
将所有视觉特征进行聚类，一类特征是一个单词，所有特征是一个字典；用单个向量描述一个图像：计算两张图像A和B之间的相似度：，其中，是描述图像A的向量，是描述图像B的向量，是两张图像A和B之间的相似度，表示描述图像A的向量的第个分量，表示描述图像B的向量的第个分量；若所述相似度超过阈值，则认为出现回环。
[0010]进一步地，在本专利技术的一个实施例中，所述将所有视觉特征进行聚类，包括：在根节点，用K
‑
means算法把所有样本聚成类，得到第一层；对所述第一层的每个节点，把属于该节点的样本再聚成类，得到下一层；依此类推，最后得到叶子层，所述叶子层即为单词。
[0011]进一步地，在本专利技术的一个实施例中，所述用单个向量描述一个图像，包括：定义为单词包含的特征数量，为所有单词包含的特征数量，为单词在图像A中出现的次数，为单词在所有图像中一共出现的次数，则单词在图像A的权重为：，通过词袋，用单个向量描述一个图像A：，其中，是图像A在字典中所具有的单词，是所对应的权重，是描述图像A的向量。
[0012]为达上述目的，本专利技术第二方面实施例提出了一种空地多模态多智能体协同定位与建图装置，包括以下模块：获取模块，用于获取智能体的测量数据，所述智能体包括无人机和无人车，所述无人车设置有视觉标志物；建图模块，用于通过所述无人车的测量数据进行局部视角局部建图，通过所述无人机的测量数据进行全局视角局部建图；空地视角融合模块，用于通过所述无人机对所述视觉标志物进行检测，当检测成功时获取所述无人机和所述无人车之间的相对位姿，利用所述相对位姿的转换关系进行空地视角地图融合与优化；相近视角融合模块，用于基于回环不断检测所述智能体是否经过重叠区域，当检测到所述重叠区域时，通过匹配的关键帧建立所述智能体的两幅地图的关联，进行轨迹校准和相近视角地图融合与优化；输出模块，用于根据所述空地视角融合与优化后的地图和所述相近视角融合与优化后的地图得到位姿轨迹和全局一致的地图。
[0013]为达上述目的，本专利技术第三方面实施例提出了一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的一种空地多模态多智能体协同定位与建图方法。
[0014]为达上述目的，本专利技术第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的一种空地多模态多智能体协同定位与建图方法。
[0015]本专利技术实施例提出的空地多模态多智能体协同定位与建图方法，适用于多种应用场景中，并且显著提升单一机器人系统的感知能力与工作效率。尤其在搜索和救援领域中，空中无人机（UnmannedAerial Vehicle，UAV）以其空中视角的优势探测未知环境地形，引导地面机器人 (Unmanned ground vehicle，UGV)驶入目标区域实施精准的救援任务，以相较人力高效而低代价的方式实现搜索本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种空地多模态多智能体协同定位与建图方法，其特征在于，包括以下步骤：获取智能体的测量数据，所述智能体包括无人机和无人车，所述无人车设置有视觉标志物；通过所述无人车的测量数据进行局部视角局部建图，通过所述无人机的测量数据进行全局视角局部建图；通过所述无人机对所述视觉标志物进行检测，当检测成功时获取所述无人机和所述无人车之间的相对位姿，利用所述相对位姿的转换关系进行空地视角地图融合与优化；基于回环不断检测所述智能体是否经过重叠区域，当检测到所述重叠区域时，通过匹配的关键帧建立所述智能体的两幅地图的关联，进行轨迹校准和相近视角地图融合与优化；根据所述空地视角融合与优化后的地图和所述相近视角融合与优化后的地图得到位姿轨迹和全局一致的地图。2.根据权利要求1所述的方法，其特征在于，所述获取智能体的测量数据，包括：对所述测量数据进行预处理，包括视觉检测和光流跟踪、惯性测量单元IMU预积分；其中，所述视觉检测和光流跟踪包括：应用最小二乘法求得光流的速度矢量，如下式，，其中，、表示图像中像素点亮度在、方向上的图像梯度，表示在方向上的时间梯度，、为光流沿、轴的速度矢量；所述惯性测量单元IMU预积分包括：，其中，为IMU坐标系，为原点初始化时IMU所在的坐标系即世界坐标系， 和 是 IMU所测得的加速度和角速度，为时刻从IMU坐标系到世界坐标系的旋转，为四元数右乘；将第帧到第帧之间的所有IMU数据进行积分，即可得到第 帧的位置、速度和旋转，作为视觉估计的初始值，旋转为四元数形式。3.根据权利要求1所述的方法，其特征在于，所述通过所述无人车的测量数据进行局部视角局部建图，通过所述无人机的测量数据进行全局视角局部建图，包括：用SFM求解滑动窗口内所有帧的位姿与所有路标点的三维位置，与IMU 预积分值进行对齐，得到角速度偏置、重力方向、尺度因子和每一帧所对应的速度；
使用滑动窗口法优化窗口内的状态变量，在时刻窗口中的优化的状态向量如下式，，其中，和为相机位姿的旋转和平移部分，为相机在世界坐标系下的速度，和分别为IMU的加速度偏置和角速度偏置；系统的状态量的优化目标函数，如下式，，其中，为最大估计后验值，为滑窗初值残差，为IMU观测残差，为相机观测残差。4.根据权利要求1所述的方法，其特征在于，所述基于回环不断检测所述智能体是否经过重叠区域，包括：将所有视觉特征进行聚类，一类特征是一个单词，所有特征是一...
【专利技术属性】
技术研发人员：张金会，魏嘉桐，吕千一，李思杭，孟焕，蔡吉山，邵之玥，赵凯，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。