基于视觉传感器的多移动机器人协作建图方法及系统技术方案

本发明专利技术涉及移动机器人定位与地图构建技术领域，更具体的说，涉及一种基于视觉传感器的多移动机器人协作建图方法及系统。本方法，包括以下步骤：步骤S1、相机标定；步骤S2、各子机器人分别独立运行视觉SLAM算法，获得自身位姿和局部地图；步骤S3、各子机器人将自身数据传输至服务端；步骤S4、服务端进行地图重叠区域检测；步骤S5、服务端计算得出局部地图和全局地图之间的变换矩阵；步骤S6、服务端将局部地图融合转换至全局地图；步骤S7、服务端将全局地图数据发送至各子机器人；步骤S8、子机器人更新本地局部地图数据。本发明专利技术可实现移动机器人在未知大范围环境下的自主地图构建，克服了单移动机器人建图效率低下的问题，系统可用性及鲁棒性强。性及鲁棒性强。性及鲁棒性强。

【技术实现步骤摘要】
基于视觉传感器的多移动机器人协作建图方法及系统


[0001]本专利技术涉及移动机器人定位与地图构建
，更具体的说，涉及一种基于视觉传感器的多移动机器人协作建图方法及系统。

技术介绍

[0002]在面对一些大规模场景或者场景相对复杂的作业环境，由于单个移动机器人只能根据其观测到的局部信息做出决策，并且还可能由于其自身传感器故障导致整个系统的瘫痪，因此，单个移动机器人在上述作业环境方面存在局限性，需要多机器人协作共同完成任务，以弥补单机器人的能力限制，进而提高整个系统的效率和鲁棒性。
[0003]在面向未知大范围环境探索、人员搜救、军事侦察等场景下，采用多机器人协作方式能够大大提高感知效率，从而克服单个移动机器人的感知局限，为后续的自主决策与路径规划奠定基础。

技术实现思路

[0004]本专利技术的目的是提供一种基于视觉传感器的多移动机器人协作建图方法及系统，解决现有移动机器人在面对未知大范围环境下协同建图精度差、效率低的问题。
[0005]为了实现上述目的，本专利技术提供了一种基于视觉传感器的多移动机器人协作建图方法，包括以下步骤：
[0006]步骤S1、相机标定，获取相机内参数及畸变参数；
[0007]步骤S2、各子机器人分别独立运行视觉SLAM算法，获得自身位姿和局部地图；
[0008]步骤S3、各子机器人采用多机器人通讯机制将自身数据传输至服务端，所述多机器人通讯机制基于ROS系统设计实现；
[0009]步骤S4、服务端基于公共区域相似性原理进行地图重叠区域检测，建立各子机器人的局部地图之间的数据关联；
[0010]步骤S5、服务端构建PNP问题，计算得出局部地图和全局地图之间的变换矩阵；
[0011]步骤S6、服务端将局部地图融合转换至全局地图，并进行全局集束优化；
[0012]步骤S7、服务端采用多机器人通讯机制将全局地图数据发送至各子机器人；
[0013]步骤S8、子机器人接收全局地图数据并进行解析，更新子机器人的本地局部地图数据。
[0014]在一实施例中，所述步骤S1，进一步包括：
[0015]采用ROS系统中的相机标定工具包获取相机内参数以及相机畸变参数。
[0016]在一实施例中，所述步骤S2，进一步包括：
[0017]子机器人搭载RGB
‑
D相机对输入图像提取ORB特征点，在位姿跟踪线程中进行恒速模型估计、参考关键帧估计以及重定位步骤，初步计算出相机位姿，获得自身位姿数据；
[0018]子机器人在局部建图线程中根据所新建的关键帧，增加局部地图点数目，关键帧之间重新进行特征匹配，将未匹配的特征点插入到全局地图中，生成新的地图点，获得局部
点云地图。
[0019]在一实施例中，所述步骤S2，进一步包括：
[0020]子机器人在闭环检测线程中对所有的图像关键帧进行位姿优化。
[0021]在一实施例中，所述步骤S3，进一步包括：
[0022]各子机器人发布自身的关键帧和局部地图数据至服务端；
[0023]服务端通过订阅关键帧和地图数据的话题接收各子机器人发布数据。
[0024]在一实施例中，所述步骤S4，进一步包括：
[0025]步骤S41、服务端加载视觉词袋模型，初始化全局地图数据；
[0026]步骤S42、基于公共区域相似性原理确定各子机器人的局部地图之间的相似关键帧和候选关键帧。
[0027]在一实施例中，所述步骤S41，进一步包括：
[0028]服务端在初始化全局地图数据时加载视觉词袋模型；
[0029]检查当前地图数据是否为空，直到接收到第一帧由子机器人端传输过来的地图数据时确定全局坐标系，全局坐标系与所接收到第一帧地图数据对应的子机器人端的局部坐标系保持一致。
[0030]在一实施例中，所述步骤S42，进一步包括：
[0031]服务端对接收到的所有关键帧迭代遍历，并在存储全局地图关键帧的字典树中进行挑选；
[0032]选择一定数量的与当前全局地图关键帧具有相同特征的关键帧作为相似关键帧，在相似关键帧基础上根据地图点数目确定候选关键帧。
[0033]在一实施例中，所述步骤S5，进一步包括：
[0034]服务端遍历候选关键帧集合，对每个候选关键帧与当前全局地图关键帧之间构建PNP问题，计算出当前候选关键帧在全局坐标系下的位姿，结合候选关键帧在局部坐标下的位姿，计算出局部地图与全局地图之间的变换矩阵。
[0035]在一实施例中，所述步骤S5，进一步包括：采用EPnP算法对PNP问题进行求解。
[0036]在一实施例中，所述步骤S6，进一步包括：
[0037]利用步骤S5获得的变换矩阵，将局部地图中的所有关键帧和地图点数据转换到全局地图坐标系下；
[0038]对全局地图中所有关键帧和所有地图点进行全局集束优化。
[0039]在一实施例中，所述步骤S7，进一步包括：
[0040]服务端将全局地图中的关键帧数据和地图点数据进行序列化，并进行数据包的拆分；
[0041]服务端基于多机器人通讯机制发布数据包的话题。
[0042]在一实施例中，所述步骤S8，进一步包括：
[0043]各个子机器人基于多机器人通讯机制进行接收地图数据；
[0044]各子机器人端对接收的地图数据进行反序列化从而得到对应的格式数据；
[0045]各子机器人利用变换矩阵将全局地图数据添加到自己局部地图的参考坐标系下，实现本地局部地图的实时更新。
[0046]为了实现上述目的，本专利技术提供了一种基于视觉传感器的多移动机器人协作建图
系统，其特征在于，包括多个子机器人和服务端：
[0047]所述多个子机器人，分别与服务端通信进行数据交互，
[0048]所述多个子机器人和服务端，用于实现如上述任一项所述的方法。
[0049]本专利技术提供的基于视觉传感器的多移动机器人协作建图方法及系统，从实际应用角度出发，实现局部地图向全局地图的高效融合及地图更新，可实现移动机器人在未知大范围环境下的自主地图构建，克服了单移动机器人建图效率低下的问题，提高在未知大范围环境下基于视觉传感器的环境感知效率，系统可用性及鲁棒性强，可应用于大规模作业场景下的环境感知任务。
附图说明
[0050]本专利技术上述的以及其他的特征、性质和优势将通过下面结合附图和实施例的描述而变的更加明显，在附图中相同的附图标记始终表示相同的特征，其中：
[0051]图1揭示了根据本专利技术一实施例的基于视觉传感器的多移动机器人协作建图方法流程图；
[0052]图2揭示了根据本专利技术一实施例中的基于视觉传感器的多移动机器人协作建图流程框图；
[0053]图3揭示了根据本专利技术一实施例的服务端全局地图融合算法流程图；
[0054]图4揭示了根据本专利技术一实施例的服务端地图重叠区域检测流程图；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉传感器的多移动机器人协作建图方法，其特征在于，包括以下步骤：步骤S1、相机标定，获取相机内参数及畸变参数；步骤S2、各子机器人分别独立运行视觉SLAM算法，获得自身位姿和局部地图；步骤S3、各子机器人采用多机器人通讯机制将自身数据传输至服务端，所述多机器人通讯机制基于ROS系统设计实现；步骤S4、服务端基于公共区域相似性原理进行地图重叠区域检测，建立各子机器人的局部地图之间的数据关联；步骤S5、服务端构建PNP问题，计算得出局部地图和全局地图之间的变换矩阵；步骤S6、服务端将局部地图融合转换至全局地图，并进行全局集束优化；步骤S7、服务端采用多机器人通讯机制将全局地图数据发送至各子机器人；步骤S8、子机器人接收全局地图数据并进行解析，更新子机器人的本地局部地图数据。2.根据权利要求1所述的基于视觉传感器的多移动机器人协作建图方法，其特征在于，所述步骤S1，进一步包括：采用ROS系统中的相机标定工具包获取相机内参数以及相机畸变参数。3.根据权利要求1所述的基于视觉传感器的多移动机器人协作建图方法，其特征在于，所述步骤S2，进一步包括：子机器人搭载RGB
‑
D相机对输入图像提取ORB特征点，在位姿跟踪线程中进行恒速模型估计、参考关键帧估计以及重定位步骤，初步计算出相机位姿，获得自身位姿数据；子机器人在局部建图线程中根据所新建的关键帧，增加局部地图点数目，关键帧之间重新进行特征匹配，将未匹配的特征点插入到全局地图中，生成新的地图点，获得局部点云地图。4.根据权利要求3所述的基于视觉传感器的多移动机器人协作建图方法，其特征在于，所述步骤S2，进一步包括：子机器人在闭环检测线程中对所有的图像关键帧进行位姿优化。5.根据权利要求1所述的基于视觉传感器的多移动机器人协作建图方法，其特征在于，所述步骤S3，进一步包括：各子机器人发布自身的关键帧和局部地图数据至服务端；服务端通过订阅关键帧和地图数据的话题接收各子机器人发布数据。6.根据权利要求1所述的基于视觉传感器的多移动机器人协作建图方法，其特征在于，所述步骤S4，进一步包括：步骤S41、服务端加载视觉词袋模型，初始化全局地图数据；步骤S42、基于公共区域相似性原理确定各子机器人的局部地图之间的相似关键帧和候选关键帧。7.根据权利要求6所...

【专利技术属性】
技术研发人员：和望利，杜文莉，钱锋，
申请(专利权)人：华东理工大学，
类型：发明
国别省市：