基于语义一致性的多无人机协同建图与感知方法及系统技术方案

本发明专利技术公开基于语义一致性的多无人机协同建图与感知方法及系统

【技术实现步骤摘要】
基于语义一致性的多无人机协同建图与感知方法及系统


[0001]本专利技术属于无人机
，涉及一种基于语义一致性的多无人机协同建图与感知方法及系统
。

技术介绍

[0002]建图与感知是无人机
和人工智能领域中的一项重要技术
。
其通常以即时定位与地图构建
(SLAM)
技术作为基础，是无人机理解其所在环境的主要技术手段，更是无人机执行包括自主路径规划
、
飞行控制
、
行为决策等后续任务的必要前提条件
。
近年来，随着无人机应用领域的扩展
、
任务复杂度的增加
、
及使用场景的扩大，以
SVO
[1]为代表的单一无人机建图和以基于运动模型检测
[2]为代表的单一无人机感知在场景覆盖范围
、
语义物体检测精度等方面逐渐显露出局限性
。
因此，通过将多架无人机组织成密切协作的无人机群，共同完成大场景下的建图与感知任务成为了无人机技术发展的重要方向
。
...

【技术保护点】

【技术特征摘要】
1.
一种基于语义一致性的多无人机协同建图与感知方法，其特征在于所述方法包括：步骤
(1)、
多模态数据预处理；具体是：对无人机机载传感器所采集到的多模态数据进行预处理，转化为统一相机坐标系下的多模态数据；对预处理后的多模态数据进行融合，获得三维感知数据，即彩色三维点云与
RGB
‑
D
图像；其中所述多模态数据包括三维点云
、
彩色图像和深度图像；步骤
(2)、
单机位姿估计与子地图构建；具体是：采用点到面迭代最邻近点的方法实现各无人机的实时位姿估计，并使用该位姿将无人机各个时刻所采集的彩色三维点云放置到统一无人机坐标系下，以彩色三维点云的形式构建子地图；步骤
(3)、
单机语义信息提取与语义子地图构建；具体是：
S3
‑1采用预训练的深度卷积网络从
RGB
‑
D
图像中彩色图像提取语义物体信息；
S3
‑2根据激光雷达
、
摄像头与深度相机之间的外参
M
以及摄像头和深度相机的内参
K
，从彩色三维点云中标记出与彩色图像检测结果对应的语义物体信息，以给每个三维点添加语义标签的形式构建语义子地图，并根据语义子地图中各语义物体的三维空间位置构建语义拓扑图；步骤
(4)、
多机子地图匹配与融合；具体是：利用语义信息的全局一致性特点，通过寻找语义信息间的匹配关系将各个无人机所构建的语义子地图关联起来，融合成为全局语义地图；步骤
(5)、
全局语义拓扑图与多机轨迹联合优化，通过全局语义拓扑图上增加无人机位姿节点，构建全局因子图，再使用图优化方法实现联合优化
。2.
根据权利要求1所述方法，其特征在于步骤
(1)
中，所述预处理采用张正友标定法
。3.
根据权利要求1所述方法，其特征在于步骤
(1)
中，所述无人机机载传感器包括激光雷达
、
摄像头和深度相机
。4.
根据权利要求1所述方法，其特征在于步骤
S3
‑2具体是：使用预训练好的深度卷积网络从无人机
i
的当前观测彩色图像中提取语义物体的掩码并识别语义物体的类别，即语义分割；使用步骤
(1)
摄像头和深度相机的内参
K
，通过反向投影技术得到三维点云，并与激光雷达的点云融合，获得带有语义标签的分割三维点云；将各个语义物体视为一个整体，以各语义物体的大小为节点
、
质心坐标间的欧式距离为边构建语义拓扑图
。5.
根据权利要求1所述方法，其特征在于步骤
(4)
具体是：以从语义拓扑图提取到的成对几何位置关系作为依据，搜索当前无人机所观测到的多模态数据与所有无人机的语义子地图之间的匹配关系；当无人机
i
的当前观测数据与无人机
j
所构建的子地图之间存在匹配关系时，采用由粗略到精确的配准方法，计算无人机
i
与
j
所构建的子地图之间的相对位姿变换，继而将无人机
i
和
j
的运行轨迹以及其构建的子地图置于统一的世界坐标系下；最后通过语义物体标签融合，实现两个语义子地图的融合，形成全局语义地图并构建全局语义拓扑图
。6.
根据权利要求5所述方法，其特征在于步骤
(4)
具体是：
S4
‑1根据语义标签信息，寻找无人机
i
所构建的语义拓扑图与其他无人机构建的所有
语义拓扑图之间的潜在匹配关系，即所有具有相同语义标签的物体均为潜在匹配；
...

【专利技术属性】
技术研发人员：明煜航，杨兴锐，卢垚，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：