一种基于视觉的无人系统空地协同导航与避障方法技术方案

本发明专利技术属于无人系统协同导航与避障技术领域，公开了一种基于视觉的无人系统空地协同导航与避障方法，本发明专利技术设计搭建了无人机与无人车结合的空地协同异构平台，充分发挥各自优势，实现优势互补及功能拓展，提升无人系统在协同中的任务执行效能；针对不同场景复杂多变的特点，本发明专利技术基于深度学习理论及图像识别技术实现目标检测与定位，使空地无人系统具有互为视角的全面协同感知能力，并有效简化了系统，降低实施成本。降低实施成本。降低实施成本。

【技术实现步骤摘要】
一种基于视觉的无人系统空地协同导航与避障方法


[0001]本专利技术属于无人系统协同导航与避障
，涉及一种基于视觉的无人系统空地协同导航与避障方法。

技术介绍

[0002]随着科学技术的发展，面向空地协同控制的无人系统在军事领域和民用领域都具有广阔的应用前景，特别是面向未来临地安防体系下的低空安防。无人机因具有作战能力强、活动空间广以及成本低等诸多优势，然而无人机承载和续航能力有限。无人车具有承载能力强、可扩展性高以及适应范围广等诸多优势，能够承载高算力平台，但活动范围有限。因此，通过无人机和无人车空地协同实现优势互补，能够提升系统整体执行任务的效能。随着无人系统广泛应用于各种复杂场景中，因而对无人系统的自主性提出了更高的要求。而空地协同导航与避障技术是无人系统的核心点与难点，因此该技术受到广泛的关注。
[0003]无人系统的导航与避障技术可以看作对如何安全、快速地到达目标位置进行规划的过程，它主要依赖于无人系统对当前的环境和位置的感知。为了顺利完成预定任务，无人系统必须充分了解各个智能体状态，包括位置、导航速度、航向以及出发点和目标位置等。传统导航方法多数基于惯性导航与卫星导航，惯性导航是以牛顿力学定律为基础，依靠安装在载体(无人机，无人车等)内部的加速度计测量载体在三个轴向运动加速度，经积分运算得出载体的瞬时速度和位置，以及测量载体姿态的一种导航方式。该方法的定位误差会随时间积累，从而影响系统导航精度。定位卫星导航是通过不断对目标物体进行定位从而实现导航功能，该方法易受电磁干扰的影响,且在复杂环境中信号易丢失。因此，面对复杂的外部环境，要求无人集群系统具有高精度、低成本和智能化的自主执行任务的能力，从而保证完成任务的效率。传统的无人系统避障方法多是基于无人系统本体搭载的传感器感知周围环境信息进而躲避障碍物，如超声波雷达、激光雷达和毫米波雷达等，但由于智能体承重能力和电源供应能力有限，携带大重量、高功耗的传感器（如激光雷达）会大幅度减少智能体执行任务的续航时间并增加额外的成本。此外，单一无人平台自身局限性问题无法全方位的感知周边场景信息，因此需要搭建一种空地结合的空地协同异构平台，能够充分发挥各自感知优势，实现优势互补及功能拓展，提升多智能体在协同中的任务执行效能。目前已有的空地协同异构平台避障多数聚焦于地面无人系统导航与避障，而在协同过程中常忽略无人机的导航与避障需求，因此需要一种空地协同异构平台能够为空中无人平台提供协同导航和避障功能，从而提升无人系统在协同任务中的使用效能。

技术实现思路

[0004]为了解决无人系统空地协同导航系统与避障问题，本专利技术旨在提供一种基于视觉的无人系统空地协同导航与避障方法，其能够较为简单地、低成本地实现对无人系统之间的协同导航与躲避障碍物。
[0005]为实现以上目的，本专利技术采用如下技术方案：
一种基于视觉的无人系统空地协同导航与避障方法，一个无人机群包括4台无人机、一台无人车和中央处理器，所述中央处理器包括基于视觉的地对空感知与控制系统和基于视觉的空对地感知与导航系统，所述基于视觉的地对空感知与控制系统和基于视觉的空对地感知与导航系统分别均包括图像处理系统、三维坐标转换系统、快速目标检测系统、目标轨迹预测系统、路径规划系统和无人集群最优控制系统，能够实现图像处理功能、三维坐标转换功能、基于深度学习的快速目标检测功能、目标轨迹预测功能、路径规划功能和无人集群控制功能，每台无人机均包含一个双目摄像机，所述无人车搭载一个双目摄像机，包括的主要步骤如下：步骤1：异构无人平台编队执行前布置将无人机群的4台无人机按照矩形几何编队布置于起飞场地，确保各无人机之间的初始实际距离应大于相互之间的安全半径之和，确保无人车置于无人机集群后方L米处，并保证至少一台无人机的双目摄像机能够观测到无人车周边场景信息；应保证无人车车载双目摄像机能够观测到4台无人机及4台无人机的周边场景信息；步骤2：无人机起飞前自动基准构建；无人车行进前自动基准构建；步骤3：4台无人机按照矩形几何编队起飞，无人车按照指定位置启动；步骤4：通过无人车双目摄像机观测环境信息并采用基于视觉的地对空感知与控制系统感知无人机状态与场景环境信息；步骤5：无人车按照任务指定航线方向行进；步骤6：将4台无人机观测的环境信息传输至中央处理器中，随后采用基于视觉的空对地感知和导航系统感知无人车周边场景环境信息并得到执行任务的最优航线。
[0006]进一步地，步骤1中，所述的L米是指无人车视觉感知的最大范围的1/3处。
[0007]进一步地，步骤4具体包括以下步骤：步骤4.1：利用车载双目摄像机采集目标区域的环境信息并将采集的环境信息以图像帧的方式传输至图像处理系统进行图像处理，对传入图像处理系统的视频信息预处理得到指定尺寸的预处理图像；步骤4.2：将预处理后的图像传入快速目标检测系统，基于深度学习的快速目标检测算法YOLOv5 (You Only Look Once)能够依据先验模型迅速识别并定位当前场景中4台无人机及动静态障碍物；步骤4.3：基于上述环境信息利用视觉惯性融合技术估计相机自身的运动姿态，融合多帧深度信息，重建空间环境的体素地图和对场景中无人机及动静态障碍物进行三维坐标转换，得到所述目标区域的场景地图和不同物体多时刻位置信息；步骤4.4：将所述场景地图和不同物体多时刻的位置信息传入到目标轨迹预测系统，基于LSTM（Long Short Term Memory）的目标轨迹预测算法依据先验模型与数据库将预测和判定场景地图中无人机和其他动态障碍物运动轨迹并对可能受到威胁的无人机发出碰撞预警。
[0008]进一步地，步骤6具体包括以下步骤：步骤6.1：利用至少4台无人机双目摄像机在稳定飞行后采集目标区域的环境信息并将采集的环境信息以图像帧的方式传输至图像处理系统，对传入图像处理系统的视频信息进行预处理得到4张场景图片融合后的预处理图像；
步骤6.2：将预处理图像分为两路输出，一路传入基于双目摄像机的三维坐标转换系统并依据图像数据计算出无人车在场景环境中的相对位置坐标，另一路传入快速目标检测系统，基于深度学习的快速目标检测算法YOLOv5 (You Only Look Once)能够检测场景信息、计算场景信息中动态和静态目标威胁度并构建场景信息的栅格地图；步骤6.3：在给定位置信息与场景信息栅格地图的条件下，建立威胁模型与地形信息，与此同时，路径规划系统依据给定信息求解无人车行进的最优路径或者次最优路径；步骤6.4：无人集群最优控制系统依据上述最优路径或次最优路径对无人车发出控制指令，基于强化学习的空地协同最优控制策略算法依据获取的环境状态信息输出无人车控制指令，收到控制指令的无人车依据指令按照指定的路径行进。
[0009]进一步地，协同任务执行的过程中，事先在车载双目摄像机获得无人机集群的场景图片中指定4个虚拟编队位置点并固定在场景图片的相对位置处，进而无人车行进过程中虚拟编队位置点伴随着无人车行进，与此同时，虚拟位置点与无人机所在位置导致一定偏差，通过其姿态闭环控制器实现无人机群编队保持。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的无人系统空地协同导航与避障方法，其特征在于，一个无人机群包括4台无人机、一台无人车和中央处理器，所述中央处理器包括基于视觉的地对空感知与控制系统和基于视觉的空对地感知与导航系统，所述基于视觉的地对空感知与控制系统和基于视觉的空对地感知与导航系统分别包括图像处理系统、三维坐标转换系统、快速目标检测系统、目标轨迹预测系统、路径规划系统和无人集群最优控制系统，能够实现图像处理功能、三维坐标转换功能、基于深度学习的快速目标检测功能、目标轨迹预测功能、路径规划功能和无人集群控制功能，每台无人机均包含一个双目摄像机，所述无人车搭载一个双目摄像机，包括的主要步骤如下：步骤1：异构无人平台编队执行前布置将无人机群的4台无人机按照矩形几何编队布置于起飞场地，确保各无人机之间的初始实际距离应大于相互之间的安全半径之和，确保无人车置于无人机集群后方L米处，并保证至少一台无人机的双目摄像机能够观测到无人车周边场景信息；应保证无人车车载双目摄像机能够观测到4台无人机及4台无人机的周边场景信息；步骤2：无人机起飞前自动基准构建；无人车行进前自动基准构建；步骤3：4台无人机按照矩形几何编队起飞，无人车按照指定位置启动；步骤4：通过无人车双目摄像机观测环境信息并采用基于视觉的地对空感知与控制系统感知无人机状态与场景环境信息；步骤5：无人车按照任务指定航线方向行进；步骤6：将4台无人机观测的环境信息传输至中央处理器中，随后采用基于视觉的空对地感知和导航系统感知无人车周边场景环境信息并得到执行任务的最优航线。2.根据权利要求1所述的基于视觉的无人系统空地协同导航与避障方法，其特征在于，步骤1中，所述的L米是指无人车视觉感知的最大范围的1/3处。3.根据权利要求1所述的基于视觉的无人系统空地协同导航与避障方法，其特征在于，步骤4具体包括以下步骤：步骤4.1：利用车载双目摄像机采集目标区域的环境信息并将采集的环境信息以图像帧的方式传输至图像处理系统进行图像处理，对传入图像处理系统的视频信息预处理得到指定尺寸的预处理图像；步骤4.2：将预处理后的图像传入快速目标检测系统，基于深度学习的快速目标检测YOLOv5算法能够依据先验知识迅速识别并定位当前场景中4台无人机及动静态障碍物；步骤4.3：...

【专利技术属性】
技术研发人员：王震，孙武，高超，于登秀，李学龙，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：