基于双目视觉的无人机编队飞行方法和系统技术方案

本发明专利技术公开了基于双目视觉的无人机编队飞行方法和系统，涉及计算机视觉和飞行控制领域，通过图像处理得到无人机导航定位姿态参数，能够准确的进行无人机编队的定位和导航，本发明专利技术的飞行系统包括地面站、长机和僚机；飞行方法包括：长机带领僚机起飞并拍摄僚机的照片；机载计算机对照片提取出红外LED灯轮廓；将红外LED灯轮廓的中心坐标标记为僚机在照片中的二维坐标；双目摄像头解算对应的僚机的纵深距离，结合所述图像平面的二维坐标，得到无人机在相机坐标系下的三维坐标；机载计算机根据航路规划计算出理想坐标，将实际坐标和理想坐标发送给僚机的飞控，飞控修正僚机的位置。

【技术实现步骤摘要】
基于双目视觉的无人机编队飞行方法和系统
本专利技术属于计算机视觉和飞行控制领域,尤其涉及基于双目视觉的无人机编队飞行方法和系统。
技术介绍
多旋翼无人机的优点显著，与固定翼无人机相比，它能够垂直起降、定点悬停并且能够倒飞，具有很强的机动性。与单旋翼直升机相比，多旋翼无人机的结构简单、维护方便、装卸容易、操作简易，这些特性使其被广泛地应用于多种领域。除此之外，相关领域比如人工智能、传感器、控制算法、微电子、无线通信网络的不断发展使多旋翼无人机变得更加智能，能够完成更复杂的任务。但是，多旋翼无人机目前仍有未克服的缺点，比如续航时间短、单架载重量小、搭载设备有限。比如在农药喷洒任务中，单无人机载重、续航时间有限，完成大面积农药喷洒需要耗费更多的人力和时间；还有在执行航拍测绘任务中，单个无人机由于视野有限，需要多次起落才能完成任务，这样会花费更多的时间和操作人员。如果能够给多架无人机规划工作区域，使他们同时工作，会节省更多的时间。许多研究人员受到了动物编队，特别是鸟类迁徙、蜜蜂采蜜分工的启发，认为多个多旋翼无人机也可以组成编队，同时机间能共享信息，协同控制各架无人机来完成任务。多机编队有诸多优点，比如多无人机对同一目标进行侦查时，可具有宽广的搜索和观察范围，可在统一时间获取信息，从而达到时间和空间的统一，在军事方面，多无人机同时执行任务，可从多方位打击，提高单次任务成功率。目前，用于UAV编队飞行方面的传感器通常是GPS/INS，但GPS存在着信号丢失这一无可避免的缺陷，在战争期间极易被破坏，而且在未知环境下的编队飞行中，使用GPS仍存在风险。并且，部分僚机执行任务后不再返回，装有昂贵的惯导设备会造成极大的资源浪费。综上，目前无人机的编队飞行的导航方式无法满足作战条件下高精度高准确度的导航要求。
技术实现思路
本专利技术提供了基于双目视觉的无人机编队飞行方法和系统，通过图像处理得到无人机导航定位姿态参数，能够准确的进行无人机编队的定位和导航。基于双目视觉的无人机编队飞行方法，包括：S1、长机带领僚机起飞，以特定的形状编队从地面起飞，在长机的带领下飞行至作业地点，长机上的双目摄像头拍摄僚机的照片；S2、长机上的机载计算机采集照片，机载计算机对照片进行颜色通道分离和阈值化处理，得到二值图像；S3、机载计算机对二值图像进行轮廓提取，提取出二值图像上红外LED灯轮廓；S4、机载计算机计算红外LED灯轮廓的中心坐标，并标记为对应的无人机在照片中的坐标，此轮廓中心即是无人机在图像坐标系中的坐标；S5、双目摄像头根据左右摄像头的视差，根据相似三角形计算出对应的僚机的纵深距离，将纵深距离标记为相机坐标系下的Z轴坐标,结合无人机在图像坐标系中的平面坐标，根据几何解算，得到僚机的在相机坐标系下的X轴,Y轴坐标,从而得到三维坐标；S6、机载计算机根据航迹规划计算出长机的航点坐标，长机将实际坐标和航点坐标发送给僚机的飞控，数据更新频率大于10HZ，飞控根据PID控制器修正僚机的位置，减轻长机机载计算机的运算量。本专利技术还提供了基于双目视觉的无人机编队飞行系统，包括：地面站、长机和僚机，长机上安装机载计算机、双目摄像头、云台，僚机上安装红外LED和飞控，长机通过无线通信方式和地面站、僚机通信。进一步的，僚机处于同一水平面，在长机垂直方向下方的20m，使得长机的摄像头保证一定的空域在视野范围内，为僚机的偏离在视野内留有可控范围内的空间余量。进一步的，长机采用惯性导航和地磁导航相融合的导航系统，惯性导航系统具有全天候自主实时提供载体姿态、速度、位置等多种导航参数的优点，但存在误差随时间积累的缺点，因此融合地磁导航系统，采用惯性导航和地磁导航相融合的导航系统。进一步的，长机上安装云台，云台具有减震作用，可提高精度，云台上安装双目摄像头，云台设定为锁定模式，使得摄像头的方向始终朝下，双目摄像头的镜头上覆盖850nm的红外滤光片，红外滤光片只透过僚机上安装的红外灯波段，过滤掉复杂背景，过滤后的采集到的图像提高了图像运算的速度。进一步的，僚机上安装红外LED灯，波长为850nm，红外灯具有比可见光更长的电磁波长，对云、雾具有较强的穿透力，适合在不同的天气状况下飞行。进一步的，机载计算机将采集的图片大小设置为1280*960。本专利技术的有益效果是：长机通过图像采集的方式定位僚机位置，向僚机发送目标位置，僚机的飞控接收后进行修正，测量精度高，控制准确。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本专利技术采用的立体相机；图2为本专利技术僚机群的示意图；图3为本专利技术采用红外光效果图；图4为本专利技术采用的滤光片特性图；图5为本专利技术双目测距原理图；图6为本专利技术图像处理流程图。具体实施方式为使本领域技术人员更好地理解本专利技术的技术方案，下面结合具体实施方式对本专利技术作进一步详细描述。本专利技术实施例提供了基于双目视觉的无人机编队飞行方法，包括：S1、长机带领僚机起飞，以特定的形状编队从地面起飞，如图2所示，在长机的带领下飞行至作业地点，所述长机上的双目摄像头拍摄所述僚机的照片；S2、所述长机上的机载计算机采集所述照片，所述机载计算机对所述照片进行颜色通道分离和阈值化处理，得到二值图像；S3、所述机载计算机对所述二值图像进行轮廓提取，提取出所述二值图像上红外LED灯轮廓；S4、所述机载计算机计算所述红外LED灯轮廓的中心坐标，并标记为对应的无人机在所述照片中的坐标，此轮廓中心即是僚机在图像坐标系中的二维坐标；S5、所述双目摄像头根据左右摄像头的视差，根据相似三角形计算出所述对应的僚机的纵深距离，将所述纵深距离标记为相机坐标系下的Z轴坐标,结合所述僚机在图像坐标系中的平面坐标，根据几何解算，得到所述僚机的在相机坐标系下的三维坐标（X,Y,Z）；S6、所述机载计算机根据所述航迹规划计算出理想坐标（X0,Y0,Z0），所述长机将所述实际坐标和所述理想坐标发送给所述僚机的飞控，数据更新频率大于10HZ，所述飞控根据PID控制器修正所述僚机的位置，减轻长机机载计算机的运算量。本专利技术还提供了基于双目视觉的无人机编队飞行系统，包括：地面站、长机和僚机。长机上安装机载计算机、双目摄像头、云台。长机上安装所述云台，云台上安装双目摄像头，双目摄像头的镜头上覆盖850nm的红外滤光片。红外滤光片即一种允许红外光波段透过而截止其他波段的光学滤光片，常应用于过滤可见光波段，本实施例采用深圳众来科技有限公司的ZL系列厚度为2mm的红外滤光片，其特性如图4所示，由图4可知，该红外滤光片对可见光截止，对800nm-1100nm波长的光线高透。选择功率为5w,波长850nm的红外LED，实验结果如图3，由图3可知，红外滤光片能极大程度削减可见光的干扰，增强无人机特性，降低识别难度。同时为后续图像的处理提供了方便。采用双目摄像头测量位置的关键在于标定摄像机和立体匹配两个方向。双目摄像头利用左右摄像头获取被测物体的同一时刻的左右图像；利用得到的图像，基于已经建立的立体视觉模型通过计算左右图像对应点间的位移偏差；再结合摄本文档来自技高网...

【技术保护点】
基于双目视觉的无人机编队飞行方法，其特征在于，包括：S1、长机带领僚机起飞，所述长机上的双目摄像头拍摄所述僚机的照片；S2、所述长机上的机载计算机采集所述照片，所述机载计算机对所述照片进行颜色通道分离和阈值化处理，得到二值图像；S3、所述机载计算机对所述二值图像进行轮廓提取，提取出所述二值图像上红外LED灯轮廓；S4、所述机载计算机计算所述红外LED灯轮廓的中心坐标，并标记为所述僚机在所述照片中的坐标；S5、所述双目摄像头根据左右摄像头的视差，依据相似三角形计算出所述僚机的纵深距离，将所述纵深距离标记为相机坐标系下的Z轴坐标,结合所述僚机在图像坐标系中的平面坐标，根据几何解算，得到所述僚机在相机坐标系下的X轴,Y轴坐标；S6、所述机载计算机根据航迹规划计算出所述长机的航点坐标，所述长机将所述实际坐标和所述航点坐标发送给所述僚机的飞控，所述飞控通过PID控制器修正所述僚机的位置。

【技术特征摘要】
1.基于双目视觉的无人机编队飞行方法，其特征在于，包括：S1、长机带领僚机起飞，所述长机上的双目摄像头拍摄所述僚机的照片；S2、所述长机上的机载计算机采集所述照片，所述机载计算机对所述照片进行颜色通道分离和阈值化处理，得到二值图像；S3、所述机载计算机对所述二值图像进行轮廓提取，提取出所述二值图像上红外LED灯轮廓；S4、所述机载计算机计算所述红外LED灯轮廓的中心坐标，并标记为所述僚机在所述照片中的坐标；S5、所述双目摄像头根据左右摄像头的视差，依据相似三角形计算出所述僚机的纵深距离，将所述纵深距离标记为相机坐标系下的Z轴坐标,结合所述僚机在图像坐标系中的平面坐标，根据几何解算，得到所述僚机在相机坐标系下的X轴,Y轴坐标；S6、所述机载计算机根据航迹规划计算出所述长机的航点坐标，所述长机将所述实际坐标和所述航点坐标发送给所述僚机的飞控，所述飞控通过PID控制器修正所述僚机的位置。2.基于双目视觉的无人机编队飞行系统...

【专利技术属性】
技术研发人员：杨喻茸，孙朋，张子豪，王新华，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏,32