一种借助双鱼眼的无人机视觉自体感知集群系统及其控制方法技术方案

本发明专利技术公开了一种借助双鱼眼的无人机视觉自体感知集群系统及其控制方法，它由多架无人机和地面站部分组成；其中，无人机包括无人机平台以及安装在无人机平台上的双鱼眼视觉模块、无人机通信模块和机载计算机，无人机平台、双鱼眼视觉模块和无人机通信模块均与机载计算机相连；地面站部分包括相连的地面站通信模块和地面站计算机；所有无人机上的无人机通信模块均与地面站通信模块通过无线相通讯。本发明专利技术中的无人机通过处理鱼眼摄像头图像，采用视觉方法自主感知其余无人机位置并自主规划行为，免去分散式集群系统中无人机之间需要相互发送位置信息的通信步骤，解除通信量对于集群规模的限制，为构建超大规模分散式集群系统提供一种可行的系统构架。

【技术实现步骤摘要】
一种借助双鱼眼的无人机视觉自体感知集群系统及其控制方法
本专利技术涉及无人机应用领域，尤其涉及一种借助双鱼眼的无人机视觉自体感知集群系统及其控制方法。
技术介绍
随着近些年无人机技术飞速发展，无人机在实际应用中承担的任务越来越复杂多样，无人机的性能要求也越来越高。然而，由于单体无人机载重量有限，单体无人机所能承载的设备有限，限制了单体无人机的性能，单体无人机技术陷入瓶颈。相比于发展高性能单体无人机，使用大量简易无人机来完成任务是一种可行选择。多无人机集群的优势有：可靠性高，单架无人机故障时可由其他无人机或备用机弥补；应用广，多架无人机能完成单架无人机不能完成的任务，如对目标进行三维测量；效率高，多架无人机搭载不同设备，将复杂任务拆分成若干简单任务，由无人机集群协作完成任务。无人机集群的控制方式基本分为集中式控制和分散式控制两种。集中式控制指在空中或地面设立控制中心对无人机集群进行控制。集中式控制实现简单，但是随着集群规模扩大，控制中心处理的数据将急剧增加。分散式控制指每架无人机配有相对独立的控制器，能根据其余无人机状态自主规划完成所承担的任务。分散式控制实现较难，受通信环境影响大，但是集群可扩展性高，是无人机集群的研究热点。分散式无人机集群系统仍然存在一些限制。一方面，为了保证无人机之间不发生碰撞，每架无人机需要实时获取集群中其余无人机的位置，现有的集群系统中，无人机通过数字通信技术，向外界广播自身位置，并接收其余无人机的位置信息。随着无人机规模的增加，通信压力将急剧增加，通信质量将急剧下降，限制了实际中可达到的集群规模。另一方面，室外无人机集群一般采用GPS定位，GPS信号受到干扰或信号丢失时，无人机将难以保证和周围无人机之间的安全距离，有发生碰撞的危险。
技术实现思路
本专利技术的目的在于针对现有无人机集群的不足，提出一种借助双鱼眼的无人机视觉自体感知集群系统，该系统中的无人机采用双目鱼眼方法替代GPS与通信的方法获取无人机位置，解决传统无人机集群对通信与定位要求极高的问题。本专利技术的目的是通过以下技术方案来实现的：一种借助双鱼眼的无人机视觉自体感知集群系统，它由多架无人机和地面站部分组成；其中，所述无人机包括无人机平台以及安装在无人机平台上的双鱼眼视觉模块、无人机通信模块和机载计算机，所述无人机平台、双鱼眼视觉模块和无人机通信模块均与机载计算机相连；所述地面站部分包括相连的地面站通信模块和地面站计算机；所有无人机上的无人机通信模块均与地面站通信模块通过无线相通讯。进一步的，所述双鱼眼视觉模块包括第一鱼眼摄像头和第二鱼眼摄像头，分别位于所述无人机平台两侧并与所述无人机平台固连，所述第一鱼眼摄像头和第二鱼眼摄像头的朝向与所述无人机平台机头方向一致。本专利技术还提供一种借助双鱼眼的无人机视觉自体感知集群系统的控制方法，该方法包括如下步骤：(1)操作员在地面站计算机中输入各架无人机的控制指令，地面站计算机将控制指令发送给地面站通信模块；(2)地面站通信模块将对应的控制指令发送给对应的无人机通信模块；(3)无人机通信模块将控制指令发送给机载计算机；(4)双鱼眼视觉模块将图像信息发送给机载计算机；(5)机载计算机接收控制指令，并根据控制指令中的手自动模式指令进行下一步操作，若为手动模式，则执行步骤(6.1)；若为自动模式，则执行步骤(6.2)；(6.1)手动模式：机载计算机将接收到的手动控制指令转换成机载控制指令发送给无人机平台；(6.2)自动模式：机载计算机接收双鱼眼视觉模块发送的图像信息，检测其余无人机在图像中的位置，计算出其余无人机相对本无人机的位置，生成自动控制指令并转换成机载控制指令发送给无人机平台；(7)无人机平台根据转换成机载控制指令进行运动；(8)无人机平台向机载计算机发送无人机状态信息；(9)机载计算机将无人机状态信息发送给无人机通信模块；(10)无人机通信模块将无人机状态信息发送给地面站通信模块；(11)地面站通信模块将无人机状态信息发送给地面站计算机；(12)地面站计算机解析各架无人机发送的无人机状态信息并显示于屏幕上。进一步的，所述双鱼眼视觉模块包括第一鱼眼摄像头和第二鱼眼摄像头，分别位于所述无人机平台两侧并与所述无人机平台固连，所述第一鱼眼摄像头和第二鱼眼摄像头的朝向与所述无人机平台机头方向一致。进一步的，在步骤(6.1)和步骤(6.2)中机载计算机将机载控制指令发送给无人机平台，所述机载控制指令包括设定速度、位置和航向控制指令，速度、位置和航向均建立在地球绝对坐标系下。进一步的，在步骤(6.1)中，所述手动控制指令包括设定速度、位置、航向控制指令。进一步的，在步骤(6.2)中，计算出其余无人机相对本无人机的位置的具体方法如下：(6.2.1)第一鱼眼摄像头和第二鱼眼摄像头分别采集原始图像信息，在两张鱼眼图像中检测出视野范围中其余无人机在图像中的位置和长宽，生成无人机检测信息；(6.2.2)机载计算机接收所述原始图像信息和所述无人机检测信息，对所述两张鱼眼图像中的无人机位置和长宽进行配对，生成无人机配对信息；(6.2.3)本无人机根据所述无人机配对信息计算出另一无人机与本无人机第一鱼眼摄像头所成夹角，且计算出另一无人机与本无人机第二鱼眼摄像头的角度，由于第一鱼眼摄像头和第二鱼眼摄像头间的距离已知，可采用三角函数方法计算出另一无人机的位置；(6.2.4)通过步骤(6.2.1)-步骤(6.2.3)计算出各无人机的位置。进一步的，在步骤(8)中，所述无人机状态信息包括无人机平台当前速度、位置和航向信息，速度、位置和航向均建立在地球绝对坐标系下。本专利技术的有益效果是：本专利技术为无人机增加采用视觉方法自主感知其余无人机位置的能力，免去分散式集群系统中无人机之间需要相互发送位置信息的通信步骤，解除通信量对于集群规模的限制，同时降低无人机集群对GPS定位系统的依赖，提升无人机集群的安全保障。附图说明图1是本专利技术的系统框架；图2是本专利技术的双目鱼眼视觉方法原理示意图；图3是本专利技术的实施例的无人机正视图；图4是本专利技术的实施例的结构示意图；附图标记说明：无人机平台1，双鱼眼视觉模块2，无人机通信模块3，机载计算机4，地面站通信模块5，地面站计算机6，第一鱼眼摄像头7，第二鱼眼摄像头8，第一无人机9，第二无人机10，第三无人机11，第四无人机12。具体实施方式下面结合附图对本专利技术做进一步说明：如图1、图3和图4所示，一种借助双鱼眼的无人机视觉自体感知集群系统，它由多架无人机和地面站部分组成；其中，无人机包括无人机平台1以及安装在无人机平台1上的双鱼眼视觉模块2、无人机通信模块3和机载计算机4，无人机平台1、双鱼眼视觉模块2和无人机通信模块3均与机载计算机4相连；地面站部分包括相连的地面站通信模块5和地面站计算机6；所有无人机上的无人机通信模块3均与地面站通信模块5通过无线相通讯。其中，如图3和图4所示，双鱼眼视觉模块2包括第一鱼眼摄像头7和第二鱼眼摄像头8，分别位于无人机平台1两侧并与无人机平台1固连，第一鱼眼摄像头7和第二鱼眼摄像头8的朝向与无人机平台1机头方向一致，第一鱼眼摄像头7和第二鱼眼摄像头8分别采集图像信息并发送给机载计算机4。本专利技术中无人机平台1选用DJI公司的M100型号无人机平台1，但不限于此；本本文档来自技高网...

【技术保护点】
一种借助双鱼眼的无人机视觉自体感知集群系统，其特征在于，它由多架无人机和地面站部分组成；其中，所述无人机包括无人机平台以及安装在无人机平台上的双鱼眼视觉模块、无人机通信模块和机载计算机，所述无人机平台、双鱼眼视觉模块和无人机通信模块均与机载计算机相连；所述地面站部分包括相连的地面站通信模块和地面站计算机；所有无人机上的无人机通信模块均与地面站通信模块通过无线相通讯。

【技术特征摘要】
1.一种借助双鱼眼的无人机视觉自体感知集群系统，其特征在于，它由多架无人机和地面站部分组成；其中，所述无人机包括无人机平台以及安装在无人机平台上的双鱼眼视觉模块、无人机通信模块和机载计算机，所述无人机平台、双鱼眼视觉模块和无人机通信模块均与机载计算机相连；所述地面站部分包括相连的地面站通信模块和地面站计算机；所有无人机上的无人机通信模块均与地面站通信模块通过无线相通讯。2.根据权利要求1所述的一种借助双鱼眼的无人机视觉自体感知集群系统，其特征在于，所述双鱼眼视觉模块包括第一鱼眼摄像头和第二鱼眼摄像头，分别位于所述无人机平台两侧并与所述无人机平台固连，所述第一鱼眼摄像头和第二鱼眼摄像头的朝向与所述无人机平台机头方向一致。3.根据权利要求1所述的一种借助双鱼眼的无人机视觉自体感知集群系统的控制方法，其特征在于，该方法包括如下步骤：(1)操作员在地面站计算机中输入各架无人机的控制指令，地面站计算机将控制指令发送给地面站通信模块。(2)地面站通信模块将对应的控制指令发送给对应的无人机通信模块；(3)无人机通信模块将控制指令发送给机载计算机；(4)双鱼眼视觉模块将图像信息发送给机载计算机；(5)机载计算机接收控制指令，并根据控制指令中的手自动模式指令进行下一步操作，若为手动模式，则执行步骤(6.1)；若为自动模式，则执行步骤(6.2)；(6.1)手动模式：机载计算机将接收到的手动控制指令转换成机载控制指令发送给无人机平台；(6.2)自动模式：机载计算机接收双鱼眼视觉模块发送的图像信息，检测其余无人机在图像中的位置，计算出其余无人机相对本无人机的位置，生成自动控制指令并转换成机载控制指令发送给无人机平台；(7)无人机平台根据转换成机载控制指令进行运动；(8)无人机平台向机载计算机发送无人机状态信息；(9)机载计算机将无人机状态信息发送给无人机通信模块；(10)无人机通信模块将无人机状态信息发送给地面站通信模块；(11)地面站通信模块将无人机状态信息发送给地面站计算机；(12)地面站...

【专利技术属性】
技术研发人员：许超，朱均，朱疆成，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33