【技术实现步骤摘要】
本申请涉及多智能体系统，特别涉及一种基于视觉指令的多无人机机间信息传递方法。
技术介绍
1、随着无人机自主化和组网化通信技术的发展，无人机的作战用模式也在不断发展，单架无人机由于受到探测能力、载荷视场角等因素限制，难以完成复杂的作战任务。无人机集群相对于单个无人机系统，可利用其规模优势，完成复杂任务，且更加具有强生存能力。然而当前针对无人机集群作战的相关研究大都依赖无线通信来实现无人机间的自主协同，未来随着电磁干扰技术的愈加成熟，基于无线通信的无人机集群的作战能力将大大降低。基于视觉指令的无人机集群由于其不依赖机间通信、“被动感知”的特质，有望在拒止环境或通信静默条件下中实现高度智能化集群。
2、当前，国内外已有一些团队针对基于纯视觉实现无人机集群编队协同开展了相关研究。张永伟团队提出了一种基于视觉的无人机降落和无人机之间避碰的方法，它将减少预期图像和实际图像的差异作为控制目标，并采用外部多相机定位系统测量控制输入；soria等分析了视觉传感器视场大小和安装位置对集群安全性、有序性、聚集性等指标的影响，有助于真实无人机集群系统确定视觉传感器的选型和安装方向；yang等将智能体的视觉细分为视觉感知线来感知障碍信息，并设置视场矩阵来存储障碍物信息，最终让智能体朝着障碍物空白区域的中心移动。
3、这些研究仅仅聚焦于无人机降落、避撞、视觉传感器选型安装等某一技术点，未形成完整的基于视觉实现集群编队的方法和策略。申晓东团队研究了在仅有视觉感知的情况下如何实现无人机编队队形变换的问题，建立了队形切换过程中防止视觉遮挡
4、综上所述，当前国内外基于纯视觉实现无人机集群编队协同的相关研究较少，且仍未形成高效、完整、可适应真实作战场景的基于视觉实现集群编队的方法和策略。
技术实现思路
1、本申请提供了一种基于视觉指令的多无人机机间信息传递方法，可用于解决基于纯视觉实现无人机集群编队协同的相关研究较少的技术问题。
2、本申请提供一种基于视觉指令的多无人机机间信息传递方法，方法包括：
3、步骤1，确定基于灯光信号的视觉指令库；视觉指令库用于无人机之间传递信息；无人机分为领导者leader，以及跟随者follower；
4、步骤2，leader无人机持续传播灯光指令；leader无人机基于视觉指令库依次切换至对应的灯光状态，持续传播灯光指令，使得follower无人机可识别leader无人机发出的灯光指令信息；
5、步骤3，follower无人机使用复杂背景下基于外观和运动信息的无人机检测识别实现对leader无人机的检测；通过全局-局部相结合的无人机检测器，进行无人机识别leader无人机；
6、步骤4：follower无人机使用基于视觉的灯光指令识别算法实现对leader无人机传播灯光指令的识别。
7、步骤5，follower无人机基于检测识别到的leader无人机及其传播的灯光指令信号，进行指令库匹配，并根据匹配结果即时响应编队策略，基于虚拟结构法调整自身与leader间相对位置，实现自主编队执行。
8、进一步地，视觉指令库的呈现形式由灯光完成，灯光的展现形式包括两方面内容：灯光的颜色和灯光的闪烁模式，灯光的颜色包括多种颜色，灯光的闪烁模式包括连续两次闪烁模式、单次闪烁模式、间隔一个时间单位闪烁模式和间隔两个时间单位闪烁模式。
9、进一步地，无人机之间的传播机制为leader无人机通过连续两次闪烁来标识自己用于向下传播指令信息，而follower无人机通过单次闪烁来响应表示已收到信息；
10、灯光闪烁模式和颜色分为四类，分别为：
11、启动和任务结束类，包括启航即启动无人机，准备进入任务状态；返航即无人机返回起始点或预定的返航点；
12、集结类，包括聚集即无人机向指定的集结点飞行，形成一个集群；
13、分布与执行类，包括散开即集群分散，按照任务需求分布；跟随即跟随目标进行任务执行；
14、位置调整以及保持类，调整包括升高、下降、左平移、左平移以及相应调整的单位距离以及单位距离个数；保持位置即无人机在当前空中位置保持静止。
15、进一步地，步骤3，follower无人机使用复杂背景下基于外观和运动信息的无人机检测识别实现对leader无人机的检测；包括：
16、步骤31，确定全局检测器，全局检测器用于在全尺寸图像中搜索无人机目标；全局检测器包括基于外观的检测模块和基于运动的检测模块；基于运动特征的无人机检测包括运动补偿、运动目标检测、无人机分类三个部分；
17、步骤32，确定局部检测器；
18、在全局检测器检测到无人机目标后，激活局部检测器，在从目标周围邻近区域裁剪的局部搜索区域内进行后续检测；局部检测器包括一个局部基于外观的模块和一个局部基于运动的模块；
19、步骤33，通过切换器来协调全局和局部检测器；
20、当局部检测器总中目标检测失败一定时间，即目标确定丢失后，通过切换器来重新调用全局检测器。
21、进一步地，步骤31，确定全局检测器，包括：
22、步骤311，运动补偿：采用单应性矩阵来描述连续帧图片间的运动关系，并利用透视变换对连续帧图片进行对齐；
23、首先，在前一帧图片中选择均匀分布的网格点作为初始关键点，然后利用金字塔lucas-kanade光流法计算当前帧中对应的关键点，得到匹配后的特征点对；
24、然后，基于匹配后的特征点对计算单应矩阵，采用了迭代ransac剔除异常点带来的干扰；
25、基于单应矩阵，通过透视变换对齐相邻帧图片；
26、步骤312，运动目标检测：采用多帧差分法获取候选运动目标；
27、采用三帧差分法来提高运动目标检测效果，对于连续3帧图片f_(t-1)(x,y)、f_t(x,y)、f_(t+1)(x,y)，首先使用中值滤波来消除椒盐噪声，然后对中间帧和其它2帧分别进行差分操作：
28、fd_12(x,y)＝|f_t(x,y)-f_(t-1)(x,y)|
29、fd_23(x,y)＝|f_t(x,y)-f_(t+1)(x,y)|
30、其中，fd_12(x,y)为t与t-1时刻绝对差分值；fd_23(x,y)为t与t+1时刻绝对差分值；
31、接着，使用动态阈值对差分图进行阈值分割和二值化，并对差分图进行逻辑与本文档来自技高网...
【技术保护点】
1.一种基于视觉指令的多无人机机间信息传递方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，视觉指令库的呈现形式由灯光完成，灯光的展现形式包括两方面内容：灯光的颜色和灯光的闪烁模式，灯光的颜色包括多种颜色，灯光的闪烁模式包括连续两次闪烁模式、单次闪烁模式、间隔一个时间单位闪烁模式和间隔两个时间单位闪烁模式。
3.根据权利要求2所述的方法，其特征在于，无人机之间的传播机制为Leader无人机通过连续两次闪烁来标识自己用于向下传播指令信息，而Follower无人机通过单次闪烁来响应表示已收到信息；
4.根据权利要求1所述的方法，其特征在于，步骤3，Follower无人机使用复杂背景下基于外观和运动信息的无人机检测识别实现对Leader无人机的检测；包括：
5.根据权利要求4所述的方法，其特征在于，步骤31，确定全局检测器，包括：
6.根据权利要求1所述的方法，其特征在于，步骤4：Follower无人机使用基于视觉的灯光指令识别算法实现对Leader无人机传播灯光指令的识别，包括：
7.根
8.根据权利要求6所述的方法，其特征在于，步骤42，基于时空联合的动态灯光指令识别，包括：
...【技术特征摘要】
1.一种基于视觉指令的多无人机机间信息传递方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，视觉指令库的呈现形式由灯光完成，灯光的展现形式包括两方面内容：灯光的颜色和灯光的闪烁模式，灯光的颜色包括多种颜色，灯光的闪烁模式包括连续两次闪烁模式、单次闪烁模式、间隔一个时间单位闪烁模式和间隔两个时间单位闪烁模式。
3.根据权利要求2所述的方法，其特征在于，无人机之间的传播机制为leader无人机通过连续两次闪烁来标识自己用于向下传播指令信息，而follower无人机通过单次闪烁来响应表示已收到信息；
4.根据权利要求1所述的方法，其特征...
【专利技术属性】
技术研发人员：田聪玲，李刘杰，张亚伦，游峰，李俊达，田一申，刘琰，杨承川，徐旋孜，董珂，
申请(专利权)人：杭州智元研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。