基于仿生双目联动的地面运动目标自主跟踪系统技术方案

一种基于仿生双目联动的地面运动目标自主跟踪系统，包括两架无人机；两架无人机分别对同一地面运动目标进行跟踪，通过各自机载吊舱获取地面运动目标的图像，并检测目标在图像中的位置信息；两架无人机共享各自无人机的当前状态信息以及各自当前所检测到的地面运动目标在图像中的位置信息并将上述信息分别输入到两架无人机的仿生联动控制模块，由各无人机的仿生联动控制模块进行数据处理后输出相应的机载吊舱的俯仰和滚转角速度的控制量给各无人机的吊舱控制模块，吊舱控制模块控制机载吊舱实现对地面运动目标的联动跟踪。本发明专利技术利用两架无人机在空间上的视角互补和吊舱协同控制，降低目标遮挡对跟踪的影响，提高目标跟踪的稳定性。

【技术实现步骤摘要】
基于仿生双目联动的地面运动目标自主跟踪系统
本专利技术主要涉及一种地面运动目标自主跟踪系统，特指一种基于仿生双目联动的地面运动目标自主跟踪系统。
技术介绍
无人机在自主跟踪地面目标的过程中，通过机载吊舱获取目标区域的图像，进行目标检测，并控制无人机的运动和吊舱的转动，保持目标位于图像的中央。基于无人机的目标跟踪可广泛用于军事侦察、反恐维稳、赛事直播、电力巡线、灾情救援等领域，得到了国内外的极大关注。在目标跟踪的过程中，如何保持吊舱对目标的持续跟踪是其中的关键。由于建筑物、树木等障碍的遮挡，目标检测会出现偶发性失效，使得现有针对理想目标检测条件下的目标跟踪系统很难适用。因此，亟需一种适应性更强的地面目标跟踪系统。
技术实现思路
本专利技术的目的是提供一种基于仿生双目联动的地面运动目标自主跟踪系统，利用两架无人机在空间上的视角互补和吊舱协同控制，降低目标遮挡对跟踪的影响，提高目标跟踪的稳定性。为了解决上述技术问题，本专利技术采用的技术方案是：基于仿生双目联动的地面运动目标自主跟踪系统，包括1#无人机和2#无人机；1#无人机和2#无人机分别对同一地面运动目标进行跟踪，两架无人机通过各自机载吊舱中的机载相机获取地面运动目标的图像，并检测地面运动目标在图像中的位置信息；1#无人机和2#无人机通过各自的通讯模块彼此进行通讯共享各自无人机的当前状态信息以及各自当前所检测到的地面运动目标在图像中的位置信息；两架无人机的当前状态信息以及两架无人机各自当前所检测到的地面运动目标在图像中的位置信息分别输入到两架无人机的仿生联动控制模块，由各无人机的仿生联动控制模块进行数据处理后输出相应的机载吊舱的俯仰和滚转角速度的控制量给各无人机的吊舱控制模块，吊舱控制模块控制机载吊舱实现对地面运动目标的联动跟踪。其中1#无人机和2#无人机的无人机飞控系统均包括通信模块、吊舱控制模块以及仿生联动控制模块；无人机的状态信息包括无人机的GPS位置信息、无人机的姿态角信息(包括无人机偏航、俯仰、滚转)以及机载吊舱的旋转角度信息(包括机载吊舱的偏航、俯仰)。地面站，地面站负责对整个系统状态进行监控，确定当前跟踪的地面运动目标，控制两架无人机启动/结束对地面运动目标的跟踪，实现人机交互；地面站接收的信息包括两架无人机的状态信息、两架无人机上机载相机获取的地面运动目标的原始图像以及检测到的地面运动目标在图像中的位置信息、两架无人机对地面运动目标的跟踪状态。地面站负责启动/结束无人机跟踪，负责确定当前跟踪的地面运动目标，也负责切换对当前跟踪的地面运动目标，实现上述功能直接由地面站给无人机发送指令即可。仿生联动控制模块基于Zee等人提出的saccade-relatedvergenceburstneurons(SVBNs)模型进行设计。仿生联动控制模块将两架无人机的机载吊舱的协同运动表示为共轭和辐辏两种运动模式，根据地面运动目标的方位自动调整共轭角和辐辏角，实现两架无人机的联动跟踪。在仿生联动控制模块中，两架无人机其机载吊舱的俯仰和滚转角速度的控制量的生成方法是：根据两架无人机的当前状态信息以及当前检测到的地面运动目标在图像中的位置信息，获取当前的共轭角和辐辏角以及期望的共轭角和辐辏角；根据当前的共轭角和辐辏角以及期望的共轭角和辐辏角，获取两架无人机其机载吊舱的俯仰和滚转角速度的控制量。基于上述基于仿生双目联动的地面运动目标自主跟踪系统，本专利技术提供一种基于仿生双目联动的地面运动目标自主跟踪方法，包括以下步骤：(1)1#无人机和2#无人机各自机载吊舱中的机载相机的视线聚焦在同一地面运动目标上，完成视线交汇；1#无人机和2#无人机对同一地面运动目标进行跟踪，两架无人机通过各自机载吊舱中的机载相机获取地面运动目标的图像，并检测地面运动目标在图像中的位置信息；(2)根据两架无人机的当前状态信息以及当前检测到的地面运动目标在图像中的位置信息，获取当前的共轭角和辐辏角以及期望的共轭角和辐辏角；(3)根据当前的共轭角和辐辏角以及期望的共轭角和辐辏角，获取两架无人机其机载吊舱的俯仰和滚转角速度的控制量，并将得到的1#无人机和2#无人机其机载吊舱的控制量分别输出给1#无人机和2#无人机的吊舱控制模块，吊舱控制模块控制机载吊舱实现对地面运动目标的联动跟踪。本专利技术中，步骤(2)的实现方法如下：(2.1)根据式(1)计算出两架无人机在当地导航坐标系下的视线向量L1和L2：其中，和分别为两架无人机从吊舱坐标系到当地导航坐标系的旋转矩阵；当地导航坐标系原点在无人机的起飞点，其三个轴的方向分别与地球的北向、东向和指向地心方向相同；吊舱坐标系的原点为机载吊舱的旋转中心，其X轴为吊舱俯仰运动的旋转轴，Y轴为相机光轴方向，Z轴通过右手法则得到；(2.2)根据式(2)计算出地面运动目标相对于两架无人机的位置向量和其中，和分别为两架无人机从相机坐标系到当地导航坐标系的旋转矩阵，(u1,v1)和(u2,v2)分别为地面运动目标在两个图像坐标系中的坐标；如果某个吊舱无法检测到地面运动目标，则令或者相机坐标系以相机中心为原点，X轴与吊舱坐标系的X轴重合，Z轴与吊舱坐标系的Y轴重合，Y轴通过右手法则得到；图像坐标系是一个二维坐标系，原点定义在图片的左上角，X轴水平向右，Y轴竖直向下；(2.3)根据式(3)计算由两架无人机和地面运动目标构成的观测平面的法向量n，构建双目固连坐标系：其中，p1和p2分别为两架无人机在世界坐标系中的三维坐标，λ1和λ2分别表示两架无人机的吊舱是否能够检测到地面运动目标，等于1则表示能够检测到地面运动目标，等于0则表示不能够检测到地面运动目标，nlast表示上一时刻观测平面的法向量；双目固连坐标系是以无人机的吊舱中心为原点，X轴指向友机的吊舱中心，Z轴指向观测平面的法向量方向，Y轴方向由右手法则确定；(2.4)根据式(4)分别计算两架无人机其无人机视线向量在观测平面上的投影向量P1和P2：(2.5)根据式(5)和(6)分别计算两架无人机在观测平面内的期望视线角和实际视线角α1，α2：根据式(7)计算期望的共轭角和实际的共轭角χc：根据式(8)计算期望的辐辏角和实际的辐辏角χv：(2.6)根据式(9)分别计算1#无人机和2#无人机其吊舱视线和观测平面的夹角β1和β2：本专利技术中，步骤(3)中1#无人机和2#无人机其机载吊舱的控制量的获取方法如下：(3.1)根据式(10)计算共轭误差Econjugate和辐辏误差Evergence：(3.2)根据式(11)分别计算1#无人机和2#无人机在观测平面内的期望角速度和其中，kc和kv分别表示共轭运动和辐辏运动的比例控制系数，kn表示耦合部分的比例控制系数。(3.3)根据式(13)分别计算两架无人机垂直于观测平面的期望角速度和其中kl表示垂直方向的比例控制系数；为了保证吊舱俯仰和偏航运动速度的一致性，kl的值应当与kc相近，一般可取kl＝kc。(3.4)根据式(13)和(14)将期望角速度和分别转换到为1#无人机和2#无人机其机载吊舱的控制量和其中，双目旋转坐标系是一个二维坐标系，定义在观测平面内，其X方向指向双目固连坐标系的Y轴，Y方向指向双目固连坐标系的X轴；表示从1#无人机的双目旋转坐标系到1#无人机的双目固连坐标系的转换矩阵，表示从2#本文档来自技高网...

【技术保护点】
1.基于仿生双目联动的地面运动目标自主跟踪系统，其特征在于：包括1#无人机和2#无人机；1#无人机和2#无人机分别对同一地面运动目标进行跟踪，两架无人机通过各自机载吊舱中的机载相机获取地面运动目标的图像，并检测地面运动目标在图像中的位置信息；1#无人机和2#无人机通过各自的通讯模块彼此进行通讯共享各自无人机的当前状态信息以及各自当前所检测到的地面运动目标在图像中的位置信息；两架无人机的当前状态信息以及两架无人机各自当前所检测到的地面运动目标在图像中的位置信息分别输入到两架无人机的仿生联动控制模块，由各无人机的仿生联动控制模块进行数据处理后输出相应的机载吊舱的俯仰和滚转角速度的控制量给各无人机的吊舱控制模块，吊舱控制模块控制机载吊舱实现对地面运动目标的联动跟踪。

【技术特征摘要】
1.基于仿生双目联动的地面运动目标自主跟踪系统，其特征在于：包括1#无人机和2#无人机；1#无人机和2#无人机分别对同一地面运动目标进行跟踪，两架无人机通过各自机载吊舱中的机载相机获取地面运动目标的图像，并检测地面运动目标在图像中的位置信息；1#无人机和2#无人机通过各自的通讯模块彼此进行通讯共享各自无人机的当前状态信息以及各自当前所检测到的地面运动目标在图像中的位置信息；两架无人机的当前状态信息以及两架无人机各自当前所检测到的地面运动目标在图像中的位置信息分别输入到两架无人机的仿生联动控制模块，由各无人机的仿生联动控制模块进行数据处理后输出相应的机载吊舱的俯仰和滚转角速度的控制量给各无人机的吊舱控制模块，吊舱控制模块控制机载吊舱实现对地面运动目标的联动跟踪。2.根据权利要求1所述的基于仿生双目联动的地面运动目标自主跟踪系统，其特征在于：无人机的状态信息包括无人机的GPS位置信息、无人机的姿态角信息以及机载吊舱的旋转角度信息。3.根据权利要求1所述的基于仿生双目联动的地面运动目标自主跟踪系统，其特征在于：还包括地面站，地面站负责对整个系统状态进行监控，确定当前跟踪的地面运动目标，控制两架无人机启动/结束对地面运动目标的跟踪，实现人机交互；地面站接收的信息包括两架无人机的状态信息、两架无人机上机载相机获取的地面运动目标的原始图像以及检测到的地面运动目标在图像中的位置信息、两架无人机对地面运动目标的跟踪状态。4.根据权利要求1所述的基于仿生双目联动的地面运动目标自主跟踪系统，其特征在于：仿生联动控制模块将两架无人机的机载吊舱的协同运动表示为共轭和辐辏两种运动模式，根据地面运动目标的方位自动调整共轭角和辐辏角，实现两架无人机的联动跟踪。5.基于仿生双目联动的地面运动目标自主跟踪方法，其特征在于，包括以下步骤：(1)1#无人机和2#无人机各自机载吊舱中的机载相机的视线聚焦在同一地面运动目标上，完成视线交汇；1#无人机和2#无人机对同一地面运动目标进行跟踪，两架无人机通过各自机载吊舱中的机载相机获取地面运动目标的图像，并检测地面运动目标在图像中的位置信息；(2)根据两架无人机的当前状态信息以及当前检测到的地面运动目标在图像中的位置信息，获取当前的共轭角和辐辏角以及期望的共轭角和辐辏角；(3)根据当前的共轭角和辐辏角以及期望的共轭角和辐辏角，获取两架无人机其机载吊舱的俯仰和滚转角速度的控制量，并将得到的1#无人机和2#无人机其机载吊舱的控制量分别输出给1#无人机和2#无人机的吊舱控制模块，吊舱控制模块控制机载吊舱实现对地面运动目标的联动跟踪。6.根据权利要求5所述的基于仿生双目联动的地面运动目标自主跟踪方法，其特征在于，步骤(2)的实现方法如下：(2.1)根据式(1)计算出两架无人机在当地导航坐标系下的视线向量L1和L2：其中，和分别为两架无人机从吊舱坐标系到当地导航坐标系的旋转矩阵；当地导航坐标系原点在无人机的起飞点，其三个轴的方向分别与地球的北向、东向和指向地心方向相同；吊舱坐标系的原点为机载吊舱的旋转中心，其X轴为吊舱俯仰运动的旋转轴，Y轴为相机光轴方向，Z轴通过右手法则得到；(2.2)根据式(2)计算出地面运动目标相对于两架无人机的位置向量和其中，和分别为两架无人机从相机坐标系到当地导航坐标系的旋转矩阵，(u1,v1)和(u2,v2)分别为地面运动目标在两个图像坐标系中的坐标；如果某个吊舱无法检测到地面运动目标，则令或者；相机坐标系以相机中心为原点，X轴与吊舱坐标系的X轴重合，Z轴与吊舱坐标系的Y轴重合，Y轴通过右手法则得到；图像坐标系是一个二维坐标系，原点定义在图片的左上角，X轴水...

【专利技术属性】
技术研发人员：常远，方强，周晗，唐邓清，周勇，王祥科，相晓嘉，胡天江，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：湖南,43