一种无人机追踪降落方法及系统技术方案

本发明专利技术提出一种无人机追踪降落方法及系统，包括远距离追踪方法和近距离追踪方法；对拍摄的视频帧进行yolov4

【技术实现步骤摘要】
一种无人机追踪降落方法及系统


[0001]本专利技术涉及无人机降落的
，特别是一种无人机追踪降落方法及系统。

技术介绍

[0002]目前的跟踪算法主要基于深度神经网络或相关滤波，以及二者的结合。基于深度神经网络的跟踪算法精度高，但运行速度慢；而基于相关滤波的跟踪算法速度快，但精度稍低，且当目标离开视野或被遮挡时，容易出现跟踪目标丢失。至于结合二者的跟踪算法，一般是利用卷积神经网络提取出特征替换人工选择的特征，再进行相关性的计算以实现跟踪，虽然在速度与精度上有了一个比较好的均衡，但由于卷积神经网络计算时间长，依旧难以满足无人机跟踪的实时性要求，不利于嵌入无人机跟踪系统中。
[0003]现有的GPS定位技术需要良好且稳定的信号，这在无人机低空近距离的追踪降落过程中并不满足，且精度也不够。在视觉领域可以使用Apriltag码引导无人机降落，一般方法是在空中对单个Apriltag码完成检测并控制无人机在水平方向靠近，然后进行降落，但是由于在降落过程中缺乏多次再校准，因此精度不佳。而一般的低空追踪问题可以在水平面排列多个大小不一的Apriltag组合码与使用卡尔曼滤波预测目标物在下一帧图像中的位置来进行优先局部检测，但在追踪与降落的过程中，高度跨越大，随着高度的降低，镜头视野变小，原区域识别到的码不能再被检测，预测加局部检测的方法失效，只能再次进行全局检测，重新寻找更小更合适的Apriltag码，即局部搜索的策略缺乏连续性，且使用多个Apriltag组合码造成的空间冗余不利于精准降落。因此这种方法不能很好地应用在无人机的追踪降落任务上。
[0004]此外，原有的Apriltag码检测技术可以对无人机与目标的相对位置与姿态进行估计，但由于相机内参标定不够准确，摄像头分辨率有限以及追踪过程中对摄像头的影响等因素会使得估算结果存在误差，缺乏一定的数据校准环节。并且无人机在不同的追踪情况下对控制效果的要求不一样，常用的固定参数PID技术并不太合适。

技术实现思路

[0005]针对上述缺陷，本专利技术的目的在于提出一种无人机追踪降落方法及系统，解决无人机降落的控制效果不佳，追踪缺乏再校准，精度不佳的问题。
[0006]为达此目的，本专利技术采用以下技术方案：
[0007]一种无人机追踪降落系统，包括远距离追踪方法和近距离追踪方法；所述远距离追踪方法包括以下步骤：
[0008]S1、对目标降落平台拍摄，对拍摄的视频帧进行yolov4
‑
tiny目标识别，识别出精确的目标框后通过ECO相关滤波器进行跟踪；
[0009]S2、判断是否检测到目标降落平台，若是则控制无人机从远处快速接近目标，若否则控制无人机上升运动以获取更广的视角；
[0010]S3、无人机靠近目标时，判断无人机的位置是否足够靠近目标，是则控制无人机缓
慢下降，若否则返回执行步骤S1；
[0011]S4、判断是否检测到降落平台的Apriltag码，若是则执行近距离追踪方法，若否则返回执行步骤S1；
[0012]所述近距离追踪方法中Apriltag码为中心嵌套码，近距离追踪方法包括以下步骤：
[0013]SS1、在初始检测状态时，无人机处于相对较高的高度，对采集的图像进行Apriltag中心嵌套码全局检测；
[0014]SS2、采用取平均值的方法计算Apriltag中心嵌套码的中心，估算无人机与目标降落平台的位置差dx、dy和dz；
[0015]SS3、激光测距测量出与目标降落平台的高度H，将高度H与估算的dz进行对比，当H与dz相差较多，H/dz>1.1或dz/H>1.1时，舍弃该次估算的位置差数据，反之以H为依据对dx和dy进行比例纠正，得dx
′
、dy
′
，此时dx
′
＝dx*(H/dz)，dy
′
＝dy*(H/dz)；根据激光测距高度H进行无人机的高度运动控制，根据纠正后的水平位置差dx
′
和dy
′
进行无人机水平运动的控制。
[0016]优选的，所述步骤S1包括以下步骤：
[0017]A1、接收拍摄的视频帧，yolov4
‑
tiny识别到目标后，将精确的目标框发送至ECO相关滤波器；
[0018]A2、利用ECO相关滤波器对视频帧中的目标模型进行跟踪；
[0019]A3、ECO相关滤波器跟踪过程中检测视频帧中目标是否丢失，若目标丢失则返回执行步骤S1进行目标识别；若目标没有丢失，则更新目标模型发送至ECO相关滤波器，ECO相关滤波器继续对目标进行跟踪。
[0020]优选的，yolov4
‑
tiny目标识别的参数量采用基于深度可分离卷积的反残差结构，减少参数量，并对基于深度学习的特征提取网络进行裁剪压缩，将网络中一些值将近于0的权重参数直接置零；yolov4
‑
tiny目标识别的规则卷积采用可变形卷积。
[0021]优选的，所述步骤S1中ECO跟踪中的目标模型采用稀疏更新模型，且模型采用FHOG梯度特征、CN颜色特征和LBP纹理特征三种特征进行融合，根据其特征贡献度大小设置权重比例。
[0022]优选的，所述步骤S1中ECO相关滤波器对目标模型的更新方法还包括以下步骤：
[0023]B1、接收拍摄的视频帧，并通过yolov4
‑
tiny目标识别输出对应的目标特征图，并得到相关响应图；
[0024]B2、设定阈值，将相关响应图的峰值与阈值比较，若峰值低于阈值，舍弃当前帧不对模型进行更新，若峰值高于阈值，则将当前视频帧纳入对模型进行更新。
[0025]优选的，所述步骤SS3中，控制过程中采用分段切换PID参数的方式，(i)当无人机与目标水平位置差较大时，P参数占比较I参数和D参数大；(ii)当无人机追踪目标到合适范围后，降低P参数，提高I参数；(iii)当无人机在足够靠近目标时，高度降低，镜头视野变小，提高D参数。
[0026]优选的，所述近距离追踪方法的步骤SS1中，对采集的图像进行Apriltag中心嵌套码全局检测的同时还进行迭代卡尔曼滤波的局部检测：
[0027]Apriltag中心嵌套码内部留有一块空白区域不含编码信息，由外往里地进行层层
嵌套Apriltag码，当原来识别到的Apriltag码失效，优先利用迭代卡尔曼滤波算法在预测的局部区域中搜索到更小的Apriltag码，同时在进行局部搜索时，降低局部区域的分辨率。
[0028]一种无人机追踪降落系统，应用有上述的无人机追踪降落方法，包括无人机拍摄模块、yolov4
‑
tiny识别模块、ECO跟踪模块、Apriltag码检测模块、控制模块、激光测距模块和降落平台；
[0029]所述降落平台上设置有Apriltag中心嵌套码，所述Apriltag中心嵌套码由外往里地进行层层嵌套A本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机追踪降落方法，其特征在于：包括远距离追踪方法和近距离追踪方法；所述远距离追踪方法包括以下步骤：S1、对目标降落平台拍摄，对拍摄的视频帧进行yolov4
‑
tiny目标识别，识别出精确的目标框后通过ECO相关滤波器进行跟踪；S2、判断是否检测到目标降落平台，若是则控制无人机从远处快速接近目标，若否则控制无人机上升运动以获取更广的视角；S3、无人机靠近目标时，判断无人机的位置是否足够靠近目标，是则控制无人机缓慢下降，若否则返回执行步骤S1；S4、判断是否检测到降落平台的Apriltag码，若是则执行近距离追踪方法，若否则返回执行步骤S1；所述近距离追踪方法中Apriltag码为中心嵌套码，近距离追踪方法包括以下步骤：SS1、在初始检测状态时，无人机处于相对较高的高度，对采集的图像进行Apriltag中心嵌套码全局检测；SS2、采用取平均值的方法计算Apriltag中心嵌套码的中心，估算无人机与目标降落平台的位置差dx、dy和dz；SS3、激光测距测量出与目标降落平台的高度H，将高度H与估算的dz进行对比，当H与dz相差较多，H/dz>1.1或dz/H>1.1时，舍弃该次估算的位置差数据，反之以H为依据对dx和dy进行比例纠正，得dx
′
、dy
′
，此时dx
′
＝dx*(H/dz)，dy
′
＝dy*(H/dz)；根据激光测距高度H进行无人机的高度运动控制，根据纠正后的水平位置差dx
′
和dy
′
进行无人机水平运动的控制。2.根据权利要求1所述的一种无人机追踪降落方法，其特征在于：所述步骤S1包括以下步骤：A1、接收拍摄的视频帧，yolov4
‑
tiny识别到目标后，将精确的目标框发送至ECO相关滤波器；A2、利用ECO相关滤波器对视频帧中的目标模型进行跟踪；A3、ECO相关滤波器跟踪过程中检测视频帧中目标是否丢失，若目标丢失则返回执行步骤S1进行目标识别；若目标没有丢失，则更新目标模型发送至ECO相关滤波器，ECO相关滤波器继续对目标进行跟踪。3.根据权利要求2所述的一种无人机追踪降落方法，其特征在于：yolov4
‑
tiny目标识别的参数量采用基于深度可分离卷积的反残差结构，减少参数量，并对基于深度学习的特征提取网络进行裁剪压缩，将网络中一些值将近于0的权重参数直接置零；yolov4
‑
tiny目标识别的规则卷积采用可变形卷积。4.根据权利要求2所述的一种无人机追踪降落方法，其特征在于：...

【专利技术属性】
技术研发人员：徐雍，吕伟俊，鲁仁全，饶红霞，林明，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：