一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法技术方案

本发明专利技术公开了一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法，该系统包括无人机平台和地面站平台，所述无人机平台用于实时计算并检测跟踪目标；所述地面站平台用于对目标进行跟踪视频监控，对无人机平台下发手动飞控指令。本发明专利技术还提供了一种基于上述旋翼无人机系统的检测跟踪方法。本发明专利技术采用无人机端侧计算方案，有效提升了系统的时效性；采用了YOLO Nano目标检测算法，显著减少机载计算机运算压力；采用鲁棒性更强的Staple跟踪算法及目标重检测模块，提升了跟踪的精度，在实时跟踪中目标遮挡或丢失时，自动启动重检测算法重新搜寻目标。

【技术实现步骤摘要】
一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法
本专利技术涉及旋翼无人机领域，特别是涉及一种用于车辆检测跟踪的旋翼无人机系统及检测跟踪方法。
技术介绍
无人机种类繁多，其中旋翼无人机拥有无场地限制、能定点悬停、慢速飞行、有限空间飞行、垂直起降等诸多优势，使得其在航拍、农业、植保、微型自拍、快递运输、灾难救援、监控传染病、测绘、新闻报道、电力巡检、救灾、影视拍摄等领域有广泛应用。近年来，人工智能技术发展迅猛，无人机和人工智能技术的结合成为一个新的研究热点。基于深度学习的目标检测、目标跟踪技术赋予无人机于“智能”，使得无人机拥有更广的信息搜索区域，对局部微小信息的解读和分析能力更进一步提升，对周围环境的感知能力和测量精度也进一步提升，人工智能技术对无人机的赋能，使得无人机增添了一双敏锐的“眼睛”，使其可以自主飞行，执行更高级别的任务。随着数字成像技术的发展，相机作为一种传感器开始被广泛研究。因为人可以通过自己的视觉估计视野中物体的位置、距离，而相机的原理模拟了人的双眼，所以模仿人的特点，利用相机的二维图像可以反推图像中物体的三维信息。视觉感知系统应用于无人机由来已久，旋翼无人机对地面目标的检测和跟踪是一个热门的场景应用，由于基于深度学习的目标检测和目标跟踪算法都依赖于强大的算力，而无人机端侧算力有限，因此现阶段大多数方案都采取地面站做计算，无人机仅负责采集和传输图像，且对于目标跟踪算法而言，现阶段算法无法对目标遮挡和丢失做有效的处理。现阶段主流的旋翼无人机进行目标检测算法采用了YOLOv3神经网络架构模型，地面站有强大的算力支持，可采用大网络做物体检测，YOLOv3的网络模型结构主要由75个卷基层构成，没有使用全连接层，该网络可以对应任意大小的输入图像。此外，没有使用池化层，取而代之的是将卷基层的stride设为2来达到下采样的效果，同时将尺度不变特征传送到下一层。除此之外，YOLOv3中还使用了类似ResNet和FPN网络的结构，这两个结构对于提高检测精度也是大有裨益。此网络应用于无人机视角的机动车辆检测效果较好。而对于较大的网络模型而言，上述网络结构计算耗时大，实时性较差，需要强大的算力支持，无法部署在端侧。现阶段主流的旋翼无人机进行目标跟踪算法是基于KCF技术。KCF(核相关滤波)是由核的基于检测的跟踪循环结构(CSK)发展而来，采用在线学习方法解决跟踪问题。它是一种没有任何先验知识的机器学习方法。在第一帧中，手动选择感兴趣的对象(OOI)区域，KCF跟踪器将该区域转换为多通道HOG特征描述符。利用HOG描述符进行岭回归，初始化OOI区域z的回归函数f(z)。对于新一帧，f(z)是在OOI的最后一个区域附近的几个区域上求值的。最后，将评价响应最大的区域作为输出，应用于更新f(z)。为了加快山脊回归矩阵的计算，KCF通过循环移位将HOG特征描述符的每个通道的描述符转换为一个循环矩阵。通过离散傅里叶变换(DFT)可以将循环矩阵的对角化。因此，可以在傅立叶域中有效地处理矩阵计算，特别是矩阵求逆矩阵。此外，在KCF跟踪器中还应用了一个核函数以提高跟踪性能，将回归函数f(z)映射到非线性空间。这些解决方案由CSK引入，并在KCF中进行了优化。这样，KCF的处理速度和平均精度分别达到了172FPS和73.2％。尽管以地面站做计算推理能保证足够的计算资源，然而大规模数据传输耗时是不可接受的，无线传输网络的不确定性也存在时延，且地面站要保证推理计算的速度是需要付出高昂的成本。飞行控制的实时性是无人机安全的必要因素，若延迟较高，势必影响检测跟踪效果以及飞行安全。此外，在目标跟踪过程中，KCF算法受外界环境的不确定如光照变化、遮挡等因素的影响会导致目标跟踪丢失，且目标丢失后不能重新定位目标，最终导致跟踪失败。
技术实现思路
专利技术目的：为解决现有技术飞行控制延迟高的问题，本专利技术提出了一种用于车辆检测跟踪的旋翼无人机系统，采用无人机端侧计算方案，地面站仅做跟踪视频监控和手动飞控指令下发操作，有效提高了系统时效性能。进一步通过YOLONano目标检测算法解决了机载计算机运算负荷大的问题；通过基于Staple跟踪算法，并通过目标重检测模块，解决了KCF算法受限于外界环境致使跟踪不稳定的问题。技术方案：一种用于车辆检测跟踪的旋翼无人机系统，包括无人机平台和地面站平台，采用无人机端侧计算方案，大幅度减小了系统时延，保证了机动车辆目标的检测和跟踪的实时性。所述无人机平台用于实时计算并检测跟踪目标；所述地面站平台用于对目标进行跟踪视频监控，对无人机平台下发手动飞控指令。进一步地，所述无人机平台包括：可见光摄像机、机载计算机、第一无线图传终端和飞控模块，其中，所述机载计算机分别与可见光摄像机、第一无线图传终端、飞控模块相连接；所述地面站平台包括PC机和第二无线图传终端，两者信息交互；第一无线图传终端与第二无线图传终端信息交互；所述可见光摄像机，用于采集图像数据；所述机载计算机，用于运行目标检测算法和目标跟踪算法；所述第一无线图传终端，用于传输目标跟踪实时视频流和地面站手动飞控指令接收；所述PC机，用于目标跟踪实时视频流监控和手动飞控指令下发；所述第二无线图传终端，用于接收目标跟踪实时视频流和手动飞控指令发送。进一步地，所述机载计算机运行的目标检测算法采用YOLONano算法。进一步地，所述机载计算机运行的目标跟踪算法采用Staple跟踪算法。进一步地，所述机载计算机还包括目标重检测模块，用于根据Staple跟踪算法的测试样本与训练样本相关性的值，判断目标是否被遮挡，设置相关性的值的阈值，若低于该阈值则判断有遮挡，若有遮挡，则将目标的预测值复制给测量值，对测量值进行修正，得到目标位置的估计值。进一步地，所述机载计算机用于部署UbuntuROS操作系统，该系统包含相机节点、目标检测节点、目标跟踪节点、飞控节点；其中，相机节点用于采集图像数据，目标检测节点用于所有车辆的定位，目标跟踪节点用于对目标车辆进行跟踪，飞控节点用于旋翼无人机的飞行控制。本专利技术所述的用于车辆检测跟踪的旋翼无人机系统的检测跟踪方法，其特征在于，该方法包括：无人机平台实时计算并检测跟踪目标；地面站平台通过无线通信向无人机发送飞控指令，控制飞机飞行。进一步地，该方法具体包括如下步骤：(1)可见光摄像机采集图像数据，通过机载计算机的相机节点发布图像话题；(2)目标检测节点订阅图像话题，将其作为目标检测节点的输入，机载计算机根据目标检测算法计算车辆坐标信息并发布车辆坐标信息话题；(3)目标跟踪节点订阅车辆坐标信息话题，机载计算机根据目标跟踪算法预测目标车辆位置，并发布目标位置话题；(4)飞控节点订阅目标位置话题，进行坐标转换，计算出目标与无人机的距离，并依此发送飞控指令给飞控模块；(5)飞控模块执行指令控制无人机运动。进一步地，所述目标检测算法采用YOLONano算法。采用该紧凑型网络架构，在保证检测准确率的同本文档来自技高网...

【技术保护点】
1.一种用于车辆检测跟踪的旋翼无人机系统，该系统包括无人机平台和地面站平台，其特征在于，所述无人机平台用于实时计算并检测跟踪目标；所述地面站平台用于对目标进行跟踪视频监控，对无人机平台下发手动飞控指令。/n

【技术特征摘要】
1.一种用于车辆检测跟踪的旋翼无人机系统，该系统包括无人机平台和地面站平台，其特征在于，所述无人机平台用于实时计算并检测跟踪目标；所述地面站平台用于对目标进行跟踪视频监控，对无人机平台下发手动飞控指令。


2.根据权利要求1所述的用于车辆检测跟踪的旋翼无人机系统，其特征在于，所述无人机平台包括：可见光摄像机、机载计算机、第一无线图传终端和飞控模块，其中，所述机载计算机分别与可见光摄像机、第一无线图传终端、飞控模块相连接；所述地面站平台包括PC机和第二无线图传终端，两者信息交互；第一无线图传终端与第二无线图传终端信息交互；
所述可见光摄像机，用于采集图像数据；
所述机载计算机，用于运行目标检测算法和目标跟踪算法；
所述第一无线图传终端，用于传输目标跟踪实时视频流和地面站手动飞控指令接收；
所述PC机，用于目标跟踪实时视频流监控和手动飞控指令下发；
所述第二无线图传终端，用于接收目标跟踪实时视频流和手动飞控指令发送。


3.根据权利要求1所述的用于车辆检测跟踪的旋翼无人机系统，其特征在于，所述机载计算机运行的目标检测算法采用YOLONano算法。


4.根据权利要求1所述的用于车辆检测跟踪的旋翼无人机系统，其特征在于，所述机载计算机运行的目标跟踪算法采用Staple跟踪算法。


5.根据权利要求1所述的用于车辆检测跟踪的旋翼无人机系统，其特征在于，所述机载计算机还包括目标重检测模块，用于根据Staple跟踪算法的测试样本与训练样本相关性的值，判断目标是否被遮挡，设置相关性的值的阈值，若低于该阈值则判断有遮挡，若有遮挡，则将目标的预测值复制给测量值，对测量值进行修正，得到目标位置的估计值。


6.根据权利要求1所述的用于车辆检测跟踪的旋翼无人机系统，其特征在于，所述机载计算机用于部署UbuntuROS操作系统，该系统包含相机节点、目标检测节点、目标跟踪节点、飞控节点；其中，相机节点用于采集图像数据，目标检测节点用于所有车辆的定位，目标跟踪节点用于对目标车辆进行跟踪，飞控节点用于旋翼无人机的飞行控制。


7.一种基于权利要求1所述的用于车辆检测跟踪的旋翼无人机系统的检测跟踪方法，其特征在于，该方法包括：
无人机平...

【专利技术属性】
技术研发人员：余犀，董晓飞，石霖，曹峰，孙明俊，
申请(专利权)人：南京新一代人工智能研究院有限公司，
类型：发明
国别省市：江苏;32