一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法技术方案

本发明专利技术公开了一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法，属于无人机目标跟踪领域。通过云台摄像头获取实时图像信息，进行基本预处理后通过深度学习算法对图像中的多目标进行检测并分别跟踪，同时使用数据关联算法将目标进行相邻帧运动的关联，完成一对一的匹配，实现多个目标当前的状态估计以及历史运动的记录；根据目标的位置与速度预测结果，调节云台使目标保持在图像中央，实现单目测距，结合目标位置与速度实现对于目标的跟踪飞行。本发明专利技术不依赖GPS，在跟踪过程中实现视角保持，能够快速、准确、稳定的跟踪多目标并进行选择性跟踪，能够较好处理跟踪消失再出现等问题；同时能够通过无线通信与用户进行交互，反馈跟踪状态。

【技术实现步骤摘要】
一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法
本专利技术属于无人机目标跟踪领域，具体涉及一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法。
技术介绍
无人机通常是指由机载计算机系统和地面系统一起组合起来的可以自行完成飞行任务的无驾驶员的飞行器。相比于载人飞行器，具有体积小、质量轻、生产和运维成本低、机动性好、不存在机组人员安全问题等优点，可广泛用于低空侦察、反恐打击、情报收集等军事任务。在民用方面，可用于气象探测、灾害监测、地质勘探、地图测绘、农业植保、公安消防等诸多领域。近年来，随着技术进步带来了无人机成本的下降，其全球市场大幅增长，发展态势迅猛。目前，计算机视觉与无人机的结合，已成为了当下研究的热点。不仅扩充了人类的视觉范围，更是在安防救援、人机交互、目标跟踪与检测等方面发挥了更大效用。现有的无人机目标跟踪技术中，多为单个目标的检测与跟踪，对目标类别不做限定，因此难以区分相似的类内对象，在实际应用中存在一定不便。在图像处理中，无人机的运动会对目标检测的质量造成干扰，容易出现目标脱离视野的情况。此外，由于无人机自身的定位大多基于GPS，GPS失效会影响跟踪效果。
技术实现思路
针对上述
技术介绍
的分析，本专利技术旨在提供一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法，无人机通过云台摄像头获取实时图像信息，进行基本的去噪、去畸变等预处理后，使用YOLOV3算法对图像中的多目标(行人、车辆等)完成快速、准确的检测；基于检测结果的矩形框，使用KCF算法实现对多个目标分别进行跟踪，当跟踪丢失则重新检测，并使用数据关联算法进行检测与历史跟踪的匹配，即为利用欧式距离以及直方图相似度，将目标进行相邻帧运动的关联，防止信息丢失，最后使用匈牙利算法，完成一对一的匹配，实现多个目标当前的状态估计以及历史运动的记录；基于扩展卡尔曼滤波进一步实现对目标的位置与速度预测，之后通过对于云台的PID控制实现目标保持在图像中央，基于相机内参与外参实现目标距离估测，之后无人机结合目标位置与速度实现对于目标的跟踪飞行。本专利技术利用视觉信息以及机载传感器的信息，实现对多目标的跟踪以及运动估计，同时控制云台使得无人机在跟踪过程中，地面目标始终保持在摄像机的图像中心，以解决现有技术中无法跟踪多个目标、依赖GPS、视角保持不稳等问题。本专利技术主要通过以下技术方案实现：一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法，所述的机载无人机多目标跟踪系统包括无人机、云台、超声波传感器、机载电脑和相机；所述的机载电脑、云台和超声波传感器均固定在无人机上，所述的相机安装在云台上；所述机载电脑与地面站通过无线通讯；所述的跟踪方法步骤如下：S1：通过固定在无人机云台上的相机获取图像；S2：对图像进行预处理，包括去噪、去畸变以及压缩图像尺寸处理；S3：通过YOLOV3算法对预处理后的图像进行多个目标检测，获得多个目标的检测结果矩形框；S4：基于每一个目标的检测结果矩形框，采用KCF进行目标跟踪，具体为：S41：实时判断跟踪目标是否丢失，若跟踪目标未丢失，则继续当前跟踪，且保存当前目标的位置；若跟踪目标丢失，则返回S1重新进行目标检测；S42：针对新的检测结果矩形框，首先与上一时刻的跟踪目标的矩形框进行数据关联，完成矩形框之间的相似度匹配；之后结合匈牙利算法，实现跟踪目标在当前运动与历史运动的一一匹配，以维持视野中多个目标的跟踪与实时状态估计；S5：通过地面站与机载电脑的无线通信返回实时跟踪的目标状态数据，若返回的数据中存在目标，则通过地面站发送需要跟踪的目标到机载电脑，云台进入跟踪模式；若返回的数据中不存在目标，则云台进入搜索模式；S6：基于相机的内参与外参，并结合超声波传感器得到的无人机高度信息，实现跟踪目标的测距；S7：基于跟踪目标在无人机坐标系的当前时刻的位置，使用卡尔曼滤波算法预测跟踪目标下一时刻的速度与位置，减小误差；S8：结合跟踪目标的运动速度与位置估计，以及通过超声波传感器获得的周围障碍物信息，对无人机进行运动控制，实现无人机对于目标的在线跟踪；S9：继续重复S1～S8，直到地面站向无人机机载电脑发出终止跟踪的指令。作为优选，所述的无人机为四轴无人机。作为优选，使用NVIDIATX2作为机载电脑。作为优选，基于KCF判断跟踪是否丢失，若未丢失则继续当前跟踪，保存当前目标的位置，并停止YOLOV3目标检测；若丢失则重新进行目标检测，并停止KCF目标跟踪。作为优选，所述的相机采用USB单目相机。作为优选，步骤S42中，采用数据关联算法和匈牙利算法实现新的检测结果矩形框与上一时刻的跟踪目标的矩形框之间的数据关联和运动匹配，具体为：结合当前检测框与上一时刻最后帧的跟踪框，基于KD树对欧氏距离最近邻查找，对最近邻的k个目标进行直方图相似度匹配，若相似度大于预设的阈值，则使用匈牙利算法对于匹配进行优化，实现新的检测与历史跟踪的最大匹配，若存在未成功匹配的跟踪目标，则视为目标消失；若存在未成功匹配的检测目标，则视为新目标出现。作为优选，步骤S5中，针对目标是否存在，云台状态分为跟踪模式与搜索模式；在跟踪模式中，通过PID算法控制云台调整角度，使得跟踪目标保持在相机视野的中心位置，以维持跟踪视角的平稳保持；在搜索模式中，通过旋转云台轴角进行实时检测是否存在目标。作为优选，步骤S6中，结合相机内参、外参、以及超声波传感器测量的无人机高度，通过建立目标在像素坐标系到无人机坐标系的转换，实现跟踪目标的测距，得到跟踪目标在无人机坐标系的坐标。作为优选，基于跟踪目标的距离，无人机存在跟踪模式与保持模式，若跟踪距离大于上限或小于下限，则无人机处于跟踪模式，并结合距离误差与目标速度，基于控制律对速度进行控制；否则无人机处于保持模式，保持当前的跟踪状态。作为优选，采用卡尔曼滤波算法预测跟踪目标的运动速度与位置，并对预测状态进行更新，具体为：在预测过程中，通过上一帧的目标框位置和速度参数，预测当前帧的目标框位置和速度；在更新过程中，根据预测值和观测值两个正态分布的状态进行线性加权，对预测状态进行更新。作为优选，所述步骤S2中，图像处理基于opencv进行。本专利技术具有以下有益效果：1)现存的无人机跟踪系统大多对于单一目标进行跟踪，对目标的类别不做限定，因此难以区分相似的类内对象；而本专利技术采用了YOLOV3算法实现对多个目标(行人、车辆等)进行检测，并对检测到的目标基于KCF算法进行多个目标的在线跟踪。在跟踪过程中，当跟踪丢失则重新检测，并使用数据关联算法进行检测与历史跟踪的匹配，实现多个目标当前的状态估计以及历史运动的记录，以处理跟踪目标消失再出现或遮挡等问题。2)现存的无人机大多依赖GPS进行定位以及追踪物体，本专利技术仅通过搭载在无人机上的云台、相机、超声波传感器和跟踪算法实现定位及追踪物体，可以不依赖GPS实现无人机跟踪，适用于更多场景。3)本专利技术本文档来自技高网...

【技术保护点】
1.一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，所述的机载无人机多目标跟踪系统包括无人机、云台、超声波传感器、机载电脑和相机；所述的机载电脑、云台和超声波传感器均固定在无人机上，所述的相机安装在云台上；所述机载电脑与地面站通过无线通讯；/n所述的跟踪方法步骤如下：/nS1：通过固定在无人机云台上的相机获取图像；/nS2：对图像进行预处理，包括去噪、去畸变以及压缩图像尺寸处理；/nS3：通过YOLOV3算法对预处理后的图像进行多个目标检测，获得多个目标的检测结果矩形框；/nS4：基于每一个目标的检测结果矩形框，采用KCF进行目标跟踪，具体为：/nS41：实时判断跟踪目标是否丢失，若跟踪目标未丢失，则继续当前跟踪，且保存当前目标的位置；若跟踪目标丢失，则返回S1重新进行目标检测；/nS42：针对新的检测结果矩形框，首先与上一时刻的跟踪目标的矩形框进行数据关联，完成矩形框之间的相似度匹配；之后结合匈牙利算法，实现跟踪目标在当前运动与历史运动的一一匹配，以维持视野中多个目标的跟踪与实时状态估计；/nS5：通过地面站与机载电脑的无线通信返回实时跟踪的目标状态数据，若返回的数据中存在目标，则通过地面站发送需要跟踪的目标到机载电脑，云台进入跟踪模式；若返回的数据中不存在目标，则云台进入搜索模式；/nS6：基于相机的内参与外参，并结合超声波传感器得到的无人机高度信息，实现跟踪目标的测距；/nS7：基于跟踪目标在无人机坐标系的当前时刻的位置，使用卡尔曼滤波算法预测跟踪目标下一时刻的速度与位置；/nS8：结合跟踪目标的运动速度与位置估计，以及通过超声波传感器获得的周围障碍物信息，对无人机进行运动控制，实现无人机对于目标的在线跟踪；/nS9：继续重复S1～S8，直到地面站向无人机机载电脑发出终止跟踪的指令。/n...

【技术特征摘要】
1.一种基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，所述的机载无人机多目标跟踪系统包括无人机、云台、超声波传感器、机载电脑和相机；所述的机载电脑、云台和超声波传感器均固定在无人机上，所述的相机安装在云台上；所述机载电脑与地面站通过无线通讯；
所述的跟踪方法步骤如下：
S1：通过固定在无人机云台上的相机获取图像；
S2：对图像进行预处理，包括去噪、去畸变以及压缩图像尺寸处理；
S3：通过YOLOV3算法对预处理后的图像进行多个目标检测，获得多个目标的检测结果矩形框；
S4：基于每一个目标的检测结果矩形框，采用KCF进行目标跟踪，具体为：
S41：实时判断跟踪目标是否丢失，若跟踪目标未丢失，则继续当前跟踪，且保存当前目标的位置；若跟踪目标丢失，则返回S1重新进行目标检测；
S42：针对新的检测结果矩形框，首先与上一时刻的跟踪目标的矩形框进行数据关联，完成矩形框之间的相似度匹配；之后结合匈牙利算法，实现跟踪目标在当前运动与历史运动的一一匹配，以维持视野中多个目标的跟踪与实时状态估计；
S5：通过地面站与机载电脑的无线通信返回实时跟踪的目标状态数据，若返回的数据中存在目标，则通过地面站发送需要跟踪的目标到机载电脑，云台进入跟踪模式；若返回的数据中不存在目标，则云台进入搜索模式；
S6：基于相机的内参与外参，并结合超声波传感器得到的无人机高度信息，实现跟踪目标的测距；
S7：基于跟踪目标在无人机坐标系的当前时刻的位置，使用卡尔曼滤波算法预测跟踪目标下一时刻的速度与位置；
S8：结合跟踪目标的运动速度与位置估计，以及通过超声波传感器获得的周围障碍物信息，对无人机进行运动控制，实现无人机对于目标的在线跟踪；
S9：继续重复S1～S8，直到地面站向无人机机载电脑发出终止跟踪的指令。


2.如权利要求1所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，所述的无人机为四轴无人机。


3.如权利要求1所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，使用NVIDIATX2作为机载电脑。


4.如权利要求1所述的基于深度学习的机载无人机多目标跟踪系统的跟踪方法，其特征在于，基于KCF判断跟踪是否丢失，若未丢失则继续当前跟踪，保存当前目标的位...

【专利技术属性】
技术研发人员：郭佳昕，潘能，周美含，熊蓉，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33