一种无人机视角下多目标车辆旋转框跟踪方法技术

本发明专利技术设计了一种无人机视角下多目标车辆旋转框跟踪方法，在原YOLOv5检测模型中增加CA注意力模块和Transformer预测头，同时提出基于底点坐标的旋转框表示方法，采用旋转框代替水平框来更好标识车辆目标，极大地提升了视觉效果；基于训练好的车辆检测网络和重识别网络，得到检测框信息和重识别特征，通过卡尔曼滤波和匈牙利算法实现轨迹预测和数据关联，从而实现多目标跟踪；鉴于无人机自身计算资源有限，通过FPGM剪枝技术，在保证跟踪精度和速度的前提下，对模型进行压缩。本发明专利技术可以很好对无人机视角下的车辆目标进行检测和跟踪，运用FPGM剪枝技术，很好地解决无人机自身计算资源有限的问题，在智能交通检测系统中具有良好的应用潜力。应用潜力。应用潜力。

【技术实现步骤摘要】
一种无人机视角下多目标车辆旋转框跟踪方法


[0001]本专利技术涉及车辆目标跟踪领域，具体涉及一种无人机视角下多目标车辆旋转框跟踪方法。

技术介绍

[0002]与载人飞机相比，无人机具有体积小，灵活性强、造价低、操作简单、作战环境要求低以及战场生存能力强等优势，使得无人机在军事领域对于未来空战有着重要的意义。除了军事领域，无人机在民用领域的应用也是极其广泛。目前在航拍、农业、植保、快递运输、电力巡检以及抢险救灾等领域都发挥着巨大价值。随着国民经济的飞速发展，居民可支配收入增多以及在交通强国、交通数字化转型等行业政策的引导之下，国内城市中汽车数量不断增多，2022年3月已突破4亿辆。智能交通检测系统成为了保证城市交通安全和提高交通设施运行效率的必要措施。对于车辆的检测与跟踪更是智能交通检测系统的主要任务。将无人机技术应用到车辆跟踪任务中，可以发挥无人机独特的优势的同时，无人机视角下的车辆跟踪也是亟待解决的重要问题。
[0003]跟踪主要应用于对视频或连续有语义关联的图像中任意目标，通过其外观特征和运动信息进行建模，通过对运动状态的预测，来实现对其空间位置和形状大小的获知。根据跟踪目标的不同，可以分为单目标跟踪和多目标跟踪；根据跟踪方法的不同可以分为生成类跟踪方法和判别类跟踪方法。生成类跟踪方法将更多的注意力放在目标本身，比较经典的方法有卡尔曼滤波、粒子滤波、均值漂移等；判别类滤波可以分别基于相关滤波和基于深度学习的方法，可以一定程度上解决样本不足的问题。
[0004]不同于常见的摄像机视角下地面车辆目标跟踪，在无人机视角下，车辆目标跟踪面临着以下几个挑战。
[0005]1)无人机拍摄时处于高空位置，视野广阔，背景复杂。感兴趣的车辆目标与其他物体、感兴趣目标与环境背景之间相互干扰，构造精准的目标检测器比较困难；
[0006]2)当无人机飞行到一定高度时，视野变大，图像分辨率变低，车辆目标的轮廓和纹理特征变得稀少，给目标检测与跟踪带来了新的挑战；
[0007]3)无人机在拍摄过程中，受光线、风力以及操作员的飞行控制影响，可能会出现相机抖动、运动模糊、车辆行驶方向快速变化等情况。
[0008]4)由于无人机自身结构特点，无法提供足够的计算资源，在保证精度的前提下，降低算法复杂度以及压缩模型大小，成为重中之重。

技术实现思路

[0009]无人机视角下的车辆目标存在背景复杂、目标较小、方向任意以及排列紧密等特点，给车辆检测与跟踪带来了一定的挑战。同时，由于无人机自身可携带计算资源有限，对于算法优化以及模型轻量化也提出了更高的要求。
[0010]为了解决上述问题，更好地实现对于无人机视角下的车辆目标跟踪，本专利技术拟解
决的技术问题是提供一种无人机视角下多目标车辆旋转框跟踪方法，具体如下：
[0011]一种无人机视角下多目标车辆旋转框跟踪方法，包含如下步骤：
[0012]步骤1)，车辆旋转框检测：制作无人机视角下的车辆数据集，搭建检测网络模型并进行训练，实现对车辆目标的旋转框检测；
[0013]步骤2)，FPGM剪枝：基于几何中值卷积神经网络滤波器来修剪冗余的滤波器来实现对检测网络模型的压缩；
[0014]步骤3)，重识别网络训练：构造车辆重识别数据集，训练重识别网络模型，得到目标的外观特征和运动特征，实现车辆目标的重识别；
[0015]步骤4)，多目标车辆跟踪：将待检测视频输入检测网络模型，得到目标车辆检测框，通过重识别网络提取检测框的外观特征和运动特征，从而计算检测结果与卡尔曼滤波预测结果的相似度，最后通过匈牙利算法进行数据关联，从而实现多目标的跟踪。
[0016]作为本专利技术一种无人机视角下多目标车辆旋转框跟踪方法进一步的优化方案，所述步骤1)的具体步骤为：
[0017]步骤1.1)，通过无人机在若干个交通要道以不同的飞行状态来对车辆目标进行拍摄，获得原始数据；再通过标注软件，人工地对每个车辆目标进行旋转框的标注；标注格式为(x1,y1,x2,y2,x3,y3,x4,y4,class)，其中，(x
i
,y
i
)为第i个顶点坐标，1≤i≤4，class为车辆的类别，包含汽车(car)、公交车(bus)、卡车(truck)三类；
[0018]步骤1.2)，对于N张原始图片，重复步骤1.1)得到N个对应的标签数据，再将(x1,y1,x2,y2,x3,y3,x4,y4,class)标注格式转化为(x
center
,y
center
,x
bottom
,y
bottom
,w,h,class)训练格式，其中，(x
center
,y
center
)表示旋转框中心点坐标，(x
bottom
,y
bottom
)表示旋转框底点坐标，w、h、class分别表示旋转框的宽、高、类别，最后将其分割为训练集和测试集；
[0019]步骤1.3)，在原YOLOv5检测模型中增加CA注意力模块和Transformer预测头，修改模型的参数，搭建模型的运行环境；
[0020]步骤1.4)，在操作系统为Ubuntu 16.04,显卡为NVIDIA RTX 2080Ti的工作站上，设置训练Batch Size大小为4，初始学习率为0.001，训练120个Epochs。
[0021]作为本专利技术一种无人机视角下多目标车辆旋转框跟踪方法进一步的优化方案，所述步骤2)的具体步骤为：
[0022]步骤2.1)，加载模型参数到检测网络模型中，对于每一个卷积层，计算每个卷积核与所有的卷积核的欧式距离之和；
[0023]步骤2.2)，对得到的所有欧式距离之和，按照从小到大排序，剪裁掉低于预定阈值μ所对应的卷积核；
[0024]步骤2.3)，将剪裁掉的卷积核的梯度强制为零，对剪枝后的检测网络模型重新训练，重复裁剪和训练过程，直至检测网络模型收敛；
[0025]步骤2.4)，去掉全零卷积核以及卷积核中的冗余通道，同时去掉BN层参数冗余数值，得到剪枝且去零的压缩的检测网络模型。
[0026]作为本专利技术一种无人机视角下多目标车辆旋转框跟踪方法进一步的优化方案，所述步骤3)的具体步骤为：
[0027]步骤3.1)，构建车辆重识别数据集，完成对原始VeRi数据集的数据增强和容量扩展；
[0028]步骤3.2)，基于余弦度量学习对重识别网络模型进行训练，使得重识别网络模型有良好的分类能力，准确实现对短暂消失又重新出现的车辆目标进行重识别。
[0029]作为本专利技术一种无人机视角下多目标车辆旋转框跟踪方法进一步的优化方案，所述步骤4)的具体步骤为：
[0030]步骤4.1)，单帧图片车辆目标检测：从视频中获取单帧图片，送入检测网络模型中得到该图片中所有车辆的位置信息(x,y,w,h,theta)和置信度其中，x、y分别为车辆旋转本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人机视角下多目标车辆旋转框跟踪方法，其特征在于，包含如下步骤：步骤1)，车辆旋转框检测：制作无人机视角下的车辆数据集，搭建检测网络模型并进行训练，实现对车辆目标的旋转框检测；步骤2)，FPGM剪枝：基于几何中值卷积神经网络滤波器来修剪冗余的滤波器来实现对检测网络模型的压缩；步骤3)，重识别网络训练：构造车辆重识别数据集，训练重识别网络模型，得到目标的外观特征和运动特征，实现车辆目标的重识别；步骤4)，多目标车辆跟踪：将待检测视频输入检测网络模型，得到目标车辆检测框，通过重识别网络提取检测框的外观特征和运动特征，从而计算检测结果与卡尔曼滤波预测结果的相似度，最后通过匈牙利算法进行数据关联，从而实现多目标的跟踪。2.根据权利要求1所述的无人机视角下多目标车辆旋转框跟踪方法，其特征在于，所述步骤1)的具体步骤为：步骤1.1)，通过无人机在若干个交通要道以不同的飞行状态来对车辆目标进行拍摄，获得原始数据；再通过标注软件，人工地对每个车辆目标进行旋转框的标注；标注格式为(x1,y1,x2,y2,x3,y3,x4,y4,class)，其中，(x
i
,y
i
)为第i个顶点坐标，1≤i≤4，class为车辆的类别，包含汽车(car)、公交车(bus)、卡车(truck)三类；步骤1.2)，对于N张原始图片，重复步骤1.1)得到N个对应的标签数据，再将(x1,y1,x2,y2,x3,y3,x4,y4,class)标注格式转化为(x
center
,y
center
,x
bottom
,y
bottom
,w,h,class)训练格式，其中，(x
center
,y
center
)表示旋转框中心点坐标，(x
bottom
,y
bottom
)表示旋转框底点坐标，w、h、class分别表示旋转框的宽、高、类别，最后将其分割为训练集和测试集；步骤1.3)，在原YOLOv5检测模型中增加CA注意力模块和Transformer预测头，修改模型的参数，搭建模型的运行环境；步骤1.4)，在操作系统为Ubuntu 16.04,显卡为NVIDIA RTX 2080 Ti的工作站上，设置训练Bat...

【专利技术属性】
技术研发人员：周明龙，黎宁，缪力泽，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：