基于无人机和多目标追踪的智能交通流量数据统计方法及系统技术方案

本发明专利技术公开了一种基于无人机和多目标追踪的智能交通流量数据统计方法，利用无人机灵活的特点，解决了传统方法中采用路口固定摄像头视野小、灵活性差等问题，并且由于无人机可以飞到较高的地方，可以很好地减少在进行车辆检测时某些车辆被遮挡的问题；在算法方面，使用了深度学习的方法进行有关车辆的目标检测和追踪，与目前传统算法相比，精度高，可扩展性强，适用范围更广，并且本发明专利技术提出了新的CD

【技术实现步骤摘要】
基于无人机和多目标追踪的智能交通流量数据统计方法及系统


[0001]本专利技术属于深度学习图像处理
，涉及图像的预处理、目标检测和追踪、深度学习模型压缩等技术，该方法可用于智慧城市的交通流量数据获取和管控中。具体为用无人机获取实时路面视频，通过部署在嵌入式平台上的算法进行数据的智能处理，获取车流量信息，最终可视化到网页中。

技术介绍

[0002]随着我国经济发展和人民生活水平提高，对城市交通的压力越来越大，交通拥堵现象严重，现代化的城市急需更加智能的交通管控方案。在智慧交通的建设过程当中，车流量数据的获取一直存在许多亟待解决的问题。车流量指的是在一定的时间内，通过某道路断面的车辆数，可通过道路路口的摄像头对行驶的车辆进行监控，进而获取车流量，但是传统的道路路口摄像头视野小、灵活性差、在大型十字路口应用低效，并且由于固定摄像头通常安装位置不是很高，在进行拍摄时，车辆的遮挡问题比较严重。
[0003]目前的追踪算法大部分采用了先检测后追踪方式实现多目标追踪任务，为了保证系统的追踪效果，需要检测器具有较高的车辆检测能力。无人机从高空拍摄地面汽车时，所拍摄的图像中很多汽车的像素面积很小，这会影响模型的检测能力。现阶段常用的追踪算法为 DEEPSORT(见参考文献[1])，其最初设计是为了追踪行人，其表观特征提取网络也是针对行人的，因此在追踪汽车这类快速运动小目标时直接使用原网络模型权重效果并不好。
[0004]无人机车流检测需要具有较好的实时性，然而目前的深度学习算法移植到嵌入式平台后，由于嵌入式平台比计算机的硬件水平差很多，所以使用原始框架推理模型速度很慢。

技术实现思路

[0005]本专利技术针对
技术介绍
所述问题，提出了一种基于无人机和多目标追踪的智能交通流量数据统计方法及系统，本专利技术方法能够对通过道路路口的车辆进行追踪和计数，具备了灵活性和准确性。
[0006]本专利技术的技术方案包括如下步骤：
[0007]S1：制作具有高空俯视角度车辆图片的目标检测数据集作为训练集，将目标分为小目标和普通目标；其中，根据数据集标签给的目标左上角和右下角的坐标确定目标的宽和高，将目标宽是图片宽的十分之一以下或目标高是图片高的十分之一以下的目标定义为小目标；将除了小目标以外其他的目标定义为普通目标；
[0008]S2：用步骤S1中的训练集训练YOLOv5目标检测模型(见参考文献[2])，作为多目标追踪网络的车辆检测模块；
[0009]S3：改进多目标追踪网络DEEPSORT算法，构建CD
‑
DEEPSORT模型，作为多目标追踪
网络的车辆追踪模块；
[0010]S4：将上述车辆检测模块和车辆追踪模块移植到嵌入式平台；
[0011]S5：无人机配备GPS和电子罗盘，以获得当前GPS坐标和方向角；无人机搭载云台、摄像头、嵌入式平台以及5G通信模块飞到天空，到达指定GPS坐标和方向角位置悬停，对道路情况进行拍摄，获得道路的实时视频数据。嵌入式平台上的计数区域划定算法会划定计数区域，为车流量的计数做准备；
[0012]S6：通过部署在嵌入式平台上的车辆检测模块和车辆追踪模块对摄像头拍摄的图像进行处理，确定车辆位置以及编号信息(ID)；
[0013]S7：车辆计数模块根据步骤S6的输出的车辆位置和编号信息对车辆进行计数，获得通过路口的车辆数量，进而计算出车流量；
[0014]S8：嵌入式平台通过无人机搭载的5G通信模块将经过车辆检测模块、车辆追踪模块以及车辆计数模块处理后生成的带有车辆检测框和ID的画面以及车流量等数据传送到服务器，服务器将上述数据存储到数据库；
[0015]S9：构建可视化模块，显示5G通信模块传送过来的图像以及数据。
[0016]进一步的技术方案，步骤S1中，针对所述训练集中的小目标车辆进行贴图的数据增强，增加小目标的数量；
[0017]将目标宽高是原图宽高的十分之一以下的目标定义为小目标是为了划分出图片中的像素面积比较小的目标。小目标由于像素面积比较小，更不容易检测出来，对目标检测模型的训练影响比较大，所以在步骤S1中对小目标进行了贴图的数据增强。
[0018]贴图的方式为从训练集中选取一部分图片作为贴图的背景图片，然后将其他图片作为原图，根据数据集标签坐标从原图中抠取小目标，将抠取的小目标贴在背景图片上。为了使贴图后生成的图片尽可能与实际相符，在贴图时，首先通过现有的目标分割网络对图片中的公路进行像素级分割，确定公路的范围，将抠取的小目标图片贴在这个范围中。从原图抠取的小目标图片和背景图的目标要求不能相互重叠，且不发生形变。
[0019]由于原图与背景图的尺寸大小可能不同，所以将原图抠取的小目标根据原图与背景图的宽高比按如下公式1和公式2进行面积调整，得到背景图粘贴小目标，具体操作为：先根据公式1的形式对原图抠取小目标的宽进行调整，得到调整好的宽(即背景图粘贴小目标的宽)；然后再用这个调整好的宽按照原图抠取小目标的宽高比例根据公式2的形式对原图抠取小目标的高进行调整，即可得到这个小目标贴到背景图时的高(即背景图粘贴小目标的高)。
[0020]X1*W2＝X2*W1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式1
[0021]在调整原图抠取小目标的宽时，其中X1为原图抠取小目标的宽，X2为背景图粘贴小目标的宽，W1为原图的宽，W2为背景图的宽；
[0022]X1*Y2＝Y1*X2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式2
[0023]在调整原图抠取小目标的高时，其中X1为原图抠取小目标的宽，Y1为原图抠取小目标的高，X2为背景图粘贴小目标的宽，Y2为背景图粘贴小目标的高。
[0024]进一步的技术方案，步骤S3中CD
‑
DEEPSORT模型在原DEEPSORT算法上的改进主要有以下几个方面：
[0025]a.在原DEEPSORT算法级联匹配方面提出了一个新的表观特征提取网络,网络的主
干采用了4个结合了CSPNet(Cross Stage Partial Network，见参考文献[4])结构的残差块串联的形式，每个残差块分为上下两条支路，上支路含有两个CBL(conv+Batch Normalization+Leaky_relu)单元和1
‑
3个残差单元(Resunit)，下支路为1个CBL单元，最后上下支路进行拼接(concat)操作，每个残差单元包括两个CBL单元和一个加法器 (add)，每个CBL单元包含一个卷积层(conv)、一个批归一化BatchNormalization(BN) 和一个Leaky_relu激活函数；
[0026]b.在原DEEPSORT算法的级联匹配方面使用了调整余弦相似度来进行表观特征匹配，即先对表观特征向量进行调整，让每个向量减去各自所有元素的平均值，进行标准化处理，然后再求余弦相似度进行匹配操作；
[0027]c.在原DEEPSORT算法的IOU(Int本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机和多目标追踪的智能交通流量数据统计方法，其特征在于，包括以下步骤：S1：制作具有高空俯视角度车辆图片的目标检测数据集作为训练集，将目标分为小目标和普通目标；其中，根据数据集标签给的目标左上角和右下角的坐标确定目标的宽和高，将目标宽是图片宽的十分之一以下或目标高是图片高的十分之一以下的目标定义为小目标；将除了小目标以外其他的目标定义为普通目标；S2：用所述训练集训练YOLOv5目标检测模型，作为多目标追踪网络的车辆检测模块；S3：改进多目标追踪网络DEEPSORT算法，构建CD
‑
DEEPSORT模型，作为多目标追踪网络的车辆追踪模块；S4：将所述车辆检测模块和车辆追踪模块移植到嵌入式平台；S5：无人机配备GPS和电子罗盘，以获得当前GPS坐标和方向角；无人机搭载云台、摄像头、嵌入式平台以及5G通信模块飞到天空，到达指定GPS坐标和方向角位置悬停，对道路情况进行拍摄，获得道路的实时视频数据；嵌入式平台上的计数区域划定算法会划定计数区域，为车流量的计数做准备；S6：通过部署在嵌入式平台上的车辆检测模块和车辆追踪模块对摄像头拍摄的图像进行处理，确定车辆位置以及编号信息；S7：车辆计数模块根据步骤S6的输出的车辆位置和编号信息对车辆进行计数，获得通过路口的车辆数量，进而计算出车流量；S8：嵌入式平台通过无人机搭载的5G通信模块将经过车辆检测模块、车辆追踪模块以及车辆计数模块处理后生成的带有车辆检测框和编号信息的画面以及车流量数据传送到服务器，服务器将数据存储到数据库；S9：构建可视化模块，显示5G通信模块传送过来的图像以及数据。2.如权利要求1所述的基于无人机和多目标追踪的智能交通流量数据统计方法，其特征在于，步骤S1中，针对所述训练集中的小目标车辆进行贴图的数据增强，增加小目标的数量；贴图的方式包括：训练集中选取一部分图片作为贴图的背景图片，然后将其他图片作为原图，根据数据集标签坐标从原图中抠取小目标，将抠取的小目标贴在背景图片上；挑选的图片在贴图时相互不重叠，且不发生形变。3.如权利要求2所述的基于无人机和多目标追踪的智能交通流量数据统计方法，其特征在于，将原图抠取的小目标根据原图与背景图的宽高比按公式1和公式2进行面积调整，得到背景图粘贴小目标：先根据公式1的形式对原图抠取小目标的宽进行调整，得到调整好的宽，然后用调整好的宽按照原图抠取小目标的宽高比例根据公式2的形式对原图抠取小目标的高进行调整，得到小目标贴到背景图时的高：X1*W2＝X2*W1ꢀꢀꢀꢀ
公式1在调整原图抠取小目标的宽时，其中X1为原图抠取小目标的宽，X2为背景图粘贴小目标的宽，W1为原图的宽，W2为背景图的宽；X1*Y2＝Y1*X2ꢀꢀꢀꢀ
公式2在调整原图抠取小目标的高时，其中X1为原图抠取小目标的宽，Y1为原图抠取小目标的高，X2为背景图粘贴小目标的宽，Y2为背景图粘贴小目标的高。
4.如权利要求2或3所述的基于无人机和多目标追踪的智能交通流量数据统计方法，其特征在于，在贴图时，通过对背景图中的公路进行像素级分割，确定公路的范围，将抠取的小目标图片贴在这个范围中。5.如权利要求1所述的基于无人机和多目标追踪的智能交通流量数据统计方法，其特征在于，把YOLOv5目标检测模型和CD
‑
DEEPSORT的表观特征提取网络模型精度从32浮点型降低到16浮点型，并采用once
‑
for
‑
all算法对YOLOv5目标检测模型和CD
‑
DEEPSORT的表观特征提取网络模型进行压缩；和/或，所述车辆检测模块和所述车辆追踪模块的深度学习模型由pytorch框架转换到TensorRT框架进行部署。6.如权利要求1所述的基于无人机和多目标追踪的智能交通流量数据统计方法，其特征在于，步骤S3中CD
‑
DEEPSORT模型在原DEEPSORT算法上的改进包括以下中的一个或多个：a...

【专利技术属性】
技术研发人员：邱崧，刘壮，韩定定，张博远，张聪慧，金豫，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：