一种无人系统大跨度穿梭多摄像头轨迹跟踪识别方法技术方案

本发明专利技术公开了一种无人系统大跨度穿梭多摄像头轨迹跟踪识别方法，该方法包括：对车辆视频数据进行存图截取，并划分为车辆目标检测数据集训练

【技术实现步骤摘要】
一种无人系统大跨度穿梭多摄像头轨迹跟踪识别方法


[0001]本专利技术涉及车辆轨迹分析领域，尤其涉及一种无人系统大跨度穿梭多摄像头轨迹跟踪识别方法
。

技术介绍

[0002]目前，为分析车辆的驾驶行为，常通过安装大量的监控设备来抓拍交通视频，产生海量的交通数据，以此进行车辆行驶轨迹的分析
。
虽然安装了大量的道路监控设备，但是监控设备识别存在诸多问题，比如：对快速通过目标的识别的精度不高；对车型相似的重识别精度较低；相邻监控设备的间距过大，中间存在盲区无法识别等
。
[0003]跨摄像头车辆拼接是一种不错的解决办法，不过需要先对单摄像头下的车辆进行目标进行检测
。
由于卷积神经网络的蓬勃发展，很多学者采用深度学习来对车辆进行目标检测，一种是基于回归的
One
‑
stage
算法，代表算法有
SSD
和
YOLO
系列，如文献
[1]杨帆
.
基于
SSD
的目标车辆检测算法研究
[J].
物联网技术，
2021
，
11(06):19
‑
22
；在
SSD
的基础上，对
anchor
进行改进，进行了目标车辆检测研究；此外，文献
[2]王嘉路，王颖，钱立峰等
.
基于
YOLOv4
的车辆检测与识别研究
[J].<br/>物联网技术，
2022
，
132(02):24
‑
27
；在
YOLOv4
的基础上添加聚类进行车辆检测与识别研究，这类算法的特点是可以直接预测目标类别和位置
。
另一种是基于候选区域提取的
Two
‑
stage
算法，代表算法有
R
‑
CNN
系列
。
文献
[3]单志勇
,
宫加辉
.
基于改进的
Faster R
‑
CNN
的车辆目标检测
[J].
现代计算机，
2021(20):74
‑
79
，在
Faster R
‑
CNN
添加多尺度的训练图片，有效地提高了车辆目标检测的精度
。
[0004]上述技术只能集中于单摄像头运动车辆的目标检测与跟踪，不能够连续的反映车辆的运行状态
、
运行轨迹
。

技术实现思路

[0005]为了解决上述技术问题，本专利技术的目的是提供一种无人系统大跨度穿梭多摄像头轨迹跟踪识别方法，能够对多摄像头的数据进行联合处理，完成对共同目标车辆的信息共享与整合
。
[0006]本专利技术所采用的第一技术方案是：一种无人系统大跨度穿梭多摄像头轨迹跟踪识别方法，包括以下步骤：
[0007]对车辆视频数据进行存图截取，并划分为桥梁车辆目标检测数据集；
[0008]根据车辆图像特点对
YOLOv4
网络进行改进并利用桥梁车辆目标检测数据集对改进后的网络进行训练，得到训练完成的
VFD
‑
YOLOv4
网络；
[0009]根据训练完成的
VFD
‑
YOLOv4
网络和
DeepSORT
算法对车辆进行检测跟踪，得到不同监控设备下相同车辆的图片；
[0010]构建基于图像特征的多任务学习模型并利用不同监控设备下相同车辆的图片进行训练，得到训练完成的多任务学习模型；
[0011]构建时空特征模型并与训练完成的多任务学习模型融合，得到车辆重识别模型；
[0012]利用车辆重识别模型对不同监控设备下相同车辆的图片进行识别，得到重叠区域内的轨迹；
[0013]基于
DE
‑
LSTM
对非重叠区域内的轨迹进行预测，得到非重叠区域内的轨迹
。
[0014]进一步，所述根据车辆图像特点对
YOLOv4
网络进行改进，其具体改进如下：
[0015]在
YOLOv4
网络的基础上，引入注意力机制学习不同特征的重要性；
[0016]在
YOLOv4
网络的基础上，引入输出层进一步提高特征提取精度；
[0017]在
YOLOv4
网络的基础上，引入
K
‑
means++
聚类分析算法缓解网络收敛过分依赖簇中心的初始化状况；
[0018]在
YOLOv4
网络的基础上，引入软非最大抑制算法选出最佳预测框
。
[0019]通过该优选步骤，增加了众多优异的模块，改进后的网络模型更具鲁棒性，检测速度更快
。
[0020]进一步，所述根据训练完成的
VFD
‑
YOLOv4
网络和
DeepSORT
算法对车辆进行检测跟踪，得到不同监控设备下相同车辆的图片这一步骤，其具体包括：
[0021]基于训练完成的
VFD
‑
YOLOv4
网络对车辆进行检测跟踪，得到车辆检测框；
[0022]基于卡尔曼滤波器对前一帧车辆检测框进行预测，得到当前帧车辆预测框；
[0023]计算当前帧车辆检测框与当前帧车辆预测框的马氏距离；
[0024]基于深度残差网络提取当前帧车辆检测框与当前帧车辆预测框的特征信息，得到当前帧车辆检测框的特征向量和当前帧车辆预测框的特征向量；
[0025]基于当前帧车辆检测框的特征向量和当前帧车辆预测框的特征向量计算最小余弦距离；
[0026]根据马氏距离和最小余弦距离进行加权融合，得到融合关联矩阵；
[0027]根据匈牙利算法和融合关联矩阵对当前帧车辆检测框与当前帧车辆预测框进行匹配，得到匹配结果；
[0028]根据匹配结果进行车辆预测框更新，得到监控设备下相同车辆的图片
。
[0029]通过该优选步骤，进一步提高跟踪精度，并使漏检率和错检率更低
。
[0030]进一步，所述最小余弦距离，其计算表达式如下：
[0031][0032]其中，
d
(2)
(i,j)
表示预测框与检测框最小余弦距离，表示第
j
个检测框的描述算子，表示第
k
个预测框的描述算子
。
[0033]进一步，所述构建基于图像特征的多任务学习模型并利用不同监控设备下相同车辆的图片进行训练，得到训练完成的多任务学习模型这一步骤，其具体包括：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种无人系统大跨度穿梭多摄像头轨迹跟踪识别方法，其特征在于，包括以下步骤：对车辆视频数据进行存图截取，并划分为桥梁车辆目标检测数据集；根据车辆图像特点对
YOLOv4
网络进行改进并利用桥梁车辆目标检测数据集对改进后的网络进行训练，得到训练完成的
VFD
‑
YOLOv4
网络；根据训练完成的
VFD
‑
YOLOv4
网络和
DeepSORT
算法对车辆进行检测跟踪，得到不同监控设备下相同车辆的图片；构建基于图像特征的多任务学习模型并利用不同监控设备下相同车辆的图片进行训练，得到训练完成的多任务学习模型；构建时空特征模型并与训练完成的多任务学习模型融合，得到车辆重识别模型；利用车辆重识别模型对不同监控设备下相同车辆的图片进行识别，得到重叠区域内的轨迹；基于
DE
‑
LSTM
对非重叠区域内的轨迹进行预测，得到非重叠区域内的轨迹
。2.
根据权利要求1所述一种无人系统大跨度穿梭多摄像头轨迹跟踪识别方法，其特征在于，所述根据车辆图像特点对
YOLOv4
网络进行改进，其具体改进如下：在
YOLOv4
网络的基础上，引入注意力机制学习不同特征的重要性；在
YOLOv4
网络的基础上，引入输出层进一步提高特征提取精度；在
YOLOv4
网络的基础上，引入
K
‑
means++
聚类分析算法缓解网络收敛过分依赖簇中心的初始化状况；在
YOLOv4
网络的基础上，引入软非最大抑制算法选出最佳预测框
。3.
根据权利要求1所述一种无人系统大跨度穿梭多摄像头轨迹跟踪识别方法，其特征在于，所述根据训练完成的
VFD
‑
YOLOv4
网络和
DeepSORT
算法对车辆进行检测跟踪，得到不同监控设备下相同车辆的图片这一步骤，其具体包括：基于训练完成的
VFD
‑
YOLOv4
网络对车辆进行检测跟踪，得到车辆检测框；基于卡尔曼滤波器对前一帧车辆检测框进行预测，得到当前帧车辆预测框；计算当前帧车辆检测框与当前帧车辆预测框的马氏距离；基于深度残差网络提取当前帧车辆检测框与当前帧车辆预测框的特征信息，得到当前帧车辆检测框的特征向量和当前帧车辆预测框的特征向量；基于当前帧车辆检测框的特征向量和当前帧车辆预测框的特征向量计算最小余弦距离；根据马氏距离和最小余弦距离进行加权融合，得到融合关联矩阵；根据匈牙利算法和融合关联矩阵对当前帧车辆检测框与当前帧车辆预测框进行匹配，得到匹配结果；根据匹配结果进行车辆预测框更新，得到监控设备下相同车辆的图片

【专利技术属性】
技术研发人员：王萍，刘万泉，韩瑜，郭晓丽，钱军，
申请(专利权)人：中山大学，
类型：发明
国别省市：