基于多目标跟踪算法的城市高架道路车辆测速方法技术

本发明专利技术公开了基于多目标跟踪算法的城市高架道路车辆测速方法，本发明专利技术的有益效果：本发明专利技术采用先进的多目标跟踪算法，实现对城市高架道路中车辆行驶速度的精确测量，能够提高道路交通的安全性和效率，同时本发明专利技术能够在无需添加外部设备的情况下，通过软件的方式，在任意已有的视频监控设备上实现车辆测速功能，大大降低了城市道路车辆测速的成本和复杂性。大降低了城市道路车辆测速的成本和复杂性。大降低了城市道路车辆测速的成本和复杂性。

【技术实现步骤摘要】
基于多目标跟踪算法的城市高架道路车辆测速方法

：
[0001]本专利技术属于图像处理
，具体涉及一种基于多目标跟踪算法的城市高架道路车辆测速方法，常用于城市高架道路，桥梁等设施。

技术介绍
：
[0002]车辆超速行驶一直是引起交通事较为普遍和直接的因素，若不进行严格的监测，将会对人们生命健康和社会秩序造成巨大的影响。同时对车辆行驶速度的监测也对减少交通拥堵和有效进行车辆调控有着重大帮助。
[0003]目前最为普遍的车辆测速方式是采用超声波和激光测速仪，这种方式测速准确，但是由于其昂贵的设备费用以及较为严格的工作环境，目前无法像视频监控一样广泛的安装在城市道路的各个角落，虽有采用深度学习技术，通过Faster RCNN目标检测技术和SORT多目标跟踪技术实现了车辆测速，但是由于其采用的技术较为简单，检测的速度和准确度仍存在不足。

技术实现思路
：
[0004]本专利技术的目的就在于为了解决上述问题而提供基于多目标跟踪算法的城市高架道路车辆测速方法。
[0005]为了解决上述问题，本专利技术提供了一种技术方案：
[0006]一种基于多目标跟踪算法的城市高架道路车辆测速方法，具体包括如下步骤：
[0007]步骤1)采集待测区域的视频数据，并将其分为训练用数据和测试用数据；
[0008]步骤2)对步骤1)采集的视频数据进行预处理，对训练用视频数据逐帧进行标记，制作标签。具体步骤如下：
[0009]步骤2.1)逐帧切分视频数据，得到单帧图像数据；
[0010]步骤2.2)标出首帧图像中所有的车辆的位置，并且为每一个车辆初始化独立的轨迹ID；
[0011]步骤2.3)对于在后续帧中出现的车辆，若其在先前帧中出现并已经获得相应的轨迹ID，则采用同样的轨迹ID在后续帧中标记其位置。若为首次出现，则为其初始化独立的轨迹ID，并利用该ID标记其位置；
[0012]步骤2.4)生成相应的坐标文件，并和单帧图像数据相对应，组合成为训练数据集；
[0013]步骤3)部署通用多目标跟踪算法，并且利用步骤2)制作得到的训练数据集对初始模型进行特向训练。具体步骤如下：
[0014]步骤3.1)首先采用YOLOv3目标检测算法，检测出每一帧图像中的车辆。具体步骤如下：
[0015]步骤3.1.1)对每帧输入的图像，首先送入YOLOv3模型，输出一组向量。其中包含了所有目标的位置信息及其类别向量，对于本方法的应用场景，只需检测车辆，故只取其中的车辆检测类别。如此输出的结果只包含了车辆在图片中的位置信息，具体为检测框的左上
角坐标与宽高大小，格式如下公式：
[0016]p
i
＝[x,y,w,h]T
[0017]步骤3.1.2)考虑到每一帧中新目标的出现以及旧目标删除的特殊性，故在对检测结果进行运动估计和数据关联之前，设定关于新旧目标建立和删除的规则，如下公式：
[0018]Bool
i
＝(x<20or y<20or(xmax
‑
x)<20
[0019][0020]上式为逻辑表达式，其中布尔型变量Bool
i
取值为1表示第i个新对象被建立，取值为0表示已存在的第i个对象被删除。表示第i个对象是否已存在的取反。(x<20or y<20or(xmax
‑
x)<20or(ymax
‑
y)<20)表示目标位置是否处于图像边缘。即当目标出现在图像边缘时，若其已经存在则代表就目标即将消失，考虑将其删除；若不存在则代表新目标的出现，对其进行初始化。
[0021]步骤3.2)部署通用多目标跟踪算法，通过相邻帧之间的运动估计和数据关联实现在多帧图像中多个目标的实时跟踪。具体步骤如下：
[0022]步骤3.2.1)对于通过步骤2.1)成功检测和初始化的目标，将采用卡尔曼滤波器对其进行运动估计。首先对卡尔曼滤波器的目标状态参数进行初始化，由于专利应用场景的特点，模型采用了匀速线性运动假设。其中估计模型的参数如下所示：
[0023][0024]其中u和v分别代表目标中心在图像中的坐标，s和r分别代表目标边框占图像总面积的比例和长宽比。分别代表这三个量在时间上的差分。故该状态估计的观测变量可以直接写作下式：
[0025]Observation＝[u,v,s,r]T
[0026]基于上述的估计模型和观测变量，卡尔曼模型将进行迭代更新。针对车辆目标运动，引入一个离散控制过程系统。该系统可用一个随机线性微分方程来描述，使用k
‑
1时刻的最优估计预测得到k时刻车辆的先验状态估计，表示为
[0027][0028]上式中，x
k
是k时刻的n维系统状态向量，u
k
是k时刻对系统的一维控制向量。A是n*n维状态转移矩阵，B是系统控制矩阵。ω
k
表示预测过程中的噪声，假设其为高斯白噪声。
[0029]步骤3.2.2)当运动估计模型根据上一帧的状态，输出目标在当前状态的先验估计状态(以下简称预测值)之后。需要对当前帧的预测值和检测值进行匹配。匹配成功之后才能进行下一步的修正，得到当前帧目标的最优估计。
[0030]本方法采用加权方式融合运动相似度和外观相似度的方式来进行数据关联，完成对预测值和检测的匹配。其中运动相似度计算采用马哈拉诺比斯距离，外观相似度采用了余弦距离。马哈拉诺比斯距离的计算方式如下所示：
[0031][0032]其中(y
i
,S
i
)表示第i条轨迹分布y
i
在测量空间S
i
上的投影，d
j
则表示第j个检测框结果。马哈拉诺比斯距离代表了检测结果的不确定性，即检测结果距离平均跟踪结果相差
了多少个标准差，在物理上反映了物体运动的剧烈程度。因此该指标可以用作物体运动特征的度量。
[0033]外观相似度的计算方式采用最小余弦距离，如下公式：
[0034][0035]其中r
i
代表了通过对每个检测结果截取出的局部图像数据计算得到的外观特征描述子。关于外观特征的计算，本方法采用多层卷积神经网络，提取其深层外观特征，作为每个目标的外观特征描述子。
[0036]其中卷积神经网络的结构由两个卷积层和六个残差结构组成，最终的整体特征图通过最后的全连接层得到。同时通过标准化将外观特征投影到单位超球面上，以方便将外观特征代入到最小余弦公式的计算中。该网络结构将会利用步骤2)制作的车辆训练数据集进行训练，从而提高其对车辆这一物体外观特征提取的能力。
[0037]最终对于度量目标运动程度的马哈拉比斯距离和度量目标之间外观特征相似度的最小余弦距离这两种度量指标，采用加权求和的方式对两者进行融合，如下所示：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多目标跟踪算法的城市高架道路车辆测速方法，其特征在于，具体包括如下步骤：步骤1)、采集待测区域的视频数据，并将其分为训练用数据和测试用数据；步骤2)、对步骤1)采集的视频数据进行预处理，对训练用视频数据逐帧进行标记，制作标签；步骤3)、部署通用多目标跟踪算法，并且利用步骤2)制作得到的训练数据集对初始模型进行特向训练；步骤4)、采用步骤3)训练得到特向多目标跟踪算法，对步骤1)采集得到的视频数据进行跟踪，得到车辆的运动轨迹。步骤5)、通过仿射变换完成图像空间到现实空间的映射，再根据车辆的运动轨迹对其行驶速度进行测定。2.根据权利要求1所述的基于多目标跟踪算法的城市高架道路车辆测速方法，其特征在于，所述的步骤2)对步骤1)采集的视频数据进行预处理，对训练用视频数据逐帧进行标记，制作标签，具体检测步骤如下：步骤2.1)、逐帧切分视频数据，得到单帧图像数据；步骤2.2)、标出首帧图像中所有的车辆的位置，并且为每一个车辆初始化独立的轨迹ID；步骤2.3)、对于在后续帧中出现的车辆，若其在先前帧中出现并已经获得相应的轨迹ID，则采用同样的轨迹ID在后续帧中标记其位置。若为首次出现，则为其初始化独立的轨迹ID，并利用该ID标记其位置；步骤2.4)、生成相应的坐标文件，并和单帧图像数据相对应，组合成为训练数据集。3.根据权利要求1所述的基于多目标跟踪算法的城市高架道路车辆测速方法，其特征在于，所述步骤3)部署通用多目标跟踪算法，并且利用步骤2)制作得到的训练数据集对初始模型进行特向训练，具体如下：步骤3.1)、首先采用YOLOv3目标检测算法，检测出每一帧图像中的车辆；步骤3.2)、部署通用多目标跟踪算法，通过相邻帧之间的运动估计和数据关联实现在多帧图像中多个目标的实时跟踪；步骤3.3)、利用步骤2)制作得到的关于车辆的专项训练数据集，对通用多目标跟踪算法进行关于车辆跟踪的特向训练。4.根据权利要求3所述的基于多目标跟踪算法的城市高架道路车辆测速方法，其特征在于，所述步骤3.1)采用YOLOv3目标检测算法，检测出每一帧图像中的车辆，具体如下：步骤3.1.1)、对每帧输入的图像，首先送入YOLOv3模型，输出一组向量。其中包含了所有目标的位置信息及其类别向量，对于本方法的应用场景，只需检测车辆，故只取其中的车辆检测类别。如此输出的结果只包含了车辆在图片中的位置信息，具体为检测框的左上角坐标与宽高大小，格式如下公式：p
i
＝[x,y,w,h]
T
步骤3.1.2)、考虑到每一帧中新目标的出现以及旧目标删除的特殊性，故在对检测结果进行运动估计和数据关联之前，设定关于新旧目标建立和删除的规则，如下公式：Bool
i
＝(x<20 or y<20 or(xmax
‑
x)<20
上式为逻辑表达式，其中布尔型变量Bool
i
取值为1表示第i个新对象被建立，取值为0表示已存在的第i个对象被删除。表示第i个对象是否已存在的取反。(x<20 or y<20 or(xmax
‑
x)<20 or(ymax
‑
y)<20)表示目标位置是否处于图像边缘。即当目标出现在图像边缘时，若其已经存在则代表就目标即将消失，考虑将其删除；若不存在则代表新目标的出现，对其进行初始化。5.根据权利要求3所述的基于多目标跟踪算法的城市高架道路车辆测速方法，其特征在于，所述步骤3.2)部署通用多目标跟踪算法，通过相邻帧之间的运动估计和数据关联实现在多帧图像中多个目标的实时跟踪，具体如下：步骤3.2.1)、对于通过步骤2.1)成功检测和初始化的目标，将采用卡尔曼滤波器对其进行运动估计。首先对卡尔曼滤波器的目标状态参数进行初始化，由于专利应用场景的特点，模型采用了匀速线性运动假设。其中估计模型的参数如下所示：其中u和v分别代表目标中心在图像中的坐标，s和r分别代表目标边框占图像总面积的比例和长宽比。分别代表这三个量在时间上的差分。故该状态估计的观测变量可以直接写作下式：Observation＝[u,v,s,r]
T
基于上述的估计模型和观测变量，卡尔曼模型将进行迭代更新。针对车辆目标运动，引入一个离散控制过程系统。该系统可用一个随机线性微分方程来描述，使用k
‑
1时刻的最优估计预测得到k时刻车辆的先验状态估计，表示为估计预测得到k时刻车辆的先验状态估计，表示为上式中，x
k
是k时刻的n维系统状态向量，u
k
是k时刻对系统的一维控制向量。A是n*n维状态转移矩阵，B是系统控制矩阵。ω
k
表示预测过程中的噪声，假设其为高斯白噪声。步骤3.2.2)、当运动估计模型根据上一帧的状态，输出目标在当前状态的先验估计状态(以下简称预测值)之后。需要对当前帧的预测值和检测值进行匹配。匹配成功之后才能进行下一步的修正，得到当前帧目标的最优估计。本方法采用加权方式融合运动相似...

【专利技术属性】
技术研发人员：封玲，王晓宇，王一明，胡珉，高新闻，薛子欣，赵鹏，陈莹锋，
申请(专利权)人：上海大学上海城建城市运营集团有限公司上海市政养护管理有限公司，
类型：发明
国别省市：