一种基于视觉的智能网联公交场景下目标跟踪方法及系统技术方案

本发明专利技术涉及一种基于视觉的智能网联公交场景下目标跟踪方法及系统，其中目标跟踪方法包括：步骤1：获取智能网联公交场景下训练图像集合；步骤2：分别构建基于CenterNet的目标检测模型和基于DeepSORT的目标追踪模型；步骤3：使用训练图像集合对目标检测模型和目标追踪模型进行端到端训练；步骤4：获取智能网联公交场景下的实时图像，实现目标跟踪。与现有技术相比，本发明专利技术具有精度高、速度快等优点。速度快等优点。速度快等优点。

【技术实现步骤摘要】
一种基于视觉的智能网联公交场景下目标跟踪方法及系统


[0001]本专利技术涉及目标追踪
，尤其是涉及一种基于视觉的智能网联公交场景下目标跟踪方法及系统。

技术介绍

[0002]随着5G、人工智能、应用物联网等前沿技术的快速发展，基于车路云协同的智能网联公交可以为相关城市廊道的发展规划提供可靠、高效、便捷的公共交通智能出行方案。其中，可利用基于5G的车路协同超视距全息感知与边缘云计算技术来保障车辆运行的安全可靠性，而超视距的全息感知则必须依赖于对于道路交通参与者准确的目标跟踪。
[0003]多目标跟踪(MOT)是计算机视觉领域的重要任务，在智能监控系统、无人驾驶、人机交互，智慧交通等领域有着广泛的应用。是利用一个视频或图像序列的上下文信息，对目标的外观和运动信息进行建模，从而对目标的运动状态进行预测并标定目标位置的一种技术。多目标跟踪顾名思义就是跟踪视频画面中的多个目标，得到这些目标中的运动轨迹，其核心在于目标检测和数据关联，即在每一帧进行目标检测，再利用目标检测的结果来进行目标跟踪，后面一步一般称之为数据关联，数据关联更多依赖于手工特征提取(外观特征、运动特征、形状特征等)。
[0004]公共交通的载客率大，资源利用率高，是城市交通系统中的重要组成部分，智能网联公交作为现阶段网联公交发展的最理想方向，在其运行过程中需要对车辆所在道路上的各类目标进行追踪，避免其与网联公交相碰撞，对追踪方法的精度和速度要求较高，现有技术中还未有一种针对智能网联公交的目标追踪方法。

技术实现思路

[0005]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种精度高、速度快的基于视觉的智能网联公交场景下目标跟踪方法及系统。
[0006]本专利技术的目的可以通过以下技术方案来实现：
[0007]一种基于视觉的智能网联公交场景下目标跟踪方法，所述的智能网联公交车场景下目标跟踪方法包括：
[0008]步骤1：获取智能网联公交场景下训练图像集合；
[0009]步骤2：分别构建基于CenterNet的目标检测模型和基于DeepSORT的目标追踪模型；
[0010]步骤3：使用训练图像集合对目标检测模型和目标追踪模型进行端到端训练；
[0011]步骤4：获取智能网联公交场景下的实时图像，实现目标跟踪。
[0012]优选地，所述的目标检测模型包括：
[0013]主干特征提取网络，采用ResNet
‑
34为主干网络，并使用深层聚合算子DLA对ResNet
‑
34主干网络进行改进；主干特征提取网络的输入为图像，输出为四个高分辨率特征图，其中三个特征图输入物体检测分支，一个特征图输入ID嵌入分支；
[0014]物体检测分支，使用Heatmap Head、Box Size Head和Center Offset Head三个并行回归头附加到主干特征提取网络用于分别估计热图Heat map、边界框大小Box size和对象中心偏移Center offset；
[0015]Re
‑
ID检测分支，用于生成可以区分不同对象的Re
‑
ID特征。
[0016]更加优选地，所述的Heatmap Head损失函数具体为：
[0017]对于图像中心的每个GT框计算物体中心为和然后在特征图上的位置由除以步长得到，即然后在位置(x,y)的热图响应计算为：
[0018][0019]其中，N表示图像中物体的数量，σ
c
为标准差；
[0020]Heatmap Head损失函数定义为具有focal loss的像素级逻辑回归：
[0021][0022]这里的是预测的heatmap特征图；M是heatmap的ground
‑
truth；α和β为参数。
[0023]更加优选地，所述的Box Size Head和Center Offset Head的损失函数具体为：
[0024]将Box Size Head和Center Offset Head的输出表示为和对于图像中的每一个GT box，设置L1损失函数：
[0025][0026]其中，N为一幅图像中物体总数量；和分别为Center Offset Head预测特征图和Box Size Head预测特征图；
[0027]ground
‑
truth特征图分别设置如下：
[0028][0029][0030]其中，(x1,y1)为物体的左上角坐标；(x2,y2)为物体的右下角坐标；(c
x
,c
y
)为物体的中心坐标。
[0031]更加优选地，所述的Re
‑
ID检测分支的损失函数具体为：
[0032][0033]其中，p(k)为第k个物体的预测类别，即ID编号的可能性分布；L(k)为第k个物体真实的onehot编码。
[0034]优选地，所述的基于DeepSORT的目标追踪模型具体为：
[0035]首先，根据目标检测模型检测到的Bbox数据生成当前帧检测框detections；
[0036]其次，使用卡尔曼滤波预测前一帧中的跟踪框tracks在当前帧的状态；
[0037]随后，计算跟踪框tracks和检测框detections的代价矩阵，根据代价矩阵进行匹配，获得当前帧的所有匹配对、未匹配的跟踪框tracks以及未匹配的detections；
[0038]最后，对于每个匹配成功的跟踪框track，用其对应的检测框detection进行更新，并处理未匹配的跟踪框tracks和检测框detections。
[0039]更加优选地，所述的代价矩阵的计算方法为：通过外观信息、马氏距离或者IOU来计算代价矩阵。
[0040]更加优选地，所述的根据代价矩阵进行匹配的方法为：计算出代价矩阵后相继进行级联匹配和IOU匹配。
[0041]一种用于上述任一项所述目标跟踪方法的基于视觉的智能网联公交场景下目标跟踪系统，所述的目标跟踪系统包括：
[0042]道路图像获取设备，安装在智能网联公交车上，用于获取车辆所在的道路图像，并将图像传输至处理器；
[0043]处理器，内嵌有目标检测模型和目标追踪模型，目标检测模型的输出端与目标追踪模型的输入端相连，用于实现目标追踪；
[0044]可视化设备，与处理器相连，用于实现目标检测和目标追踪结果的可视化。
[0045]优选地，所述的目标检测模型具体为：
[0046]主干特征提取网络，采用ResNet
‑
34为主干网络，并使用深层聚合算子DLA对ResNet
‑
34主干网络进行改进；主干特征提取网络的输入为图像，输出为四个高分辨率特征图，其中三个特征图输入物体检测分支，一个特征图输入ID嵌入分支；
[0047]物体检测分支，使用Heatmap H本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的智能网联公交场景下目标跟踪方法，其特征在于，所述的智能网联公交车场景下目标跟踪方法包括：步骤1：获取智能网联公交场景下训练图像集合；步骤2：分别构建基于CenterNet的目标检测模型和基于DeepSORT的目标追踪模型；步骤3：使用训练图像集合对目标检测模型和目标追踪模型进行端到端训练；步骤4：获取智能网联公交场景下的实时图像，实现目标跟踪。2.根据权利要求1所述的一种基于视觉的智能网联公交场景下目标跟踪方法，其特征在于，所述的目标检测模型包括：主干特征提取网络，采用ResNet
‑
34为主干网络，并使用深层聚合算子DLA对ResNet
‑
34主干网络进行改进；主干特征提取网络的输入为图像，输出为四个高分辨率特征图，其中三个特征图输入物体检测分支，一个特征图输入ID嵌入分支；物体检测分支，使用Heatmap Head、Box Size Head和Center Offset Head三个并行回归头附加到主干特征提取网络用于分别估计热图Heat map、边界框大小Box size和对象中心偏移Center offset；Re
‑
ID检测分支，用于生成可以区分不同对象的Re
‑
ID特征。3.根据权利要求2所述的一种基于视觉的智能网联公交场景下目标跟踪方法，其特征在于，所述的Heatmap Head损失函数具体为：对于图像中心的每个GT框计算物体中心为和然后在特征图上的位置由除以步长得到，即然后在位置(x,y)的热图响应计算为：其中，N表示图像中物体的数量，σ
c
为标准差；Heatmap Head损失函数定义为具有focal loss的像素级逻辑回归：这里的是预测的heatmap特征图；M是heatmap的ground
‑
truth；α和β为参数。4.根据权利要求2所述的一种基于视觉的智能网联公交场景下目标跟踪方法，其特征在于，所述的Box Size Head和Center Offset Head的损失函数具体为：将Box Size Head和Center Offset Head的输出表示为和对于图像中的每一个GT box，设置L1损失函数：
其中，N为一幅图像中物体总数量；和分别为Center Offset Head预测特征图和Box Size Head预测特征图；ground
‑
truth特征图分别设置如下：truth特征图分别设置如下：其中，(x1,y1)为物体的左上角坐标；(x2,y2)为物体的右下角坐标；(c
x
,c
y
)为物体的中心坐标。5.根据权利要求2所述的一种基于视觉的智能网联公交场景下目标跟踪方法，其特征在于，所述的Re
‑
ID检测分支的损失函数具体为：其中，p(k)为第k个物体的预测类别，即ID编号的可能性分布；L(k)为第k个物体真实的onehot编码。...

【专利技术属性】
技术研发人员：张泽晨，张培志，张飞，颜英，王晓，
申请(专利权)人：上海智能新能源汽车科创功能平台有限公司，
类型：发明
国别省市：