一种多摄像头多目标车辆跟踪方法及系统技术方案

本发明专利技术属于车辆跟踪技术领域，具体涉及一种多摄像头多目标车辆跟踪方法及系统，包获取单个摄像头视频内的车辆轨迹、各车辆轨迹的外观重识别外观特征集合以及各车辆轨迹的元信息特征，元信息特征包括车辆的类型特征和颜色特征；获取各摄像头拍摄范围内的交通感知区域，交通感知区域为车辆轨迹经常发生中断的区域；综合单个摄像头视频内各车辆轨迹的外观重识别特征间的差异以及车辆轨迹间的差异，在交通感知区域内融合得到单摄像头视频内完整的车辆轨迹；利用基于车辆轨迹的外观重识别特征集合和元信息特征的联合度量进行跨摄像头的车辆轨迹匹配，并合并出跨摄像头的完整车辆轨迹。实现了高精度、高鲁棒性的多摄像头多目标车辆跟踪。车辆跟踪。车辆跟踪。

【技术实现步骤摘要】
一种多摄像头多目标车辆跟踪方法及系统


[0001]本专利技术属于车辆跟踪
，具体涉及一种多摄像头多目标车辆跟踪方法及系统。

技术介绍

[0002]在智能交通系统的研究中，使用多个摄像头捕获的数据进行视频分析对于许多应用具有重要意义，例如交通流参数估计、异常检测、多摄像头跟踪等。车辆跟踪作为智能交通的一部分，近年来引起了学术界和工业界的广泛关注，尤其是多摄像头的多目标追踪，有助于交通流的预测和分析。
[0003]多摄像头多目标的车辆跟踪旨在多摄像机系统中识别和定位目标，该技术能在重叠或非重叠视域的多个摄像机跟踪多个检测到的对象。一般来说，该技术分为3个子任务：(1)单摄像头内的多目标跟踪，通常采用基于检测的跟踪方式。(2)车辆重识别，在一个大型库集中检索同一个实例。(3)轨迹聚类，旨在将摄像机中的轨迹合并为跨摄像头的关联。尽管在目标检测、跟踪和重识别等任务中已经取得了很好的研究成果，但对于一个高性能的多摄像机多目标车辆跟踪框架仍然面临着许多挑战：(1)由于车辆检测不可靠以及车流量大而导致的遮挡严重，很难在单个摄像头内跟踪车辆的完整轨迹，会经常发生轨迹的中断，从而造成车辆身份的切换。(2)对于车辆重识别来说，同一辆车的不同拍摄角度、同一车型的不同车辆、拍摄分辨率的多样化以及实际场景中不同的光照情况都是实际场景中重识别任务精度不高的影响因素。单摄像头多目标跟踪和重识别的性能不佳可能会导致频繁的车辆身份关联错误。此外，由于重识别任务需要基于单摄像头车辆追踪结果，单摄像头视阈内引入的车辆身份关联错误，也将导致重识别任务中的候选轨迹关联错误。
[0004]为了得到更精准的多摄像机多目标车辆跟踪结果，就需要加强单摄像头目标跟踪的效果和车辆重识别的性能。首先对于单摄像头目标跟踪，需要一个轨迹融合的方法融合单摄像头内中断的轨迹，可以根据中断轨迹的特性找到轨迹融合的大致范围，再利用车辆行驶的特点进一步缩小轨迹融合的范围，并且轨迹的融合需要一个健壮的外观重识别特征用于中断轨迹之间的匹配。为了跨摄像头关联车辆轨迹，基于外观的车辆重识别也是最有效的方法之一。对于车辆重识别，一些工作侧重于通过深度卷积神经网络生成判别特征。然而，在大多数方法中，训练后的重识别模型被用来提取有效的嵌入特征，在测试阶段可以根据轨迹之间的欧氏距离来估计相似性，但另一方面，车辆元信息，例如车辆的类型和颜色等，以及信息空间和时间信息也是辅助多摄像头多目标跟踪的关键信息，而这些信息现有技术中并没有加以利用，有必要对现有技术中的多摄像头多目标车辆跟踪进行改进。

技术实现思路

[0005]本专利技术意在提出了一种基于轨迹融合和多元信息辅助的多摄像头多目标车辆跟踪方法及系统，提高在车辆遮挡严重下单摄像头内的车辆跟踪准确度，以及跨摄像头中不同拍摄角度、不同照明条件下车辆身份关联准确度。
[0006]本专利技术中的多摄像头多目标车辆跟踪方法，包括以下步骤：
[0007]步骤1：获取单个摄像头视频内的车辆轨迹、各车辆轨迹的外观重识别外观特征集合以及各车辆轨迹的元信息特征，所述元信息特征包括车辆的类型特征和颜色特征；
[0008]步骤2：获取各摄像头拍摄范围内的交通感知区域，所述交通感知区域为车辆轨迹经常发生中断的区域；
[0009]步骤3：综合单个摄像头视频内各车辆轨迹的外观重识别特征间的差异以及车辆轨迹间的平滑度差异、车辆速度差异和时间差异，在所述交通感知区域内融合中断的车辆轨迹，得到单摄像头视频内完整的车辆轨迹；
[0010]步骤4：利用基于车辆轨迹的外观重识别特征集合和元信息特征的联合度量进行跨摄像头的车辆轨迹匹配，并合并出跨摄像头的完整车辆轨迹。
[0011]进一步的，步骤4中，根据车辆行驶的交通规则和道路结构以及摄像头的关联模型，利用车辆行驶中时间和空间的约束限制车辆轨迹匹配的搜索空间，并且通过层级聚类的方法合并出跨摄像头的完整车辆轨迹。
[0012]进一步的：步骤1中通过一训练好的目标跟踪神经网络模型，获取单个摄像头视频内的车辆轨迹。
[0013]进一步的，步骤1中的目标跟踪神经网络模型为基于FairMOT框架，并通过使用标注有车辆身份和边界框位置信息的数据集进行训练得到的目标跟踪神经网络模型。
[0014]进一步的：通过所述目标跟踪神经网络模型获得车辆的边界框位置信息和车辆身份信息之后，再配合卡尔曼滤波和匈牙利算法进行匹配，得到最终的单摄像头视频中的车辆轨迹以及每个车辆轨迹的车辆身份信息。
[0015]进一步的，步骤1中，通过一训练好的基于视频的重识别神经网络模型获取各车辆轨迹的外观重识别特征集合。
[0016]进一步的，所述重识别神经网络模型以预训练的ResNet
‑
50网络作为主干网络，并在主干网络与用于分类全连接层之间加入一个BNNeck(Batch Normalization Neck)层；
[0017]在获取车辆轨迹的外观重识别特征集合并进行分类的训练中，通过以分类结果的交叉熵损失作为分类的损失，以基于外观重识别特征集合间放松豪斯多夫距离的三元组策略组建的豪斯多夫距离损失作为度量损失，联合组建用于网络训练优化的损失函数。
[0018]进一步的，步骤1中，分别通过一训练好的元信息分类神经网络模型提取视频每一帧中的车辆类型元信息特征以及车辆颜色元信息特征；
[0019]将一车辆轨迹中各帧的元信息特征进行平均值计算得到该车辆轨迹总的元信息特征。
[0020]进一步的，所述元信息分类神经网络模型，采用Light CNN框架，并以最终分类前的网络输出作为车辆的元信息特征输出。
[0021]进一步的，步骤2中所述交通感知区域的获取方法包括：把单个摄像头视频内各个车辆轨迹的起点和终点作为MeanShift聚类算法的输入，聚类出多个区域；
[0022]计算各个区域内车辆轨迹的起点和终点的密度，找到起点和终点数量均衡的区域作为交通感知区域。
[0023]进一步的，通过计算交通感知区域密度D
ta
衡量区域内的起点和终点数量是否均衡，具体的公式定义为：
[0024][0025]式中N
s,k
，N
e,k
分别表示区域内轨迹起始点和结束点的数量；
[0026]如果D
ta
大于阈值ρ
ta
，那么这个区域就被标定为交通感知区域。
[0027]进一步的，步骤3中，计算车辆轨迹间的平滑度差异d
sm
、速度差异d
vc
和时间差异d
ti
，并联合车辆轨迹间的外观特征之间的欧氏距离d
E
得到用于在交通感知区域内中断轨迹融合的最终度量d
T
：
[0028]d
T
＝d
E
+λ
sm
d
sm
+λ
vc
d
vc
+λ
ti
d<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多摄像头多目标车辆跟踪方法，其特征在于，包括以下步骤：步骤1：获取单个摄像头视频内的车辆轨迹、各车辆轨迹的外观重识别外观特征集合以及各车辆轨迹的元信息特征，所述元信息特征包括车辆的类型特征和颜色特征；步骤2：获取各摄像头拍摄范围内的交通感知区域，所述交通感知区域为车辆轨迹经常发生中断的区域；步骤3：综合单个摄像头视频内各车辆轨迹的外观重识别特征间的差异以及车辆轨迹间的平滑度差异、车辆速度差异和时间差异，在所述交通感知区域内融合中断的车辆轨迹，得到单摄像头视频内完整的车辆轨迹；步骤4：利用基于车辆轨迹的外观重识别特征集合和元信息特征的联合度量进行跨摄像头的车辆轨迹匹配，并合并出跨摄像头的完整车辆轨迹。2.根据权利要求1所述的方法，其特征在于，步骤4中，根据车辆行驶的交通规则和道路结构以及摄像头的关联模型，利用车辆行驶中时间和空间的约束限制车辆轨迹匹配的搜索空间，并且通过层级聚类的方法合并出跨摄像头的完整车辆轨迹。3.根据权利要求1所述的方法，其特征在于，步骤1中通过一训练好的目标跟踪神经网络模型，获取单个摄像头视频内的车辆轨迹。4.根据权利要求1所述的方法，其特征在于，步骤1中，通过一训练好的基于视频的重识别神经网络模型获取各车辆轨迹的外观重识别特征集合。5.根据权利要求1所述的方法，其特征在于，步骤1中，分别通过一训练好的元信息分类神经网络模型提取视频每一帧中的车辆类型元信息特征以及车辆颜色元信息特征；将一车辆轨迹中各帧的元信息特征进行平均值计算得到该车辆轨迹总的元信息特征。6.根据权利要求1所述的方法，其特征在于，步骤2中所述的交通感知区域的获取方法包括：把单个摄像头视频内各个车辆轨迹的起点和终点作为MeanShift聚类算法的输入，聚类出多个区域；计算各个区域内车辆轨迹的起点和终点的密度，找到起点和终点数量均衡的区域作为交通感知区域。7.根据权利要求6所述的方法，其特征在于，通过计算交通感知区域密度D
ta
衡量区域内的起点和终点数量是否均衡，具体的公式定义为：式中N
s,k
，N
e,k
分别表示区域内轨迹起始点和结束点的数量；如果D
ta
大于阈值ρ
ta
，那么这个区域就被标定为交通感知区域。8.根据权利要求1所述的方法，其特征在于，步骤3中，计算车辆轨迹间的平滑度差异d
sm
、速度差异d
vc
和时间差异...

【专利技术属性】
技术研发人员：黎勇，吴金泽，刘美琦，吴建光，刘锐，陈笑天，
申请(专利权)人：四川天奥空天信息技术有限公司，
类型：发明
国别省市：