一种基于融合信息关联和相机运动补偿的多目标跟踪方法技术

本发明专利技术公开了一种基于融合信息关联和相机运动补偿的多目标跟踪方法，该方法包括：YOLOX目标检测器加入Re

【技术实现步骤摘要】
一种基于融合信息关联和相机运动补偿的多目标跟踪方法


[0001]本专利技术涉及计算机视觉跟踪领域，尤其涉及一种基于融合信息关联和相机运动补偿的多目标跟踪方法。

技术介绍

[0002]多目标跟踪技术旨在检测并跟踪视频中多个目标，并保持视频中同一个目标唯一的身份标识。现已广泛应用在视频监控、自动驾驶、视频分析以及人机交互等领域。
[0003]近年来，由于基于深度学习的目标检测技术的快速发展，先进行目标检测后完成目标跟踪的范式成为主流的多目标跟踪实现方案。目标检测主要负责检测图像中目标位置、大小、置信度等信息。YOLO系列检测器、CenterNet检测器等以实时的性能获得较高的检测精度，极大的推动了目标跟踪等下游任务的研究。
[0004]目前，主流的多目标跟踪算法在检测之后的数据关联阶段主要利用两类模型来完成轨迹和检测结果的关联：一种是位置与运动模型：位置与运动模型：基于匀速模型假设，通过卡尔曼滤波算法预测轨迹在当前帧中的位置、速度等状态信息；计算检测结果与预测结果IOU相似度，通过匈牙利匹配或贪心匹配策略来完成跟踪轨迹与检测结果的关联。另一种是外观模型：为了进一步加强跟踪关联的正确性以及重新匹配消失的目标，外观模型引入目标的深度特征，通过计算轨迹对应目标的深度特征与检测目标深度特征的余弦相似度，通过匈牙利匹配或贪心匹配策略来完成关联步骤。
[0005]基于以上两类模型，代表性算法主要包括基于Sort、DeepSort的多目标跟踪算法。为了进一步提升算法性能、减少计算代价，JDE范式的多目标跟踪算法将Re
‑
ID深度特征的提取扩展到检测中，通过共享参数的方式提升了计算的实时性并取得了不错的跟踪效果。
[0006]多目标跟踪场景的复杂性对检测以及关联步骤带来了极大的挑战。在拥挤、遮挡、模糊场景下，基于Re
‑
ID网络的深度特征变得可靠性降低；在相机运动、长期遮挡场景下，基于IOU相似度的匹配往往不准确。以上问题导致了目标轨迹的连续性较差、轨迹身份切换频繁。

技术实现思路

[0007]本专利技术的目的在于针对现有技术的不足，提供一种基于融合信息关联和相机运动补偿的多目标跟踪方法。
[0008]本专利技术的目的是通过以下技术方案来实现的：一种基于融合信息关联和相机运动补偿的多目标跟踪方法，包括以下步骤：
[0009]S1、对目标数据集进行处理以构建训练集，在YOLOX目标检测器上加入Re
‑
ID分支，并基于训练集对修改后的YOLOX目标检测器进行训练，以获取训练好的YOLOX目标检测器；
[0010]S2、对视频当前帧图像利用YOLOX目标检测器获取检测结果；其中，所述检测结果包括目标检测框、置信度以及外观特征向量；
[0011]S3、基于卡尔曼滤波对现存轨迹在当前帧图像中的位置进行预测，通过相机运动
补偿修正卡尔曼滤波对当前帧图像的运动状态估计，以获取修正后的估计状态信息及其对应的估计协方差矩阵；
[0012]S4、融合外观特征向量、修正后的估计状态信息以及运动方向信息计算第一代价矩阵，并通过匈牙利匹配方法完成高置信度检测的检测结果与现存轨迹的第一次匹配；融合修正后的估计状态信息以及运动方向信息计算第二代价矩阵，并通过匈牙利匹配方法完成低置信度检测的检测结果与现存轨迹的第二次匹配；
[0013]S5、根据步骤S4中匹配后的检测结果对目标轨迹进行管理；其中，所述管理包括创建、删除和更新。
[0014]进一步地，所述步骤S1包括以下子步骤：
[0015]S11、采集目标数据集并对其中的数据进行处理，将同一个ID身份的需要检测的目标数据标注为一个类别，根据处理后的目标数据集构建训练集；
[0016]S12、对YOLOX目标检测器的检测头进行修改：将分类分支改为输出2个通道，分别代表前景、背景的分类概率；增加Re
‑
ID分支，以为特征图每个位置输出128维的外观特征；
[0017]S13、构建多任务损失函数，并在训练集上对修改后的YOLOX目标检测器进行训练，以获取训练好的YOLOX目标检测器；其中，所述多任务损失函数包括分类损失、检测框回归损失、IOU损失以及Re
‑
ID损失。
[0018]进一步地，所述步骤S12中，修改后的YOLOX目标检测器的检测头包括分类分支、Re
‑
ID分支和检测框回归分支，其中，所述分类分支包括用于输出前景的分类概率的通道和用于输出背景的分类概率的通道；所述Re
‑
ID分支为特征图每个位置输出128维的外观特征，Re
‑
ID分支包括位置感知空间注意力机制，所述位置感知空间注意力机制包括1x1卷积层、最大池化层、平均池化层和sigmoid激活函数；所述检测框回归分支包括用于输出4维检测框坐标的分支和用于输出IOU质量估计分数的分支。
[0019]进一步地，所述步骤S2包括以下子步骤：
[0020]S21、将视频当前帧图像输入到YOLOX目标检测器中，以获取检测结果；其中，所述检测结果包括前景分类概率、IOU质量分数、检测框回归结果和外观特征向量；
[0021]S22、使用IOU质量分数与前景分类概率相乘作为置信度，基于该置信度，使用非极大值抑制对检测结果进行筛选处理，以获取筛选后的检测结果；其中，筛选后的检测结果包括目标检测框、置信度和外观特征向量。
[0022]进一步地，所述使用非极大值抑制对检测结果进行筛选处理具体为：将置信度小于预设的第一置信度阈值的检测框去除；通过计算剩余检测框之间的交并比，以去除重复的检测框。
[0023]进一步地，所述步骤S3包括以下子步骤：
[0024]S31、基于卡尔曼滤波匀速模型对现存轨迹在当前帧图像中的运动状态进行估计，以获取估计状态信息和对应的估计协方差矩阵；
[0025]S32、通过相机运动补偿采用图像配准方法计算前后两帧图像的背景区域中关键点的仿射变换矩阵；
[0026]S33、使用仿射变换矩阵对当前帧图像中目标的估计状态信息和对应的估计协方差矩阵进行修正，以获取修正后的估计状态信息及其对应的估计协方差矩阵。
[0027]进一步地，所述步骤S4包括以下子步骤：
[0028]S41、设置第二置信度阈值和第三置信度阈值，将置信度大于第二置信度阈值的检测结果定义为高置信度检测，将置信度大于等于第三置信度阈值且小于等于第二置信度阈值的检测结果定义为低置信度检测；
[0029]S42、根据步骤S2获取的检测结果和步骤S3获取的修正后的估计状态信息以及步骤S41中高置信度检测的定义获取高置信度检测的检测结果，计算高置信度检测的检测结果与现存轨迹的第一位置相似度矩阵、第一外观特征相似度矩阵以及第一方向一致性矩阵，并加权融合相似性信息，以计算第一代价矩阵；并根据第一代价矩阵采用匈牙利匹配方法完成检测结果与现存轨迹的第一次匹配；
[0030]S43、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于融合信息关联和相机运动补偿的多目标跟踪方法，其特征在于，包括以下步骤：S1、对目标数据集进行处理以构建训练集，在YOLOX目标检测器上加入Re
‑
ID分支，并基于训练集对修改后的YOLOX目标检测器进行训练，以获取训练好的YOLOX目标检测器；S2、对视频当前帧图像利用YOLOX目标检测器获取检测结果；其中，所述检测结果包括目标检测框、置信度以及外观特征向量；S3、基于卡尔曼滤波对现存轨迹在当前帧图像中的位置进行预测，通过相机运动补偿修正卡尔曼滤波对当前帧图像的运动状态估计，以获取修正后的估计状态信息及其对应的估计协方差矩阵；S4、融合外观特征向量、修正后的估计状态信息以及运动方向信息计算第一代价矩阵，并通过匈牙利匹配方法完成高置信度检测的检测结果与现存轨迹的第一次匹配；融合修正后的估计状态信息以及运动方向信息计算第二代价矩阵，并通过匈牙利匹配方法完成低置信度检测的检测结果与现存轨迹的第二次匹配；S5、根据步骤S4中匹配后的检测结果对目标轨迹进行管理；其中，所述管理包括创建、删除和更新。2.根据权利要求1所述的基于融合信息关联和相机运动补偿的多目标跟踪方法，其特征在于，所述步骤S1包括以下子步骤：S11、采集目标数据集并对其中的数据进行处理，将同一个ID身份的需要检测的目标数据标注为一个类别，根据处理后的目标数据集构建训练集；S12、对YOLOX目标检测器的检测头进行修改：将分类分支改为输出2个通道，分别代表前景、背景的分类概率；增加Re
‑
ID分支，以为特征图每个位置输出128维的外观特征；S13、构建多任务损失函数，并在训练集上对修改后的YOLOX目标检测器进行训练，以获取训练好的YOLOX目标检测器；其中，所述多任务损失函数包括分类损失、检测框回归损失、IOU损失以及Re
‑
ID损失。3.根据权利要求2所述的基于融合信息关联和相机运动补偿的多目标跟踪方法，其特征在于，所述步骤S12中，修改后的YOLOX目标检测器的检测头包括分类分支、Re
‑
ID分支和检测框回归分支，其中，所述分类分支包括用于输出前景的分类概率的通道和用于输出背景的分类概率的通道；所述Re
‑
ID分支为特征图每个位置输出128维的外观特征，Re
‑
ID分支包括位置感知空间注意力机制，所述位置感知空间注意力机制包括1x1卷积层、最大池化层、平均池化层和sigmoid激活函数；所述检测框回归分支包括用于输出4维检测框坐标的分支和用于输出IOU质量估计分数的分支。4.根据权利要求1所述的基于融合信息关联和相机运动补偿的多目标跟踪方法，其特征在于，所述步骤S2包括以下子步骤：S21、将视频当前帧图像输入到YOLOX目标检测器中，以获取检测结果；其中，所述检测结果包括前景分类概率、IOU质量分数、检测框回归结果和外观特征向量；S22、使用IOU质量分数与前景分类概率相乘作为置信度，基于该置信度，使用非极大值抑制对检测结果进行筛选处理，以获取筛选后的检测结果；其中，筛选后的检测结果包括目标检测框、置信度和外观特征向量。5.根据权利要求4所述的基于融合信息关联和相机运动补偿的多目标跟踪方法，其特
征在于，所述使用非极大值抑制对检测结果进行筛选处理具体为：将置信度小于预设的第一置信度阈值的检测框去除；通过计算剩余检测框之间的交并比，以去除重复的检测框。6.根据权利要求1所述的基于融合信息关联和相机运动补偿的多目标跟踪方法，其特征在于，所述步骤S3包括以下子步骤：S31、基于卡尔曼滤波匀速模型对现存轨迹在当前...

【专利技术属性】
技术研发人员：冯堂虎，梁秀波，张启飞，
申请(专利权)人：浙江大学，
类型：发明
国别省市：