基于稀疏光流运动补偿的两阶段多目标追踪方法及产品技术

本发明专利技术提供了一种基于稀疏光流运动补偿的两阶段多目标追踪方法及产品，涉及多目标追踪技术领域，包括：分阶段处理目标检测器输出的多目标信息，第一阶段匹配针对高置信度的候选目标，同时考虑待追踪目标与轨迹目标的运动相似度和外观相似度，并以一种合理可靠的方式将两个相似度融合成追踪相似度，基于追踪相似度为候选目标分配轨迹；第二阶段匹配针对低置信度的候选目标，仅考虑待追踪目标与轨迹目标的运动相似度，基于运动相似度为候选目标分配轨迹，重复上述两个阶段的匹配，直至追踪序列的最后一帧图片，输出轨迹集合。本发明专利技术提供的多目标追踪方法在针对相机运动、目标快速运动等复杂场景的多目标追踪中取得更加鲁棒的性能。能。能。

【技术实现步骤摘要】
基于稀疏光流运动补偿的两阶段多目标追踪方法及产品


[0001]本专利技术涉及多目标追踪
，特别是涉及一种基于稀疏光流运动补偿的两阶段多目标追踪方法及产品。

技术介绍

[0002]多目标追踪的任务定义是针对图片序列，检测和追踪图片帧中的所有目标，生成目标在视频流中的时空轨迹，并且每个目标要保持自己独有的标识符(ID)。多目标追踪作为一个计算机视觉任务，为自动驾驶、视频监控等领域的创新发挥着巨大作用。当前在多目标追踪领域中，基于检测的多目标追踪是一个非常高效的范式，它主要包含两个步骤：(1)运动建模和估计当前帧目标的边界框，(2)当前帧的目标检测结果与历史轨迹联合，生成当前帧的目标轨迹。
[0003]针对估计当前帧目标的边界框通常使用目标检测领域中的检测器生成可靠的目标边界框估计与目标置信度结果。通常选择与轨迹中的目标相似度最高的候选目标加入当前轨迹，按照这样的策略将当前帧的目标加入到历史轨迹中，直到图片序列最后一帧，输出追踪的多个目标轨迹。然而当前基于检测的多目标追踪算法有如下缺点：大多数基于检测的多目标算法都应用卡尔曼滤波作为目标的运动模型，预测历史轨迹目标在当前帧的位置。然而卡尔曼滤波有一个模型假设是目标以匀速运动，不适用于多目标追踪的目标快速运动、相机运动等挑战属性，其次卡尔曼滤波对轨迹目标在当前帧的预测是预测边界框的比例，并非直接预测边界框的宽高。对边界框比例的预测估计方式为生成边界框的位置估计引入误差。
[0004]此外，基于位置相似度值的候选目标与轨迹联合的性能取决于轨迹目标预测当前帧中的边界框位置。而多目标追踪中目标快速运动、相机运动等挑战属性使得卡尔曼滤波预测的位置不准确，继而直接影响到追踪效率。

技术实现思路

[0005]本专利技术提供一种基于稀疏光流运动补偿的两阶段多目标追踪方法及产品，以解决现有技术中运动模型估计缺陷与多目标轨迹中对目标边界框生成不准确问题的问题。
[0006]在第一方面，本专利技术实施例提供一种基于稀疏光流运动补偿的两阶段多目标追踪方法，所述方法包括：
[0007]步骤1，采用追踪序列中的第一帧图片进行多目标追踪的轨迹集合与卡尔曼滤波参数初始化；
[0008]步骤2，采用追踪序列的第n帧图片开始两阶段的多目标追踪匹配过程，n是大于等于2的正整数；
[0009]步骤3，采用检测器获取步骤2中的第n帧图片的候选目标信息，基于候选目标的置信度将所述候选目标划分为高置信度候选目标集合和低置信度候选目标集合；
[0010]步骤4，在第一阶段，基于步骤3中的所述高置信度候选目标集合，计算所述候选目
标与轨迹目标的运动相似度和外观相似度并融合，得到所述候选目标与所述轨迹目标的追踪相似度，采用匈牙利算法优化匹配；
[0011]步骤5，在第二阶段，基于步骤3中的所述低置信度候选目标集合，计算所述候选目标与所述轨迹目标的运动相似度，采用匈牙利算法优化匹配；
[0012]步骤6，尚未匹配到的高置信度目标在中途连续出现两帧以上，视为中途新出现的目标，加入到当前轨迹集合中，并将轨迹集合中同一目标的相同轨迹删除；
[0013]步骤7，重复步骤3至步骤6，直至追踪序列的最后一帧图片，输出轨迹集合。
[0014]基于第一方面，所述步骤4包括：
[0015]步骤401，采用卷积网络提取所述候选目标的外观特征，并计算所述候选目标的外观特征与所述轨迹目标的外观特征的余弦距离，其中，所述余弦距离为所述候选目标与所述轨迹目标的外观相似度；
[0016]步骤402，计算所述轨迹目标角点的稀疏光流；
[0017]步骤403，计算所述轨迹目标在当前帧图片的卡尔曼滤波的预测结果；
[0018]步骤404，对所述轨迹目标在前后帧图片中的运动建模；
[0019]步骤405，计算所述候选目标与所述轨迹目标的交并比距离；
[0020]步骤406，融合所述候选目标与所述轨迹目标的外观相似度与交并比距离；
[0021]步骤407，更新所述轨迹目标的外观特征与轨迹的运动噪声公式。
[0022]基于第一方面，步骤401中的所述余弦距离定义如下：
[0023][0024]式中，表示在第k帧图片中候选目标外观特征与第i个轨迹目标的外观特征的余弦距离，表示第k帧中检测出的第j个候选目标的外观特征，‖表示向量的L2范数，表示第k帧图片中第i个轨迹目标的外观特征列举，一共有σ个特征，w表示第w个外观特征，σ表示外观特征的个数。
[0025]基于第一方面，在步骤402中，计算所述目标轨迹角点的稀疏光流，包括：
[0026]基于轨迹目标角点的稀疏光流一致，即，假设前一帧图片与当前帧图片的亮度一致进行建模；
[0027]计算所述轨迹目标角点的最优稀疏光流值；
[0028]其中，所述建模定义如下：
[0029]I(x,y,t)＝I(x+u,y+v,t+1)，
[0030]式中，I(
·
)表示在点(x,y)的亮度，(u,v)表示所述轨迹目标角点在x和y方向上的移动距离的集合，t表示当前帧的时间；
[0031]其中，所述稀疏光流值的计算定义如下：
[0032]I
x
u
x
+I
y
v
y
+I
t
＝0，
[0033]式中，I
x
和I
y
表示I(x,y)在空间上的导数，即图像的梯度，I
t
表示时间上的导数，u
x
和u
y
表示角点在x和y方向上的移动距离，u
x
和u
y
表示轨迹目标角点的稀疏光流值。
[0034]基于第一方面，在步骤404中，对所述轨迹目标在前后帧图片中的运动建模，包括：
[0035]将步骤402中的轨迹目标角点的运动建模的移动距离和步骤403中的所述当前帧图片的卡尔曼滤波的预测结果以加权和的方式进行融合，得到轨迹目标当前帧图片的运动建模；
[0036]其中，所述运动建模定义如下：
[0037][0038]式中，M
k
表示基于上一帧估计的第k帧的所有轨迹目标的边界框的集合，λ为权重因子，为当前帧的最优状态估计，(u,v)表示轨迹目标角点的移动距离的集合。
[0039]基于第一方面，在步骤406中，融合所述候选目标与所述轨迹目标的外观相似度与交并比距离，定义如下：
[0040][0041]式中，为所述候选目标与所述轨迹目标的外观相似度与交并比距离的融合结果，ω为权重因子，为所述候选目标与所述轨迹目标的交并比距离，在第k帧的表示第i个轨迹目标与第j个候选目标的目标框之间的交并比距离，表示第i个轨迹目标的边界框位置，表示第j个候选目标的边界框位置。
[0042]基于第一方面，在步骤407中，所述更新所述轨迹目标的外观特征与轨迹的运动噪声公式，包括：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于稀疏光流运动补偿的两阶段多目标追踪方法，其特征在于，所述方法包括：步骤1，采用追踪序列中的第一帧图片进行多目标追踪的轨迹集合与卡尔曼滤波参数初始化；步骤2，采用追踪序列的第n帧图片开始两阶段的多目标追踪匹配过程，n是大于等于2的正整数；步骤3，采用检测器获取步骤2中的第n帧图片的候选目标信息，基于候选目标的置信度将所述候选目标划分为高置信度候选目标集合和低置信度候选目标集合；步骤4，在第一阶段，基于步骤3中的所述高置信度候选目标集合，计算所述候选目标与轨迹目标的运动相似度和外观相似度并融合，得到所述候选目标与所述轨迹目标的追踪相似度，采用匈牙利算法优化匹配；步骤5，在第二阶段，基于步骤3中的所述低置信度候选目标集合，计算所述候选目标与所述轨迹目标的运动相似度，采用匈牙利算法优化匹配；步骤6，尚未匹配到的高置信度目标在中途连续出现两帧以上，视为中途新出现的目标，加入到当前轨迹集合中，并将轨迹集合中同一目标的相同轨迹删除；步骤7，重复步骤3至步骤6，直至追踪序列的最后一帧图片，输出轨迹集合。2.根据权利要求1所述的方法，其特征在于，所述步骤4包括：步骤401，采用卷积网络提取所述候选目标的外观特征，并计算所述候选目标的外观特征与所述轨迹目标的外观特征的余弦距离，其中，所述余弦距离为所述候选目标与所述轨迹目标的外观相似度；步骤402，计算所述轨迹目标角点的稀疏光流；步骤403，计算所述轨迹目标在当前帧图片的卡尔曼滤波的预测结果；步骤404，对所述轨迹目标在前后帧图片中的运动建模；步骤405，计算所述候选目标与所述轨迹目标的交并比距离；步骤406，融合所述候选目标与所述轨迹目标的外观相似度与交并比距离；步骤407，更新所述轨迹目标的外观特征与轨迹的运动噪声公式。3.根据权利要求2所述的方法，其特征在于，步骤401中的所述余弦距离定义如下：式中，表示在第k帧图片中候选目标外观特征与第i个轨迹目标的外观特征的余弦距离，表示第k帧中检测出的第j个候选目标的外观特征，‖表示向量的L2范数，表示第k帧图片中第i个轨迹目标的外观特征列举，一共有σ个特征，w表示第w个外观特征，σ表示外观特征的个数。4.根据权利要求2所述的方法，其特征在于，在步骤402中，计算所述目标轨迹角点的稀疏光流，包括：基于轨迹目标角点的稀疏光流一致，即，假设前一帧图片与当前帧图片的亮度一致进行建模；
计算所述轨迹目标角点的最优稀疏光流值；其中，所述建模定义如下：I(x,y,t)＝I(x+u,y+v,t+1)，式中，I(
·
)表示在点(x,y)的亮度，(u,v)表示所述轨迹目标角点在x和y方向上的移动距离的集合，t表示当前帧的时间；其中，所述稀疏光流值的计算定义如下：I
x
u
x
+I
y
v
y
+I
t
＝0，式中，I
x
和I
y
表示I(x,y)在空间上的导数，即图像的梯度，I
t
表示时间上的导数，u
x
和u
y
表示角点在x和y方向上的移动距离，u
x
和u
y
表示轨迹目标角点的稀疏光流值。5.根据权利要求2所述的方法，其特征在于，在步骤404中，对所述轨迹目标在前后帧图片中的运动建模，包括：将步骤402中的轨迹目标角点的运动建模的移动距离和步骤403中的所述当前帧图片的卡尔曼滤波的预测结果以加权和的方式进行融合，得到轨迹目标当前帧图片的运动建模；其中，所述运动建模定义如...

【专利技术属性】
技术研发人员：郑海霞，韩洁，贺宇航，龚怡宏，张玥，魏星，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：