基于空间拓扑和身份聚合的目标域数据的多目标跟踪方法技术

本发明专利技术提供了一种基于空间拓扑和身份聚合的多目标跟踪网络演化方法。该方法包括：(1)在有标签的源域中训练基于空间拓扑结构的多目标跟踪网络和身份聚合网络，得到参数更新后的多目标跟踪网络和身份聚合网络；(2)利用参数更新后的多目标跟踪网络和身份聚合网络获取无标签目标域中数据的伪标签；(3)利用得到的伪标签和多目标跟踪网络中的自监督模块更新整个多目标跟踪网络的参数。上述的步骤(2)和(3)迭代执行多轮后得到的网络参数用于进行目标域的多目标跟踪。本发明专利技术方法可以解决多目标跟踪的域适应问题，抑制多目标跟踪网络模型在没有标签的跟踪场景中性能大幅度下降的问题。题。题。

【技术实现步骤摘要】
基于空间拓扑和身份聚合的目标域数据的多目标跟踪方法


[0001]本专利技术涉及计算机视觉
，尤其涉及一种基于空间拓扑和身份聚合的目标域数据的多目标跟踪方法。

技术介绍

[0002]随着深度学习的发展，卷积神经网络应用在越来越多的场景中，而多目标跟踪由于其在视频监控、人机交互和虚拟现实中的广泛应用，在计算机视觉领域受到越来越多的重识。多目标跟踪旨在定位给定视频序列中的多个目标对象，为不同的对象分配不同的身份ID并记录每个ID在视频中的轨迹。目前，随着基于卷积神经网络的目标检测技术不断发展，基于检测的跟踪算法已成为多目标跟踪的主流方向。基于检测的跟踪算法首先需要在每个视频帧上执行目标检测获取每帧的检测结果，然后根据检测结果进行数据关联以创建每个对象在视频中的轨迹。
[0003]传统的两阶段多目标跟踪算法将检测和跟踪视为两个独立的模型，即先利用一个检测模型获取检测结果，然后将检测结果和原始视频输入到跟踪模型中进行多目标跟踪。由于独立的检测和跟踪模型是分开执行的，这造成了资源浪费并且可能导致效率问题。近年来，随着深度学习技术的快速成熟，一阶段多目标跟踪框架开始引起更多的研究关注，其核心思想是在单个网络中同时考虑检测和跟踪。这类方法在效率和准确率上为多目标跟踪任务带来了显著的改进。但是由于高成本的注释，一阶段多目标跟踪方法仍然难以在实际场景中应用。因此，如何设计一个能够适应新的无标签跟踪场景的一阶段多目标跟踪模型，是一个尚未探索、需要解决的挑战性问题。
[0004]现有技术中的一种一阶段多目标跟踪方法包括：在一个深度学习网络中同时进行目标检测和跟踪，通过共享大部分计算量来减少推理时间。该方法的缺点包括：该方法主要将重点放在对跟踪效率的研究上，而忽略了对跟踪精度的要求。
[0005]现有技术中另一种同时兼容跟踪效率和精度的一阶段多目标跟踪方法，该方法使用ResNet
‑
34结构作为特征提取器，并通过在特征提取器上添加DLA(深层聚合，Deep Layer Aggregation)结构来实现不同尺度的检测，这种网络设计可以根据目标的尺度和姿势动态地适应感受野，同时有助于缓解对齐问题。
[0006]基于特征提取器，该方法添加了目标检测和身份嵌入两个分支以实现一阶段的多目标跟踪。其中目标检测分支看作是高分辨率特征图上基于中心的包围框回归任务,三个平行回归head被添加到特征提取器中，分别用来预测热图、目标包围框大小和中心偏移量。每个head的实现方法是对特征提取器的输出特征图进行3
×
3卷积(256通道)，再经过1
×
1卷积层生成最终目标。身份嵌入分支的目的是生成能够区分不同目标的特征。理想情况下，不同目标之间的距离应该大于同一目标之间的距离。为了实现这一目的，在特征提取器得到的特征图上应用一个有128个核的卷积层来提取每个位置的身份嵌入特征。最后，该方法根据网络输出的检测值和身份嵌入特征实现多目标跟踪。根据第一帧中的检测框初始化目标轨迹，在接下来的帧中，根据身份嵌入特征和IoU所测量的轨迹距离，将检测值与现有轨
迹进行关联以实现多目标跟踪。该方法的缺点包括：该方法的性能得益于大量的训练数据，然而，在实际应用中，获取大量费时费力的训练数据是不现实的，如果直接将训练得到的模型应用到一个新的跟踪场景中，性能会大幅度下降。

技术实现思路

[0007]本专利技术的实施例提供了基于空间拓扑和身份聚合的多目标跟踪网络演化方法，以解决多目标跟踪的域适应问题，提高多目标跟踪网络模型在无标签目标域的跟踪性能。
[0008]为了实现上述目的，本专利技术采取了如下技术方案。
[0009]一种基于空间拓扑和身份聚合的多目标跟踪网络演化方法，包括：
[0010]步骤S1、在有标签的源域中训练基于空间拓扑结构的多目标跟踪网络和身份聚合网络，得到参数更新后的多目标跟踪网络和身份聚合网络；
[0011]步骤S2、利用参数更新后的多目标跟踪网络和身份聚合网络获取无标签目标域数据的伪标签；
[0012]步骤S3、利用所述无标签目标域数据的伪标签和多目标跟踪网络中的自监督模块更新所述多目标跟踪网络的参数。
[0013]优选地，所述的在有标签的源域中训练基于空间拓扑结构的多目标跟踪网络和身份聚合网络，得到参数更新后的多目标跟踪网络和身份聚合网络，包括：
[0014]构建一阶段多目标跟踪模型框架，该一阶段多目标跟踪模型框架包括基于空间拓扑结构的多目标跟踪网络模块和身份聚合网络模块，多目标跟踪网络包括特征提取器、检测分支、身份嵌入分支和自监督上下文预测分支；身份聚合网络学习目标特征在不同数据帧中的权重，并根据权重对历史数据帧的目标特征进行融合，将融合后的目标特征作为目标的特征表示；
[0015]将有标签的源域序列数据输入到基于空间拓扑结构的多目标跟踪网络中，多目标跟踪网络使用特征提取器提取有标签的源域序列数据的全局特征，计算检测分支、身份嵌入分支和自监督上下文预测分支的损失函数，并根据损失函数反向传播调整网络参数，获取在源域中训练得到的参数更新后的多目标跟踪网络；
[0016]利用训练得到的多目标跟踪网络提取所述有标签的源域序列数据的编码，将编码输入到身份聚合网络中，身份聚合网络通过使用不同学习权重聚合具有相同身份的历史嵌入，根据身份聚合网络的损失函数反向传播调整整个身份聚合网络的参数，获取在源域中训练得到的参数更新后的身份聚合网络。
[0017]优选地，所述的利用参数更新后的多目标跟踪网络和身份聚合网络获取无标签目标域数据的伪标签，包括：
[0018]将无标签目标域中的每帧数据依次输入到参数更新后的多目标跟踪网络和身份聚合网络中，多目标跟踪网络利用特征提取器提取数据帧中的全局特征，利用检测分支检测数据帧中的感兴趣的目标，利用身份嵌入分支获得数据帧中的能够区别不同身份对象的判别特征，所述数据帧中检测分支得到的目标构成每帧数据的检测值，身份嵌入分支得到的判别特征构成检测值的特征，身份聚合网络自动学习历史嵌入的权重，并根据学习到的权重聚合具有相同标识的嵌入，对模糊、不正确或者部分遮挡的检测分配低关注权重，得到每帧数据的目标特征表示；
[0019]根据每帧数据的检测值的特征和目标特征表示生成二部图，使用匈牙利算法对所述二部图进行匹配，实现检测值和已经跟踪到的目标之间的数据关联，将关联的检测值加入到对应的目标中，用于更新已经跟踪到的目标，最后所有的目标构成目标域中的伪标签。
[0020]优选地，所述的利用所述无标签目标域数据的伪标签和多目标跟踪网络中的自监督模块更新所述多目标跟踪网络的参数，包括：
[0021]利用多目标跟踪网络中的自监督上下文预测分支学习无标签目标域数据的上下文特征，利用所述无标签目标域数据的伪标签和自监督上下文预测分支对多目标跟踪网络中的特征提取器、检测分支和身份嵌入分支的参数进行更新；
[0022]循环执行上述步骤S2和步骤S3的处理过程，不断进行多目标跟踪网络的参数更新，使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于空间拓扑和身份聚合的多目标跟踪网络演化方法，其特征在于，包括：步骤S1、在有标签的源域中训练基于空间拓扑结构的多目标跟踪网络和身份聚合网络，得到参数更新后的多目标跟踪网络和身份聚合网络；步骤S2、利用参数更新后的多目标跟踪网络和身份聚合网络获取无标签目标域数据的伪标签；步骤S3、利用所述无标签目标域数据的伪标签和多目标跟踪网络中的自监督模块更新所述多目标跟踪网络的参数。2.根据权利要求1所述的方法，其特征在于，所述的在有标签的源域中训练基于空间拓扑结构的多目标跟踪网络和身份聚合网络，得到参数更新后的多目标跟踪网络和身份聚合网络，包括：构建一阶段多目标跟踪模型框架，该一阶段多目标跟踪模型框架包括基于空间拓扑结构的多目标跟踪网络模块和身份聚合网络模块，多目标跟踪网络包括特征提取器、检测分支、身份嵌入分支和自监督上下文预测分支；身份聚合网络学习目标特征在不同数据帧中的权重，并根据权重对历史数据帧的目标特征进行融合，将融合后的目标特征作为目标的特征表示；将有标签的源域序列数据输入到基于空间拓扑结构的多目标跟踪网络中，多目标跟踪网络使用特征提取器提取有标签的源域序列数据的全局特征，计算检测分支、身份嵌入分支和自监督上下文预测分支的损失函数，并根据损失函数反向传播调整网络参数，获取在源域中训练得到的参数更新后的多目标跟踪网络；利用训练得到的多目标跟踪网络提取所述有标签的源域序列数据的编码，将编码输入到身份聚合网络中，身份聚合网络通过使用不同学习权重聚合具有相同身份的历史嵌入，根据身份聚合网络的损失函数反向传播调整整个身份聚合网络的参数，获取在源域中训练得到的参...

【专利技术属性】
技术研发人员：滕竹，李芮，王子印，张宝鹏，李棋瑞，刘瑜淼，陈晧阳，
申请(专利权)人：艾弗世苏州专用设备股份有限公司，
类型：发明
国别省市：