一种基于伪标签修正的多目标跟踪无监督域适应方法技术

本发明专利技术公开了一种基于伪标签修正的多目标跟踪无监督域适应方法。该方法首先使用对抗生成网络对源数据域的图像进行向目标数据域的风格转换；然后在域适应模型训练的过程中，在每一轮训练结束后使用当前模型在目标数据域生成伪标签，并对伪标签进行修正后加入到域适应训练当中；最后训练结束获得最终的跟踪网络。该方法可以通过不断调优修正目标域的伪标签监督信息加入域适应训练，使得跟踪模型更好的学习到具备域不变性质的特征，在无监督信息的目标数据域获得接近监督学习的性能。的目标数据域获得接近监督学习的性能。的目标数据域获得接近监督学习的性能。

【技术实现步骤摘要】
一种基于伪标签修正的多目标跟踪无监督域适应方法


[0001]本专利技术属于计算机视觉、智能识别
，特别地涉及到一种基于伪标签修正的多目标跟踪无监督域适应方法。

技术介绍

[0002]多目标跟踪作为计算机视觉领域一项重要的基础任务，通过分析视频帧图像序列的视觉、运动等信息，完成对感兴趣目标的定位和身份确认，其在工程上有着广泛的应用，如自动驾驶、视频监控、行为预测、交通管理等。随着深度学习技术的快速发展，得益于深度网络对图像目标强大的特征表示能力，多目标跟踪技术也得到进一步发展。
[0003]多目标跟踪系统通常包含目标检测和数据关联两个部分，其中目标检测部分可以对图像中出现的目标进行定位，数据关联部分则依据目标轨迹在外形、运动等信息上的连续性，为检测出的目标赋予身份ID，完成轨迹与检测结果的数据关联。基于此流程的多种实现形式，多目标跟踪方法可分为基于外观特征距离的跟踪方法、基于运动信息的跟踪方法、基于视频片段的跟踪方法等。本专利技术所描述的无监督域适应方法以较为流行的基于外观特征距离的跟踪框架为例，但并不限于该种形式，而是适用于所有以深度网络为基础的多目标跟踪范式。
[0004]通过使用包含监督信息的数据集在深度网络上的训练，多目标跟踪模型可以在当前数据集(源数据域)上拟合到较为良好的性能，但当应用到其他场景的数据(目标数据域)上时，由于数据间分布的差异(例如季节的变化、虚拟合成与现实拍摄、相机参数不同等)，模型不能很好发挥其性能。由于多目标跟踪所需要的身份级别的监督信息标注是一项复杂而耗时的工作，现实应用中的大多数应用场景并没有真值标注，如果可以通过使用无监督域适应的方法，将深度跟踪模型在有监督信息的数据集上训练获得的性能，更好的迁移到没有标注的应用场景数据集，将极大的节省人工复杂标注的成本，提升工作效率。
[0005]无监督域适应方法经过长期的研究和发展，已经在图像分类、目标检测、行人重识别等领域取得了一定成果，但尚未有在多目标跟踪领域相关的工作；与本专利技术较为相关的无监督多目标跟踪方法，旨在于完全没有监督信息的数据集上进行多目标跟踪的施行，其问题的设定和实现的方式与无监督域适应跟踪存在差异，并不能直接应用到当前问题中来。

技术实现思路

[0006]本专利技术的目的在于针对现有技术的不足，提供一种基于伪标签修正的多目标跟踪无监督域适应方法。
[0007]本专利技术的目的是通过以下技术方案来实现的：一种基于伪标签修正的多目标跟踪无监督域适应方法。包括以下步骤：
[0008]为实现上述目的，本专利技术采用如下技术方案：先输入包含完整监督信息的源域数据D
s
{x
s
，(Box
s
，ID
s
)}、不包含标签的目标域数据D
t
{x
t
}，进行以下步骤处理：
[0009]步骤1：使用图像风格转换模型G进行源域数据D
s
{x
s
，(Box
s
，ID
s
)}向目标域数据D
t
{x
t
}的风格迁移，获得转换后的数据集转换后数据x
s
经过风格迁移成为x
s
′
，但标签信息(Box
s
，ID
s
)保持不变。合并D
′
s
和D
t
形成域适应训练数据集。
[0010]步骤2：对数据集进行随机采样，使得训练每个批次包含等数量的D
′
s
和D
t
来源数据；
[0011]步骤3：为原始的多目标跟踪模型添加域适应训练所需的模块，具体改动为：给模型中的特征提取深度网络F添加梯度反转层GRL和域分类器D，其中梯度反转层负责在训练过程中对梯度取负再进行回传，域分类器负责对特征提取网络进行域的分类(源域、目标域)，域适应训练的目标为：
[0012][0013]其中，x表示输入数据，err表示域分类器对特征分类的错误概率，该min
‑
max问题的优化通过在特征提取网络和域分类器中间添加梯度反转层，进行对抗训练来实现；
[0014]步骤4：进行一个阶段的多目标跟踪模型的域适应训练，获得当前训练阶段的模型M
curr
；
[0015]步骤5：使用当前训练阶段的跟踪模型M
curr
和目标域数据集D
t
{x
t
}，获得粗糙的伪标签(Box
p
，ID
p
)；
[0016]步骤5：将目标域数据集D
t
{x
t
}以及粗糙的伪标签(Box
p
，ID
p
)送入伪标签修正模块，通过正向和反向遍历帧序列的单目标跟踪器预测来补全目标轨迹，以获得修正后的更为准确的伪标签(Box
p
′
，ID
p
′
)，具体步骤如下：
[0017]步骤5.1：正向遍历目标域数据的帧图像，使用粗糙的伪标签(Box
p
，ID
p
)在每张帧图像上，对于每张图像上新出现的目标，建立基于视觉信息的单目标跟踪器，基于视觉特征在帧间的连续性进行后续帧的位置预测；
[0018]步骤5.2：对于已经建立单目标跟踪器的目标，在之后的每一帧中进行预测结果与伪标签位置的交叠覆盖度匹配，如果达成匹配则继续跟踪，不能达成匹配则标记暂时丢失，并在之后的帧中继续运行单目标跟踪器，尝试进行匹配；
[0019]步骤5.3：对于步骤5.2描述中标记暂时丢失的目标，若持续匹配失败超过一定帧数，则认为该目标已经离开帧图像视野，删除该单目标跟踪器，停止匹配。若标记暂时丢失的目标在之后的帧中达成了匹配，则以单目标跟踪器预测的位置为结果，补全中间匹配失败的几帧的目标轨迹，加入伪标签{Box
p
，ID
p
}中；
[0020]步骤5.4：反向遍历目标域数据的帧图像，重复步骤5.1至步骤5.3的标签修正步骤；
[0021]步骤5.5：将正向遍历和反向遍历获得的伪标签结果进行融合，对目标轨迹取并集，输出修正完成后的伪标签(Box
p
′
，ID
p
′
)。
[0022]步骤6：将修正后的伪标签作为目标域数据的监督信息，组合当前的目标域数据D
t
{x
t
，(Box
p
′
，ID
p
′
)}和风格转换后的源域数据D
′
s
{x
s
′
，(Box
s
，ID
s
)}形成新的数据集，重复步骤2～步骤6，直至域适应模型的训练收敛，结束训练获取最终的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于伪标签修正的多目标跟踪无监督域适应方法，其特征在于，具体包括如下步骤：(1)形成域适应训练数据集：使用图像风格转换模型G进行源域数据D
s
{x
s
，(Box
s
，ID
s
)}向目标域数据D
t
{x
t
}的风格迁移，获得转换后的数据集合并D
′
s
和D
t
形成域适应训练数据集；(2)训练获得跟踪模型：使用并D
′
s
和D
t
形成的训练数据集，进行一个阶段的多目标跟踪模型的域适应训练，获得当前训练阶段的跟踪模型M
curr
；(3)获得粗糙的伪标签：使用当前训练阶段的跟踪模型M
curr
和目标域数据集D
t
{x
t
}，获得粗糙的伪标签(Box
p
，ID
p
)；(4)修正粗糙的伪标签：将目标域数据集D
t
{x
t
}以及粗糙的伪标签(Box
p
，ID
p
)送入伪标签修正模块，获得修正后的更为准确的伪标签(Box
p
′
，ID
p
′
)；(5)组合数据：将修正后的伪标签作为目标域数据的监督信息，组合当前的目标域数据D
t
{x
t
，(Box
p
′
，ID
p
′
)}和风格转换后的源域数据D
′
s
{x
s
″
(Box
s
，ID
s
)}形成新的数据集；(6)重复和收敛：重复(2)～(5)步骤，进行域适应模型的训练收敛，直至模型达到损失函数低于固定阈值...

【专利技术属性】
技术研发人员：王润发，于慧敏，齐国栋，卢朝晖，顾建波，
申请(专利权)人：浙江大学，
类型：发明
国别省市：