基于数据增强的赛马场景多目标追踪方法技术

本发明专利技术公开了一种基于数据增强的赛马场景多目标追踪方法，包括：1)对原始赛马训练视频、测试视频的每一帧图像进行人工标注，得到原始赛马训练标注视频、测试标注视频；2)采用ACGAN网络对原始赛马训练标注视频进行数据增强，获得GAN赛马标注伪视频；3)采用FairMOT多目标追踪模型对原始赛马训练标注视频和GAN赛马标注伪视频进行训练，得到最终的赛马场景多目标追踪模型；4)输入原始赛马测试视频至赛马场景多目标追踪模型中，得到处理后的赛马追踪测试视频，与原始赛马测试标注视频进行结果比较，判断追踪效果。本发明专利技术提高了目标追踪的准确度，缓解赛马场景下在出现遮挡、镜头切换和冲刺模糊现象时的身份ID频繁切换问题，进一步可实现更灵活和精确的下游应用。可实现更灵活和精确的下游应用。可实现更灵活和精确的下游应用。

【技术实现步骤摘要】
基于数据增强的赛马场景多目标追踪方法


[0001]本专利技术涉及多目标追踪和对抗生成网络的
，尤其是指一种基于数据增强的赛马场景多目标追踪方法。

技术介绍

[0002]目标追踪是计算机视觉的重要组成部分。现有的目标跟踪方法依据目标个数分为单目标追踪和多目标追踪，在视频监控、自动驾驶和人群行为分析中有着广泛的应用。单目标追踪在检测跟踪目标时关注目标实时动作变化和外部环境干扰下的外形变化；而多目标追踪除了监控单个目标，还需要识别场景中的目标数量并维持目标的ID。此外，目标间相似的外貌特征、其他目标的遮挡、轨迹的初始化和终止和不同目标之间的轨迹干扰也增加了多目标追踪的难度。
[0003]多目标追踪的大部分研究工作都应用于固定摄像机下的行人识别和车辆跟踪问题。而赛马场景中，赛马选手的背景会随着马匹的奔跑和摄像机的切换发生变化，是一个更具有挑战性的问题。赛马场景下多目标跟踪的难点包括三点：(1)竞赛时出现的马匹加速减速情况会导致出现选手遮挡和轨迹交错现象；(2)赛马场的椭圆形设置和场地内的障碍物导致赛马追踪视频中需要进行镜头切换，而非传统多目标追踪问题中的固定视角跟踪；(3)当终点线临近时，赛马选手的冲刺会导致他们的身体变得模糊，即多目标追踪目标对象的特征会丢失。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于数据增强的赛马场景多目标追踪方法，能够使用对抗生成网络对赛马视频数据进行增强，尤其是对赛马视频中出现选手遮挡、镜头切换和冲刺模糊现象的帧进行数据增强，缓解赛马场景对象难以检测问题，同时提高了身份重识别的准确率，进一步可以实现更灵活和精确的下游应用。
[0005]为实现上述目的，本专利技术所提供的技术方案为：基于数据增强的赛马场景多目标追踪方法，包括以下步骤：
[0006]1)遵循MOT16标注基准和赛马选手标注规范，对原始赛马训练视频和原始赛马测试视频的每一帧图像进行人工标注，得到原始赛马训练标注视频和原始赛马测试标注视频，标注信息包括当前帧号、当前帧标注框数量、选手标注框ID、标注框中心位置和标注框大小；
[0007]2)采用ACGAN网络对原始赛马训练标注视频进行数据增强，获得GAN赛马标注伪视频；
[0008]3)采用FairMOT多目标追踪模型对原始赛马训练标注视频和GAN赛马标注伪视频进行训练，得到最终的赛马场景多目标追踪模型；
[0009]4)输入原始赛马测试视频至赛马场景多目标追踪模型中，得到赛马场景多目标追踪模型处理后的赛马追踪测试视频，与原始赛马测试标注视频进行结果比较，判断追踪效
果。
[0010]进一步，在步骤1)中，在标记赛马选手时，为了后续步骤能够得到高质量的GAN赛马标注伪视频和准确率高的赛马场景多目标追踪模型，遵循以下规范：
[0011]①
每个标记框应当尽可能框住对应的每一位赛马选手的所有像素，并与赛马选手边界对齐；
[0012]②
当一个赛马选手被部分遮挡时，若这个赛马选手的一半像素是可见的或者能够通过可见部分识别出这个赛马选手的身份，则对这个赛马选手进行标注，根据相邻帧、其他选手标注框的大小和视频逻辑线索来估计选手的预期位置和大小，并按预期框住整个赛马选手，即包括被遮挡的部分，若选手被完全遮挡或不能通过可见像素识别出赛马选手身份，则不对其进行标注；
[0013]③
赛马视频中摄像机切换的片段，同一帧会同时出现两匹相同的马匹和两名相同身份的赛马选手，当同一帧中出现多个相同的赛马选手时，标注最清晰的选手，不够清晰的赛马选手不做标注；
[0014]④
赛马冲刺时出现的赛马选手模糊情况，依据前后帧和预期路径对其进行标注；
[0015]赛马视频中每一帧的赛马选手都根据以上四点规范手动进行标注，得到原始赛马训练标注视频和原始赛马测试标注视频，同时赛马时有正面场景、侧面场景和背面场景，选择的赛马视频都包含以上三个场景。
[0016]进一步，所述步骤2)包括以下步骤：
[0017]2.1)针对步骤1)标注的原始赛马训练标注视频，依据标注框将赛马选手图片摘取出来，每一帧的一名赛马选手图片形成一个样本，组成赛马选手样本集；对赛马选手样本集进行筛选，过滤掉背景杂乱且赛马选手被严重遮挡或模糊的图像，筛选后，一个视频的同一名赛马选手的所有图片样本构成该名选手的ACGAN训练样本序列；为提高数据增强网络训练时每批次赛马选手姿势的多样性并防止过度拟合，训练前分别打乱每名赛马选手的ACGAN训练样本序列；
[0018]2.2)构建ACGAN网络对原始赛马训练标注视频进行数据增强，ACGAN网络是一种利用辅助信息进行分类的对抗生成网络衍生模型，使用标签信息来训练整个对抗网络，并将判别器从真假二元分类器重构为能够区分数据类别的多元分类器；
[0019]ACGAN网络由生成器G和判别器D组成；ACGAN网络的判别器D除了需要区分数据是真实数据还是生成器G生成的伪数据以外，还旨在对数据进行分类识别，对应地，ACGAN网络损失函数需要包括真假损失L
valid
和正确类别损失L
cat
，两损失表示如下：
[0020]L
valid
＝E[log P(V＝real|D
real
)]+E[log P(V＝fake|D
fake
)][0021]L
cat
＝E[log P(C＝c|D
all
)][0022]式中，L
valid
是判别器D判断图片是否为真的损失，L
cat
是判别器D判断图片分类正确的损失，D
real
和D
fake
分别表示为ACGAN训练样本序列中的原始赛马选手图片和生成器G生成的伪赛马选手图片；P(C＝c|D
all
)表示赛马选手属于哪一类别的概率，c表示赛马选手的一个类别，C表示当前赛马选手所属类别；real和fake分别表明数据为ACGAN训练样本序列中的原始赛马选手图片和生成器G生成的伪赛马选手图片，V为当前赛马选手图片的真假判断，P(V＝real|D
real
)是指赛马选手图片为ACGAN训练样本序列中的原始赛马选手图片的概率，P(V＝real|D
fake
)是指赛马选手图片为生成器G生成的伪赛马选手图片的概率；采用log
函数使概率呈对数概率分布，E指符合赛马选手图片数据分布的期望值；
[0023]判别器D试图区分数据的来源并准确分类，而生成器G旨在混淆真假，整个ACGAN网络的损失函数如下：
[0024]D:max(L
cat
+L
valid
)
[0025]G:min(L
cat
‑
L
valid
)
[0026]式中，max和min指将ACGAN网络在使L本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于数据增强的赛马场景多目标追踪方法，其特征在于，包括以下步骤：1)遵循MOT16标注基准和赛马选手标注规范，对原始赛马训练视频和原始赛马测试视频的每一帧图像进行人工标注，得到原始赛马训练标注视频和原始赛马测试标注视频，标注信息包括当前帧号、当前帧标注框数量、选手标注框ID、标注框中心位置和标注框大小；2)采用ACGAN网络对原始赛马训练标注视频进行数据增强，获得GAN赛马标注伪视频；3)采用FairMOT多目标追踪模型对原始赛马训练标注视频和GAN赛马标注伪视频进行训练，得到最终的赛马场景多目标追踪模型；4)输入原始赛马测试视频至赛马场景多目标追踪模型中，得到赛马场景多目标追踪模型处理后的赛马追踪测试视频，与原始赛马测试标注视频进行结果比较，判断追踪效果。2.根据权利要求1所述的基于数据增强的赛马场景多目标追踪方法，其特征在于，在步骤1)中，在标记赛马选手时，为了后续步骤能够得到高质量的GAN赛马标注伪视频和准确率高的赛马场景多目标追踪模型，遵循以下规范：
①
每个标记框应当尽可能框住对应的每一位赛马选手的所有像素，并与赛马选手边界对齐；
②
当一个赛马选手被部分遮挡时，若这个赛马选手的一半像素是可见的或者能够通过可见部分识别出这个赛马选手的身份，则对这个赛马选手进行标注，根据相邻帧、其他选手标注框的大小和视频逻辑线索来估计选手的预期位置和大小，并按预期框住整个赛马选手，即包括被遮挡的部分，若选手被完全遮挡或不能通过可见像素识别出赛马选手身份，则不对其进行标注；
③
赛马视频中摄像机切换的片段，同一帧会同时出现两匹相同的马匹和两名相同身份的赛马选手，当同一帧中出现多个相同的赛马选手时，标注最清晰的选手，不够清晰的赛马选手不做标注；
④
赛马冲刺时出现的赛马选手模糊情况，依据前后帧和预期路径对其进行标注；赛马视频中每一帧的赛马选手都根据以上四点规范手动进行标注，得到原始赛马训练标注视频和原始赛马测试标注视频，同时赛马时有正面场景、侧面场景和背面场景，选择的赛马视频都包含以上三个场景。3.根据权利要求1所述的基于数据增强的赛马场景多目标追踪方法，其特征在于，所述步骤2)包括以下步骤：2.1)针对步骤1)标注的原始赛马训练标注视频，依据标注框将赛马选手图片摘取出来，每一帧的一名赛马选手图片形成一个样本，组成赛马选手样本集；对赛马选手样本集进行筛选，过滤掉背景杂乱且赛马选手被严重遮挡或模糊的图像，筛选后，一个视频的同一名赛马选手的所有图片样本构成该名选手的ACGAN训练样本序列；为提高数据增强网络训练时每批次赛马选手姿势的多样性并防止过度拟合，训练前分别打乱每名赛马选手的ACGAN训练样本序列；2.2)构建ACGAN网络对原始赛马训练标注视频进行数据增强，ACGAN网络是一种利用辅助信息进行分类的对抗生成网络衍生模型，使用标签信息来训练整个对抗网络，并将判别器从真假二元分类器重构为能够区分数据类别的多元分类器；ACGAN网络由生成器G和判别器D组成；ACGAN网络的判别器D除了需要区分数据是真实数据还是生成器G生成的伪数据以外，还旨在对数据进行分类识别，对应地，ACGAN网络损失
函数需要包括真假损失L
valid
和正确类别损失L
cat
，两损失表示如下：L
valid
＝E[log P(V＝real|D
real
)]+E[log P(V＝fake|D
fake
)]L
cat
＝E[log P(C＝c|D
all
)]式中，L
valid
是判别器D判断图片是否为真的损失，L
cat
是判别器D判断图片分类正确的损失，D
real
和D
fake
分别表示为ACGAN训练样本序列中的原始赛马选手图片和生成器G生成的伪赛马选手图片；P(C＝c|D
all
)表示赛马选手属于哪一类别的概率，c表示赛马选手的一个类别，C表示当前赛马选手所属类别；real和fake分别表明数据为ACGAN训练样本序列中的原始赛马选手图片和生成器G生成的伪赛马选手图片，V为当前赛马选手图片的真假判断，P(V＝real|D
real
)是指赛马选手图片为ACGAN训练样本序列中的原始赛马选手图片的概率，P(V＝real|D
fake
)是指赛马选手图片为生成器G生成的伪赛马选手图片的概率；采用log函数使概率呈对数概率分布，E指符合赛马选手图片数据分布的期望值；判别器D试图区分数据的来源并准确分类，而生成器G旨在混淆真假，整个ACGAN网络的损失函数如下：D:max(L
cat
+L
valid
)G:min(L
cat
‑
L
valid
)式中，max和min指将ACGAN网络在使L
cat
+L
valid
最大化时，使L
cat
‑
L
valid
最小化；2.3)将打乱后的ACGAN训练样本序列输入ACGAN网络中，生成伪赛马选手图片；对伪赛马选手图片进行再处理，过滤掉质量差和失真的图片；2.4)用ACGAN网络生成的伪赛马选手图片替换原始赛马训练标注视频中对应类别的赛马选手图片；对原始赛马训练标注视频中的所有赛马选手重复此过程以创建GAN赛马标注伪视频。4.根据权利要求1所述的基于数据增强的赛马场景多目标追踪方法，其特征在于，在步骤3)中，使用的FairMOT多目标追踪模型是一种一阶段多目标追踪网络模型，在主干网络上采用两个均匀的分支来分别学习目标检测任务和身份重识别任务，所述步骤3)包括以下步骤：3.1)构建FairMOT多目标追踪模型，具体模型结构叙述如下：使用DLA
‑
34作为主干网络，DLA
...

【专利技术属性】
技术研发人员：吴永贤，刘旭宇，颜旭立，田星，钟灿琨，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：