针对赛马选手追踪的哈希增强FairMOT方法技术

本发明专利技术公开了一种针对赛马选手追踪的哈希增强FairMOT方法，包括：使用赛马数据集，用原始FairMOT模型提取不同摄像机拍摄的选手的特征向量；按照摄像机的机位分组，使用BTSPLH哈希算法训练得到多组哈希函数；训练原始FairMOT模型作为基础框架；将哈希函数添加至原始FairMOT模型的结尾，并往模型内输入测试视频；使用哈希编码进行选手匹配，计算最新时刻的哈希编码权重。本发明专利技术合理地结合了哈希算法的思想，提升原始FairMOT模型在应对频繁出现摄像机切换情况时的选手匹配准确率，主要缓解了摄像机切换问题，部分缓解多目标追踪任务中目标遮挡、选手冲刺时视频模糊的问题，且额外消耗的计算成本极为低廉，在面对需要实时进行多目标追踪的场景时有较好的适应能力。行多目标追踪的场景时有较好的适应能力。行多目标追踪的场景时有较好的适应能力。

【技术实现步骤摘要】
针对赛马选手追踪的哈希增强FairMOT方法


[0001]本专利技术涉及多目标追踪与哈希检索的
，尤其是指一种针对赛马选手追踪的哈希增强FairMOT方法。

技术介绍

[0002]多目标追踪是计算机视觉领域中一个重要的分支，具有广泛的应用场景以及应用价值。目前，多目标追踪方向有许多公开数据集，然而这些公开数据集中，少有出现摄像机切换的情况。对比当前未出现摄像机切换的数据以及出现摄像机切换的数据，出现摄像机切换的数据往往会给已有的算法带来更大的挑战，如赛马数据集。当出现摄像机切换时，模型正在追踪的目标的像素位置、运动趋势、目标所占的空间大小、具体区域的特征都会发生巨大的变化，从而给多目标追踪任务的目标之一，给同一个目标在不同时间分配同一个ID的目标，也就是匹配准确率的问题，带来相当大的困难。
[0003]在目前的研究趋势上，对多目标追踪算法的优化可能往往涉及神经网络的更新与参数调优，这种方法一般而言可以提升算法的效果，但是一般会伴随更大的时间、空间的开销，这对于需要实时进行多目标追踪的视频是不友好的。
[0004]在图像检索领域中，哈希算法是一种快速、轻量的算法。传统的非深度哈希算法本身并不涉及神经网络，生成的哈希编码为二进制编码，因此传统的非深度哈希算法具有计算快、占用空间小的优点，不过因哈希算法是一种“近似”的算法，在处理数据后往往会损失部分数据的信息，精准度往往会差于神经网络，所以需要辩证地使用其思想。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的缺点与不足，提出了一种针对赛马选手追踪的哈希增强FairMOT方法，能够利用哈希算法对原始FairMOT模型进一步加工以得到对摄像机切换不敏感的选手特征，暨哈希编码，能够提高切换摄像机后的选手ID匹配准确率，主要缓解了摄像机切换问题，部分缓解了冲刺模糊现象的问题。
[0006]为实现上述目的，本专利技术所提供的技术方案为：针对赛马选手追踪的哈希增强FairMOT方法，该方法是基于哈希的思想改进FairMOT模型，以实现对赛马选手更高的追踪准确率，其进行了两个部分的改进，第一部分是对FairMOT模型的特征提取模块进行改进：在原始FairMOT模型的特征提取模块后加上一层哈希函数的映射，该哈希函数经过来自不同摄像机机位拍摄的选手特征向量的训练，原始FairMOT模型在每一时刻提取的选手特征经过哈希函数的映射后得到选手每一时刻的哈希编码，该哈希编码具有对摄像机机位不敏感的性质；第二部分是对FairMOT模型的选手匹配机制的改进：将原始FairMOT模型中只使用选手最近一个时刻的特征向量进行匹配，改为使用选手一段时间内产生的所有哈希编码进行匹配，同时对每一时刻的哈希编码依照生成时特征的有效程度计算哈希编码的加权权重，最终使用一段时间内的加权哈希编码进行选手匹配；
[0007]该针对赛马选手追踪的哈希增强FairMOT方法的具体实施包括以下步骤：
[0008]1)使用赛马数据集，由香港赛马场中不同场次的比赛录像以及选手的标记边界框组成，使用原始FairMOT模型提取不同摄像机拍摄的选手的特征向量；
[0009]2)将得到的特征向量按照摄像机的机位分组，使用BTSPLH哈希算法训练得到多组哈希函数；
[0010]3)使用整个赛马数据集，训练原始FairMOT模型作为基础框架；
[0011]4)将训练得到的哈希函数添加至训练后的FairMOT模型的特征提取模块后面，得到添加哈希函数的FairMOT模型，往添加哈希函数的FairMOT模型内输入测试视频，对视频的每一帧，添加哈希函数的FairMOT模型会检测并生成当前帧各个选手的哈希编码；
[0012]5)使用之前帧已检测到的选手的哈希编码组及相应的哈希编码权重，与当前帧检测到的选手的哈希编码进行匹配，并更新哈希编码权重以及哈希编码组，以提高FairMOT模型在应对频繁出现摄像机切换情况时的选手匹配准确率。
[0013]进一步，在步骤1)中，对于赛马数据集，每场比赛的视频由多个摄像机拍摄的片段组成，令Cam
i
指代第i个摄像机，摄像机的总数为c，则i＝1,2,...,c，对于第i个摄像机Cam
i
，称此摄像机所拍摄得到的片段为Seq
i
，则所有的摄像机的片段集合表示为Seq
all
：
[0014]Seq
all
＝{Seq1,Seq2,...,Seq
i
,...,Seq
c
}
[0015]对第i个摄像机Cam
i
所拍摄得到的片段Seq
i
，随机初始化并训练原始FairMOT模型，得到模型参数W
ei
；独立训练c次，总共得到c个相互之间互不关联的原始FairMOT模型的模型参数W
ei
；
[0016]对于片段Seq
i
及训练得到的模型参数W
ei
，进行如下操作：将参数W
ei
代入原始FairMOT模型中，将片段Seq
i
输入到代入参数后的原始FairMOT模型中，原始FairMOT模型输出得到不同选手的特征F
ei
；对每个片段Seq
i
都进行上述操作，最终所有的片段得到的特征集合F
extract
为：
[0017]F
extract
＝{F
e1
,F
e2
,...,F
ei
,...,F
ec
}。
[0018]进一步，在步骤2)中，对于步骤1)中生成的特征集合F
extract
，分别使用BTSPLH算法学习哈希函数，对于每个片段的特征F
ei
，训练得到一组哈希函数H
i
，最终得到c组哈希函数，令每一组中哈希函数的输入维度n
h
与原始FairMOT模型的Re
‑
ID头的输出维度保持一致，输出维度设为h，所有哈希函数组的集合表示为H
all
：
[0019]H
all
＝{H1,H2,...,H
i
,...,H
c
}。
[0020]进一步，在步骤3)中，使用所有的片段集合Seq
all
，训练原始FairMOT模型，得到最终用于多目标追踪的原始FairMOT模型的模型参数W
fin
。
[0021]进一步，所述步骤4)包括以下步骤：
[0022]4.1)将训练好的模型参数W
fin
代入原始FairMOT模型中，按照时间顺序，对于视频的每一帧，先由原始FairMOT模型得出此帧的预测选手集合O
cur
＝{O1,O2,...,O
j
,...,O
m...

【技术保护点】

【技术特征摘要】
1.针对赛马选手追踪的哈希增强FairMOT方法，其特征在于，该方法是基于哈希的思想改进FairMOT模型，以实现对赛马选手更高的追踪准确率，其进行了两个部分的改进，第一部分是对FairMOT模型的特征提取模块进行改进：在原始FairMOT模型的特征提取模块后加上一层哈希函数的映射，该哈希函数经过来自不同摄像机机位拍摄的选手特征向量的训练，原始FairMOT模型在每一时刻提取的选手特征经过哈希函数的映射后得到选手每一时刻的哈希编码，该哈希编码具有对摄像机机位不敏感的性质；第二部分是对FairMOT模型的选手匹配机制的改进：将原始FairMOT模型中只使用选手最近一个时刻的特征向量进行匹配，改为使用选手一段时间内产生的所有哈希编码进行匹配，同时对每一时刻的哈希编码依照生成时特征的有效程度计算哈希编码的加权权重，最终使用一段时间内的加权哈希编码进行选手匹配；该针对赛马选手追踪的哈希增强FairMOT方法的具体实施包括以下步骤：1)使用赛马数据集，由香港赛马场中不同场次的比赛录像以及选手的标记边界框组成，使用原始FairMOT模型提取不同摄像机拍摄的选手的特征向量；2)将得到的特征向量按照摄像机的机位分组，使用BTSPLH哈希算法训练得到多组哈希函数；3)使用整个赛马数据集，训练原始FairMOT模型作为基础框架；4)将训练得到的哈希函数添加至训练后的FairMOT模型的特征提取模块后面，得到添加哈希函数的FairMOT模型，往添加哈希函数的FairMOT模型内输入测试视频，对视频的每一帧，添加哈希函数的FairMOT模型会检测并生成当前帧各个选手的哈希编码；5)使用之前帧已检测到的选手的哈希编码组及相应的哈希编码权重，与当前帧检测到的选手的哈希编码进行匹配，并更新哈希编码权重以及哈希编码组，以提高FairMOT模型在应对频繁出现摄像机切换情况时的选手匹配准确率。2.根据权利要求1所述的针对赛马选手追踪的哈希增强FairMOT方法，其特征在于，在步骤1)中，对于赛马数据集，每场比赛的视频由多个摄像机拍摄的片段组成，令Cam
i
指代第i个摄像机，摄像机的总数为c，则i＝1,2,...,c，对于第i个摄像机Cam
i
，称此摄像机所拍摄得到的片段为Seq
i
，则所有的摄像机的片段集合表示为Seq
all
：Seq
all
＝{Seq1,Seq2,...,Seq
i
,...,Seq
c
}对第i个摄像机Cam
i
所拍摄得到的片段Seq
i
，随机初始化并训练原始FairMOT模型，得到模型参数W
ei
；独立训练c次，总共得到c个相互之间互不关联的原始FairMOT模型的模型参数W
ei
；对于片段Seq
i
及训练得到的模型参数W
ei
，进行如下操作：将参数W
ei
代入原始FairMOT模型中，将片段Seq
i
输入到代入参数后的原始FairMOT模型中，原始FairMOT模型输出得到不同选手的特征F
ei
；对每个片段Seq
i
都进行上述操作，最终所有的片段得到的特征集合F
extract
为：F
extract
＝{F
e1
,F
e2
,...,F
ei
,...,F
ec
}。3.根据权利要求2所述的针对赛马选手追踪的哈希增强FairMOT方法，其特征在于，在步骤2)中，对于步骤1)中生成的特征集合F
extract
，分别使用BTSPLH算法学习哈希函数，对于每个片段的特征F
ei
，训练得到一组哈希函数H
i
，最终得到c组哈希函数，令每一组中哈希函数的输入维度n
h
与原始FairMOT模型的Re
‑
ID头的输出维度保持一致，输出维度设为h，所有
哈希函数组的集合表示为H
all
：H
all
＝{H1,H2,...,H
i
,...,H
c
}。4.根据权利要求3所述的针对赛马选手追踪的哈希增强FairMOT方法，其特征在于，在步骤3)中，使用所有的片段集合Seq
all
，训练原始FairMOT模型，得到最终用于多目标追踪的原始FairMOT模型的模型参数W
f...

【专利技术属性】
技术研发人员：吴永贤，颜旭立，刘旭宇，田星，钟灿琨，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：