一种基于目标提名置换的体育视频中多目标跟踪匹配方法组成比例

本发明专利技术涉及一种基于目标提名置换的体育视频中多目标跟踪匹配方法，属于目标检测技术领域，解决了现有技术中多目标跟踪方法在体育视频中重复检测和目标丢失的问题

【技术实现步骤摘要】
一种基于目标提名置换的体育视频中多目标跟踪匹配方法


[0001]本专利技术属于目标检测
，具体涉及一种基于目标提名置换的体育视频中多目标跟踪匹配方法
。

技术介绍

[0002]与一般监控视频下的行人跟踪相比，体育视频中的多目标
(
如：运动员
)
跟踪问题则有一些特别之处，如图1‑2所示：第一，运动员队服统一可认为是多个目标外观极度相似，则不同目标的视觉特征会有相似的分布，这样会导致重复检测问题；第二，多名运动员会有频繁跑动，故而遮挡现象会频繁出现，并且运动员移动速度相比于行人更快，目标丢失问题也会更加严重
。
若上述两种情形同时出现，则现有的多目标跟踪方法将会面临非常困难的挑战
。
对体育视频中进行多目标跟踪，能够获得运动员的运动信息，对于比赛选手来说，能够有效辅助分析所关注的运动员的竞技习惯，从而指定针对性方案；对于观众来说，能够多方位展示比赛动态及运动员技术统计等
。
[0003]现有的多目标跟踪方法大多解决的问题是在监控视频中跟踪多名行人，在该场景下，目标数量虽然较多，但摄像机视角固定，目标外观具有一定差异性，并且目标移动速度较慢，多目标跟踪方法能够获得较好的跟踪效果
。
但其仍然具有一定的局限性，目前极少有专门针对体育视频进行多目标跟踪研究
。
对于前述体育视频中出现的挑战，现有的方法即使能够根据体育视频训练出模型，但其没有针对体育视频场景进行合理的设计，所以现有的多目标跟踪方法通常不能直接适用于体育视频场景
。

技术实现思路

[0004]鉴于上述问题，本专利技术提供了一种基于目标提名置换的体育视频中多目标跟踪匹配方法，解决了现有技术中多目标跟踪方法在体育视频中重复检测和目标丢失的问题
。
[0005]本专利技术提供的一种基于目标提名置换的体育视频中多目标跟踪匹配方法，具体步骤为：
[0006]S1
，对体育视频中相邻两帧的图像进行目标检测获取前一帧跟踪结果和后一帧检测结果；后一帧检测结果包括首次匹配目标提名集和提名替补集；
[0007]S2
，基于首次匹配目标提名集和前一帧跟踪结果中的目标提名的包围盒坐标构造首次匹配损失矩阵；
[0008]S3
，基于首次匹配损失矩阵，获取首次匹配目标提名集中的目标提名在体育视频中相邻两帧的多个匹配值；
[0009]S4
，判断步骤
S3
获得的某个匹配值，如果该匹配值为坏匹配，与该坏匹配对应的首次匹配目标提名集中的目标提名为低匹配质量目标提名，从提名替补集中选择替补提名，使用选择的替补提名置换该坏匹配对应的低匹配质量目标提名，获得后一帧的第1代匹配结果，进入步骤
S5
；如果骤
S3
获得的所有匹配值均为好匹配，与各个好匹配对应的首次匹配目标提名集中的目标提名为高匹配质量目标提名，获得高匹配质量目标提名集，结束体育
视频中该相邻两帧的图像的多目标跟踪匹配获得后一帧跟踪匹配结果；
[0010]S5
，根据后一帧的第
n
代匹配结果及前一帧跟踪结果中的目标提名的包围盒坐标构造第
n
代匹配损失矩阵，
n
＝1；
[0011]S6
，基于第
n
代匹配损失矩阵，获取后一帧的第
n
代匹配结果中的目标提名在体育视频中相邻两帧的多个匹配值；
[0012]S7
，判断步骤
S6
获得的某个匹配值，如果该匹配值为坏匹配，与该坏匹配对应的后一帧的第
n
代匹配结果中的目标提名为低匹配质量目标提名，从提名替补集中选择替补提名，使用选择的替补提名置换该坏匹配对应的低匹配质量目标提名，获得后一帧的第
n+1
代匹配结果，令
n
＝
n+1
，返回步骤
S5
；如果匹配值中均为好匹配，与各个好匹配对应的后一帧的第
n
代匹配结果中的目标提名为高匹配质量目标提名，获得高匹配质量目标提名集，结束体育视频中该相邻两帧的图像的多目标跟踪匹配获得后一帧跟踪匹配结果
。
[0013]可选地，使用多目标跟踪网络模型获取步骤
S1
中的前一帧跟踪结果和后一帧检测结果；
[0014]其中，使用历史体育视频数据库的训练集对历史体育视频中的多目标进行标签跟踪标注获得每个目标的跟踪标签；基于所有跟踪标签，使用深度学习法训练多目标跟踪模型获得多目标跟踪网络模型
。
[0015]可选地，多目标跟踪模型包括多层感知机；多层感知机的学习步骤为：
[0016]获取多层感知机，表达式为：
[0017]Y
＝
W
MLP
(X)
；
[0018]其中，
Y
为输出的目标包围盒；
X
为输入的单帧图片；
W
MLP
为可学习参数；
[0019]使用反向传播机制将多层感知机输出的目标包围盒
Y
与目标的跟踪标签的偏差传递给可学习参数
W
MLP
，训练可学习参数
W
MLP
，使输出的目标包围盒
Y
逼近目标的跟踪标签
。
[0020]可选地，步骤
S1
中获得的前一帧跟踪结果
Track_Box
的表达式为：
[0021]rack_Box
＝
{P1,
…
,P
M
}
；
[0022]其中，
P
m
表示体育视频中前一帧的第
m
个目标提名，
m
＝
1,2,
…
,M
，
M
表示体育视频中前一帧的目标提名的总个数
。
[0023]可选地，对步骤
S1
中获得的后一帧检测结果按目标照置信度降序排列；提取超过目标置信度阈值的前
N
个后一帧目标提名，每个后一帧目标提名的表达式为：
[0024]P
i
＝
{Score
i
,x
1,i
,y
1,i
,x
2,i
,y
2,i
}
；
[0025]其中，
P
i
表示第
i
个后一帧目标提名，
i
＝
1,2,
…
,N
，
N
为提取的后一帧目标提名总个数；
Score
i
表示第
i
个后一帧目标提名的目标置信度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于目标提名置换的体育视频中多目标跟踪匹配方法，其特征在于，具体步骤为：
S1
，对体育视频中相邻两帧的图像进行目标检测获取前一帧跟踪结果和后一帧检测结果；后一帧检测结果包括首次匹配目标提名集和提名替补集；
S2
，基于首次匹配目标提名集和前一帧跟踪结果中的目标提名的包围盒坐标构造首次匹配损失矩阵；
S3
，基于首次匹配损失矩阵，获取首次匹配目标提名集中的目标提名在体育视频中相邻两帧的多个匹配值；
S4
，判断步骤
S3
获得的某个匹配值，如果该匹配值为坏匹配，与该坏匹配对应的首次匹配目标提名集中的目标提名为低匹配质量目标提名，从提名替补集中选择替补提名，使用选择的替补提名置换该坏匹配对应的低匹配质量目标提名，获得后一帧的第1代匹配结果，进入步骤
S5
；如果骤
S3
获得的所有匹配值均为好匹配，与各个好匹配对应的首次匹配目标提名集中的目标提名为高匹配质量目标提名，获得高匹配质量目标提名集，结束体育视频中该相邻两帧的图像的多目标跟踪匹配获得后一帧跟踪匹配结果；
S5
，根据后一帧的第
n
代匹配结果及前一帧跟踪结果中的目标提名的包围盒坐标构造第
n
代匹配损失矩阵，
n
＝1；
S6
，基于第
n
代匹配损失矩阵，获取后一帧的第
n
代匹配结果中的目标提名在体育视频中相邻两帧的多个匹配值；
S7
，判断步骤
S6
获得的某个匹配值，如果该匹配值为坏匹配，与该坏匹配对应的后一帧的第
n
代匹配结果中的目标提名为低匹配质量目标提名，从提名替补集中选择替补提名，使用选择的替补提名置换该坏匹配对应的低匹配质量目标提名，获得后一帧的第
n+1
代匹配结果，令
n
＝
n+1
，返回步骤
S5
；如果匹配值中均为好匹配，与各个好匹配对应的后一帧的第
n
代匹配结果中的目标提名为高匹配质量目标提名，获得高匹配质量目标提名集，结束体育视频中该相邻两帧的图像的多目标跟踪匹配获得后一帧跟踪匹配结果
。2.
根据权利要求1所述的体育视频中多目标跟踪匹配方法，其特征在于，使用多目标跟踪网络模型获取步骤
S1
中的前一帧跟踪结果和后一帧检测结果；其中，使用历史体育视频数据库的训练集对历史体育视频中的多目标进行标签跟踪标注获得每个目标的跟踪标签；基于所有跟踪标签，使用深度学习法训练多目标跟踪模型获得多目标跟踪网络模型
。3.
根据权利要求2所述的体育视频中多目标跟踪匹配方法，其特征在于，多目标跟踪模型包括多层感知机；多层感知机的学习步骤为：获取多层感知机，表达式为：
Y
＝
W
MLP
(X)
；其中，
Y
为输出的目标包围盒；
X
为输入的单帧图片；
W
MLP
为可学习参数；使用反向传播机制将多层感知机输出的目标包围盒
Y
与目标的跟踪标签的偏差传递给可学习参数
W
MLP
，训练可学习参数
W
MLP
，使输出的目标包围盒
Y
逼近目标的跟踪标签
。4.
根据权利要求1‑3任一项所述的体育视频中多目标跟踪匹配方法，其特征在于，步骤
S1
中获得的前一帧跟踪结果
Track_Box
的表达式为：
rack_Box
＝
{P1,
…
,P
M
}
；
其中，
P
m
表示体育视频中前一帧的第
m
个目标提名，
m
＝
1,2,
…
,M
，
M
表示体育视频中前一帧的目标提名的总个数
。5.
根据权利要求1‑3任一项所述的体育视频中多目标跟踪匹配方法，其特征在于，对步骤
S1
中获得的后一帧检测结果按目标照置信度降序排列；提取超过目标置信度阈值的前
N
个后一帧目标提名，每个后一帧目标提名的表达式为：<...

【专利技术属性】
技术研发人员：王蕴红，何睿，杨昊，陈训逊，刘庆杰，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：