多视角视频的球员追踪方法和装置制造方法及图纸

本发明专利技术涉及一种多视角视频的球员追踪方法和装置，该方法包括分别获取不同视角下的视频中相对应的当前帧中的未丢失的球员标记框并计算球员坐标；分别计算球员坐标投影至目标平面的投影坐标；获取自不同视角下的视频中相对应的当前帧投影的、且在目标平面中相距的距离小于第一预设距离的投影坐标；根据所获取的投影坐标计算第一目标球员坐标；在目标平面中，根据第一目标球员坐标，追踪显示上一帧中的相应球员坐标投影至目标平面中的第二目标球员坐标处的球员标识。上述多视角视频的球员追踪方法和装置，其通过多视角下的视频对球员进行跟踪，即使单个视角下的视频中的球员出现丢失的情况，则也可以通过其他视角下的视频对球员进行准确地追踪。

【技术实现步骤摘要】
多视角视频的球员追踪方法和装置
本专利技术涉及图像处理领域，特别是涉及一种多视角视频的球员追踪方法和装置。
技术介绍
在运动比赛中，对运动场上的足球运动员的运动进行分析具有重要的作用。教练可以通过分析的具体信息给出相应球员具体的指导方案和措施，同时还能够对足球比赛的相关数据例如控球率等等给出具体的统计信息。目前大多数的运动员追踪中，经常出现运动员丢失的情况，且一旦运动员丢失，对该丢失的足球运动员进行重新跟踪等需要进行复杂的检测机制。
技术实现思路
基于此，有必要针对球员追踪中球员丢失问题，提供一种多视角视频的球员追踪方法和装置。一种多视角视频的球员追踪方法，包括：分别获取不同视角下的视频中相对应的当前帧中的未丢失的球员标记框；根据所述未丢失的球员标记框的位置计算球员坐标；分别计算所述球员坐标，投影至目标平面的投影坐标；获取自不同视角下的视频中相对应的当前帧投影的、且在所述目标平面中相距的距离小于第一预设距离的投影坐标；根据所获取的投影坐标计算第一目标球员坐标；在所述目标平面中，根据所述第一目标球员坐标，追踪显示上一帧中的相应球员坐标投影至所述目标平面中的第二目标球员坐标处的球员标识。在其中一个实施例中，所述分别获取不同视角下的视频中相对应的当前帧中的未丢失的球员标记矩形框的步骤，包括：针对不同视角下的每个视频分别进行以下步骤：获取当前帧中的待定球员标记框和所述当前帧的上一帧的未丢失的球员标记框、所述上一帧的丢失的球员标记框以及所述丢失的球员标记框的搜索距离；根据所述待定球员标记框的位置获取对应的球员模板；获取与所述上一帧的所述未丢失的球员标记框的距离小于第二预设距离的所述待定球员标记框；分别计算所述待定球员标记框与所述对应的球员模板的差值；当所述待定球员标记框与所述对应的球员模板的差值小于预设值时，则分别标记所述当前帧中的与所述对应的球员模板的差值小于预设值的所述待定球员标记框为未丢失的球员标记框；当所述待定球员标记框与所述对应的球员模板的差值大于等于预设值时，则将所述上一帧中的未丢失的球员标记框标记为所述当前帧中的丢失的球员标记框；获取与所述上一帧的丢失的球员标记框的距离小于所述搜索距离的所述待定球员标记框；分别计算所述待定球员标记框与所述对应的球员模板的差值；当所述待定球员标记框与所述对应的球员模板的差值小于预设值时，则分别标记所述当前帧中的与所述对应的球员模板的差值小于预设值的所述待定球员标记框为未丢失的球员标记框；当所述待定球员标记框与所述对应的球员模板的差值大于等于预设值时，则调大所述搜索距离。在其中一个实施例中，所述方法还包括：针对不同视角下的每个视频分别进行以下步骤：分别根据所述差值计算所述未丢失的球员标记框的置信度；获取所述视角的摄像机在所述当前帧中的摄像机坐标；根据所述置信度以及所述球员坐标与所述摄像机坐标间距离，分别计算与所述球员坐标相对应的所述投影坐标的权值；根据所获取的投影坐标计算第一目标球员坐标的步骤，包括：根据所获取的投影坐标以及所获取的投影坐标的权值，计算第一目标球员坐标。在其中一个实施例中，所述分别计算所述待定球员标记框与所述对应的球员模板的差值的步骤，包括：通过以下公式分别计算所述待定球员标记框与所述对应的球员模板的差值：其中，dist(H1,H2)为所述差值，为所述待定球员标记框与所述对应的球员模板的像素差绝对值的平方，w(H1)h(H1)为所述对应的球员模板的面积，)hist(H1,H2)为所述待定球员标记框与所述对应的球员模板的色调直方图的绝对值差值，α为权值因子，且0≦α≦1。在其中一个实施例中，所述分别根据所述差值计算所述未丢失的球员标记框的置信度的步骤，包括：通过以下公式计算所述未丢失的球员标记框的置信度：其中，p为所述置信度，t为时间。在其中一个实施例中，所述方法还包括：针对不同视角下的每个视频分别进行以下步骤：统计所述对应的球员模板的使用次数；当所述对应的球员模板的使用次数等于预设次数、且所述置信度大于预设置信度时，则通过所述未丢失的球员标记框替换所述对应的球员模板。在其中一个实施例中，所述当所述对应的球员模板的使用次数等于预设次数、且所述置信度大于预设置信度时的步骤之后，还包括：获取所述未丢失的球员标记框的中心像素；当在包含所述中心像素的预设范围中存在球员像素时，则根据在所述预设范围中的所述球员像素生成所述对应的球员模板；当在包含所述中心像素的预设范围中不存在球员像素时，则继续通过所述未丢失的球员标记框替换所述对应的球员模板的步骤。在其中一个实施例中，所述方法还包括：分别获取所述不同视角下的视频中的球场区域和球员模板；根据所述球场区域确定所述球场区域的四个角点；根据所述四个角点，确定所述当前帧与目标平面之间的坐标投影关系。在其中一个实施例中，所述获取当前帧中的待定球员标记框的步骤，包括：获取当前帧的颜色直方图；根据所述颜色直方图，对所述当前帧进行反向投影以获得球员像素；根据所述球员像素，获取待定球员标记框。一种所视角视频的球员追踪装置，包括：球员坐标计算模块，用于分别获取不同视角下的视频中相对应的当前帧中的未丢失的球员标记框，根据所述未丢失的球员标记框的位置计算球员坐标；投影坐标计算模块，用于分别计算所述球员坐标，投影至目标平面的投影坐标；目标球员坐标计算模块，用于获取自不同视角下的视频中相对应的当前帧投影的、且在所述目标平面中相距的距离小于第一预设距离的投影坐标；根据所获取的投影坐标计算第一目标球员坐标；追踪显示模块，用于在所述目标平面中，根据所述第一目标球员坐标，追踪显示上一帧中的相应球员坐标投影至所述目标平面中的第二目标球员坐标处的球员标识。上述多视角视频的球员追踪方法和装置，其通过多视角下的视频对球员进行跟踪，即使单个视角下的视频中的球员出现丢失的情况，则也可以通过其他视角下的视频对球员进行准确地追踪，且只有追踪到球员的视角下所追踪的球员坐标才能参与第一目标球员坐标的计算，从而可以实现对球员的准确追踪。附图说明图1为一实施例中多视角视频的球员追踪方法的流程图；图2为一实施例中坐标投影关系确定依旧球员模板确定步骤的流程图；图3为一实施例中反向投影后的当前帧的示意图；图4为图3所示的实施例中二值化处理后的当前帧的示意图；图5为图4所示实施例中的形态学操作后的当前帧的示意图；图6为一实施例当前帧中所建立的坐标示意图；图7为一实施例中未丢失的球员矩形框获取步骤的流程图；图8为图7中所示实施例的步骤S702的流程图；图9为一实施例中对图像进行广度优先搜索后的示意图；图10为一实施例中权值计算步骤的流程图；图11为一实施例中球员遮挡的示意图；图12为一实施例中目标平面中球员的轨迹图；图13为一实施例中球员模板更新步骤的流程图；图14为一实施例中多视角视频的球员追踪装置的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本专利技术，并不用于限定本专利技术。请参阅图1所示，图1为一实施例中多视角视频的球员追踪方法的流程图，该方法包括：S102：分别获取不同视角下的视频中相对应的当前帧中的未丢失的球员标记框。具体地，不同视角下的视频是通过放置在真实本文档来自技高网...

【技术保护点】
一种多视角视频的球员追踪方法，其特征在于，包括：分别获取不同视角下的视频中相对应的当前帧中的未丢失的球员标记框；根据所述未丢失的球员标记框的位置计算球员坐标；分别计算所述球员坐标，投影至目标平面的投影坐标；获取自不同视角下的视频中相对应的当前帧投影的、且在所述目标平面中相距的距离小于第一预设距离的投影坐标；根据所获取的投影坐标计算第一目标球员坐标；在所述目标平面中，根据所述第一目标球员坐标，追踪显示上一帧中的相应球员坐标投影至所述目标平面中的第二目标球员坐标处的球员标识。

【技术特征摘要】
1.一种多视角视频的球员追踪方法，其特征在于，包括：分别获取不同视角下的视频中相对应的当前帧中的未丢失的球员标记框；根据所述未丢失的球员标记框的位置计算球员坐标；分别计算所述球员坐标，投影至目标平面的投影坐标；获取自不同视角下的视频中相对应的当前帧投影的、且在所述目标平面中相距的距离小于第一预设距离的投影坐标；根据所获取的投影坐标计算第一目标球员坐标；在所述目标平面中，根据所述第一目标球员坐标，追踪显示上一帧中的相应球员坐标投影至所述目标平面中的第二目标球员坐标处的球员标识。2.根据权利要求1所述的方法，其特征在于，所述分别获取不同视角下的视频中相对应的当前帧中的未丢失的球员标记矩形框的步骤，包括：针对不同视角下的每个视频分别进行以下步骤：获取当前帧中的待定球员标记框和所述当前帧的上一帧的未丢失的球员标记框、所述上一帧的丢失的球员标记框以及所述丢失的球员标记框的搜索距离；根据所述待定球员标记框的位置获取对应的球员模板；获取与所述上一帧的所述未丢失的球员标记框的距离小于第二预设距离的所述待定球员标记框；分别计算所述待定球员标记框与所述对应的球员模板的差值；当所述待定球员标记框与所述对应的球员模板的差值小于预设值时，则分别标记所述当前帧中的与所述对应的球员模板的差值小于预设值的所述待定球员标记框为未丢失的球员标记框；当所述待定球员标记框与所述对应的球员模板的差值大于等于预设值时，则将所述上一帧中的未丢失的球员标记框标记为所述当前帧中的丢失的球员标记框；获取与所述上一帧的丢失的球员标记框的距离小于所述搜索距离的所述待定球员标记框；分别计算所述待定球员标记框与所述对应的球员模板的差值；当所述待定球员标记框与所述对应的球员模板的差值小于预设值时，则分别标记所述当前帧中的与所述对应的球员模板的差值小于预设值的所述待定球员标记框为未丢失的球员标记框；当所述待定球员标记框与所述对应的球员模板的差值大于等于预设值时，则调大所述搜索距离。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：针对不同视角下的每个视频分别进行以下步骤：分别根据所述差值计算所述未丢失的球员标记框的置信度；获取所述视角的摄像机在所述当前帧中的摄像机坐标；根据所述置信度以及所述球员坐标与所述摄像机坐标间距离，分别计算与所述球员坐标相对应的所述投影坐标的权值；根据所获取的投影坐标计算第一目标球员坐标的步骤，包括：根据所获取的投影坐标以及所获取的投影坐标的权值，计算第一目标球员坐标。4.根据权利要求3所述的方法，其特征在于，所述分别计算所述待定球员标记框与所述对应的球员模板的差值的步骤，包括：通过以下公式分别计算所述待定球员标记框与所述对应的球员模板的差值：

【专利技术属性】
技术研发人员：毛丽娟，盛斌，李震，郑鹭宾，赵刚，蒋健巍，郝宇轩，夏宇辰，
申请(专利权)人：上海体育学院，上海交通大学，
类型：发明
国别省市：上海,31