一种面向球场视频的单目三维抛物线球轨迹跟踪方法、系统、介质及设备技术方案

本发明专利技术提供一种面向球场视频的单目三维抛物线球轨迹跟踪方法、系统、介质及设备，包括：利用单摄像头标定算法，对球运动视频的第一帧进行检测，得到所述球视频的球场三维空间到摄像机画面的投影矩阵。使用四种过滤器，提取所述视频当前帧球2D位置。建立带起点终点约束的三维抛物线方程，球2D轨迹转换为3D轨迹的方程，使用DLT算法求解3D轨迹参数。根据轨迹上标注的已知点，使用EM算法修正已知点和轨迹的速度，获得最终轨迹。本发明专利技术可以通过单摄像头高精度获取比赛中球轨迹的三维信息和时序信息，有效避免球轨迹无法区分远近端问题。有效避免球轨迹无法区分远近端问题。有效避免球轨迹无法区分远近端问题。

【技术实现步骤摘要】
一种面向球场视频的单目三维抛物线球轨迹跟踪方法、系统、介质及设备


[0001]本专利技术涉及图像处理
，特别涉及一种面向球场视频的单目三维抛物线球轨迹跟踪方法、系统、介质及设备。

技术介绍

[0002]随着多媒体的迅速发展以及大众对其的需求指标的越来愈高，其激增要求开发基于内容的多媒体信息检索自动化系统和工具。体育视频领域由其可见，人们更加渴望看到运动员球手击球各方面的细节化，比以往任何时候都渴望自由选择的观点。用于快速浏览、索引和摘要的传统交互式视频观看已不能满足其要求。
[0003]在传统的球比赛中，一般是通过多个摄像机，在特定位置部署实时采集球的俯仰运动轨迹，再由计算机对其多个镜头信息进行分析，从而得到球的空间运动轨迹。然而，对多个摄像镜头的安装位置和可见区域的高要求限制了其系统的实用性。再者现有的轨迹跟踪方法中TLD(tracking
‑
learning
‑
detection)目标跟踪算法运行速度缓慢，易受背景颜色影响；kcf(kernelized correlation filters)跟踪算法对于较小运动目标跟踪易出现丢帧现象。综上所诉，轻量化，简易，有效的球轨迹跟踪，是本领域技术人员亟待解决的问题。
[0004]论文Chen，HT.，Tsai，WJ.，Lee，SY.et al.Ball tracking and 3D trajectory approximation with applications to tactics analysis from single
‑
camera volleyball sequences.Multimed Tools Appl 60，641
‑
667(2012)提出了一种两阶段排球轨迹跟踪算法，首先检测每帧的候选球二维坐标，然后使用它们来计算二维球的轨迹。借助摄像机标定，利用球运动的物理特性，从二维轨迹近似出三维球轨迹。该方法可以有效的使用单摄像头实现3D轨迹标注。
[0005]该方法无法判断轨迹的起点和终点，将平面2D轨迹转化为3D轨迹的时候，会错误的将从远到近的球轨迹识别为从近到远的球轨迹，造成比较大的识别误差，降低识别精度。

技术实现思路

[0006]有鉴于此，本专利技术目的在以提供一种面向球场视频的单目三维抛物线球轨迹跟踪方法、系统、介质及设备，以简化多摄像头场地布置受限，操作难度高，计算量大的问题。通过捕捉人体姿态确定球的击球点以及球轨迹的时序信息，在2D轨迹转化为3D轨迹时，可以有效区分从远到近的球和从近到远的球。另外，本专利技术还提出了一种基于EM算法的击球点，球轨迹优化方案，可以降低检测误差，进一步提高精度。其具体实施方案如下：
[0007]一种面向球场视频的单目三维抛物线球轨迹跟踪方法、系统、介质及设备，包括：
[0008]利用单目摄像头标定算法，对球运动视频的第一帧进行检测，得到所述球视频的球场三维空间到摄像机画面的投影矩阵P；
[0009]截取目标视频第一帧图片，利用颜色聚类分割场地；
[0010]使用霍夫变换并结合球先验知识获取10个地面特征点的二维坐标与4个球边界特
征点二维坐标；
[0011]通过球先验知识，获取以上14个二维特征点坐标的3D位置，记为W1～W
14
；
[0012]求解出以上特征点二维到三维的映射转换关系，其变换为m
i
＝MW
i
其中m
i
＝[x
i
，y
i
，1]T
，W
i
＝[x
i
，y
i
，z
i
，1]T
，所述投影矩阵M可以使用以下转换公式求解所述投影矩阵p使用DLT算法求解；
[0013]在获取投影矩阵P后，使用特定过滤器提取球位置，包括颜色捕捉，大小拟定，形状筛选，丰满度过滤吻合。
[0014]色差过滤器。将每间隔三帧的图片相互对比，筛选RGB差值大的区域，使用矩形边框标记区域。
[0015]球大小过滤器，检测球半径满足以下关系式：
[0016]形状筛选过滤器。假设球边框横纵比为P，所述横纵比需满足：
[0017]丰满度过滤器，丰满度为D
f
，检测对象尺寸为S
obj
，球边界面积为A
b
‑
box
，通过以下标准选取丰满度小于某一阈值的对象；
[0018]根据视频帧当前人体姿态，获取双方选手的击球时间和击球的三维坐标；
[0019]假设靠近摄像机的选手为第一个选手，远离摄像机的选手为第二个选手。对于第一个选手，根据机器学习算法进行人体骨架识别，提取人体骨骼特征点。
[0020]获取最靠近球拍处骨骼点的二维坐标，从多个角度测量骨骼点到球拍的偏移量。
[0021]根据所述人体骨骼点获取选手脚部2D位置，标记为高度零点位置。
[0022]如果此项目为球拍等器具击球，则根据所述高度零点位置，结合基于单目视觉的测量算法，将球拍等器具击球点到高度零点的垂直距离转化为实际高度。
[0023]结合击球的2D位置和实际高度信息，构建第一个选手击球点的3D位置和击球时间。
[0024]重复上述步骤，识别第二个选手击球点的3D位置和击球时间；
[0025]从击球时间开始，采用上述特定过滤器获取球位置，获得的每一帧轨迹点坐标和时间信息表示为[x
i
，y
i
，n
i
，1]，其中x
i
，y
i
表示轨迹点二维坐标，n
i
表示轨迹点的时间，其值根据击球时间获得，将其记录在x，y平面内；
[0026]根据所获取的球位置分布，从击球时间开始，到分别连接下一帧在x方向和y方向上临近的点，加入到一条轨迹的已选点中。
[0027]在获取球位置分布的基础上，若已选点大于三个，初始化轨迹预测方程
y＝a
·
n2+b
·
n+c，a＜0x＝d
·
n+e根据估测系数值，使用所述方程估测下一帧的球位置；
[0028]根据估测系数值，在x和y方向上分别使用所述方程估测下一帧的球位置。若下一帧实际球位置和预测位置误差均小于某一阈值，将下一帧点加入已选点中，更新所述方程参数；
[0029]若下一帧球位置和预测球位置大于某一阈值，判断下一帧该轨迹球位置丢失，记为位置丢失帧，当丢失帧数大于3，记录这个轨迹和对应已选点，重复直到另一选手的击球时间再延后20帧；
[0030]从所述选手一击球到所述选手二击球后20帧时间段内，从上述轨迹中根据长度，预测误差进行评分，选出评分大于阈值的轨迹；
[0031]根据上述所获得的二维轨迹，假设每个独立的二维轨迹含有N个所述球位置点，列出相应物本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向球场视频的单目三维抛物线球轨迹跟踪方法、系统、介质及设备，其特征在于，包括：步骤S1：利用单摄像头标定算法，对球运动视频的第一帧进行检测，得到所述球视频的球场三维空间到摄像机画面的投影矩阵P。步骤S2：使用四种过滤器，提取所述视频当前帧球2D位置。步骤S3：估计抛物线起点终点三维坐标。步骤S4：建立带起点终点约束的三维抛物线方程，球2D轨迹转换为3D轨迹的方程，使用DLT算法求解3D轨迹参数。步骤S5：根据轨迹上标注的已知点，使用EM算法修正已知点和轨迹的速度，获得最终轨迹。2.根据权利要求1所述的方法，其特征在于，所述步骤S1的过程，包括：步骤S11：截取所述视频第一帧图片。步骤S12：对所述图片，利用颜色聚类分割场地，使用霍夫变换获取10个地面特征点和4个球网边界特征点的二维坐标。步骤S13：通过所述特征点坐标，结合球场尺寸获取所述地面特征和边界特征点坐标的3D位置，记为W1～W
14
步骤S14：对于所述每个特征点的二维坐标和三维坐标，有转换关系m
i
＝PW
i
所述m
i
＝[x
i
，y
i
，1]
T
，W
i
＝[x
i
，y
i
，z
i
，1]
T
，步骤S15：所述投影矩阵P可以使用以下转换公式求解其中所述P
j
表示投影矩阵P的第j行，所述投影矩阵P使用DLT算法求解。3.根据权利要求1所述的方法，其特征在于，所述步骤S2的过程，包括：步骤S21：通过一种色差过滤器。将每间隔三帧的图片相互对比，筛选RGB差值大的区域，使用矩形边框标记区域。步骤S22：通过一种球大小过滤器。假设D为真实球半径，L为真实球场线长度，L
n
为检测近端球场线长度，L
f
为远端球场线长度，R为检测球半径，ΔR为检测误差，检测球半径满足以下关系式：步骤S23：通过一种形状筛选过滤器。假设球边框横纵比为P，所述横纵比需满足：步骤S24：通过一种丰满度过滤器。假设丰满度为D
f
，检测对象尺寸为S
obj
，球边界面积为A
b
‑
box
，所述丰满度的定义为：选取丰满度小于某一阈值的对象。
4.根据权利要求1所述的方法，其特征在于，所述步骤S3的过程，包括：步骤S31：假设靠近摄像机的选手为第一个选手，远离摄像机的选手为第二个选手。对于第一个选手，根据机器学习算法进行人体骨架识别，提取人体骨骼特征点。步骤S32：获取最靠近球拍处骨骼点的二维坐标，从多个角度测量骨骼点到球拍的偏移量。步骤S33：根据所述人体骨骼点获取选手脚部2D位置，标记为高度零点位置。步骤S34：如果此项目，为球拍等器具击球，则根据所述高度零点位置，结合基于单目视觉的测量算法，将球拍等器具击球点到高度零点的垂直距离转化为实际高度。步骤S35：结合击球的2D位置和实际高度信息，构建第一个选手击球点的3D位置和击球时间。步骤S36：重复步骤S31到S35，识别第二个选手击球点的3D位置和击球时间。5.根据权利要求1所述的方法，其特征在于，所述步骤S4的过程，包括：...

【专利技术属性】
技术研发人员：罗森滋，李东，肖嘉胤，徐卓豪，章云，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：