一种乒乓球比赛视频的智能数据采集方法技术

本发明专利技术公开一种乒乓球比赛视频的智能数据采集方法，包括：S1：比赛切割，即将整场乒乓球比赛视频切割为仅包含每一回合的比赛片段；S2：微调优化及球员骨架检测，即将S1中的每一回合的比赛片段采用用于视频检测和切割的卷积神经网络进行特征提取，根据所提取特征对每一回合比赛片段进一步细分并得到球员骨架；用于视频检测和切割的卷积神经网络为以Openpose作为特征提取模块，加入双向长短期记忆网络、长短期记忆网络、全连接层和Softmax分类层，实现对时序视频数据的分类功能；S3：击球检测，即对所述的比赛进行阶段的击球声音进行检测，计算击球数量及击球时刻。本发明专利技术的方法，自动对乒乓球比赛视频进行回合的检测和切割，检测得到的数据的准确率高。

An intelligent data acquisition method of table tennis game video

【技术实现步骤摘要】
一种乒乓球比赛视频的智能数据采集方法
本专利技术涉及球类比赛数据采集领域，具体涉及一种乒乓球直播视频的智能数据采集方法。
技术介绍
在过去的四十年中，国家乒乓球队曾试图对数据进行标注。这些方法从计数标记发展到视频编辑软件，然后发展到量身定制的交互式注释工具。尽管这些尝试已在一定程度上提高了数据收集的效率，但要有效地获取高质量，细粒度的数据仍然存在挑战。因此，非常需要能够显着提高数据注释效率的智能方法。但是，自动化数据采集存在两个主要挑战：低质量的广播视频。在大多数乒乓球比赛中，仅安装电视摄像机，并且仅广播视频可供分析。即使可以部署先进的设备，仍然需要对大量的历史广播视频进行注释和分析。人们尝试使用计算机视觉算法从视频中确定乒乓球和运动员的位置。但是，这些算法仅收集球和球员的位置，并且仅在特定摄像机角度和照明条件下的有限情况下工作。在广播视频中，频繁的镜头转换，不一致的场景外观和较低的分辨率给开发自动注释解决方案带来了挑战。需要高度专业的知识。与一般的标注任务(例如图像标记)不同，乒乓球数据标注在很大程度上依赖于高度专业的领域知识。乒乓球运动员的动作(定义为击球技术)由一系列的手和腕部微动作组成，每种技术仅持续约半秒钟。对于资深的领域专家来说，即使运动员的手部动作(通常在广播视频会常出现)被遮挡，领域专家也可以通过逻辑推理和上下文信息轻松识别出击球技术。但是，对于没有专业乒乓球训练的普通标注者来说，很难区别不同技术之间的细微差异，更不用说自动化的算法了。尽管最新的姿势估计和动作识别算法已被证明在运动分析中很有用，但这些算法着重于身体动作较大的动作(例如，跳远，太极和拳击中的动作)和持续时间较长的动作(即3到10秒)。收集细粒度的体育数据非常难、昂贵且费时费力。先进的商业体育数据采集产品，例如STATSSportVU，OPTA和ChyronHegoTRACAB，为足球、篮球和美式足球等各种体育活动提供了系统的解决方案。这些产品主要通过硬件设备获取数据，例如高速高清摄像头、可穿戴传感器和GPS。数据公司还提供专业的支持服务团队，以进行人工标注、设备安装和数据处理，以进行进一步的数据分析。然而，这些商业数据采集工具是为特定体育赛事量身定制的，很难直接应用于其他体育项目。
技术实现思路
针对现有技术的不足，本专利技术提供一种对乒乓球直播视频的智能数据采集方法，该采集方法采集的数据更加准确。具体技术方案如下：一种乒乓球比赛视频的智能数据采集方法，其特征在于，该方法具体包括如下步骤：S1：比赛切割，即将整场乒乓球比赛视频切割为仅包含每一回合的比赛片段；S2：微调优化及球员骨架检测，即将S1中的每一回合的比赛片段采用用于视频检测和切割的卷积神经网络进行特征提取，一方面根据所提取的特征通过分类模块对每一回合的比赛片段进一步细分，得到比赛进行阶段的视频片段，另一方面根据所提取的特征得到球员骨架；所述的用于视频检测和切割的卷积神经网络为以Openpose作为特征提取模块，加入双向长短期记忆网络、长短期记忆网络、全连接层和Softmax分类层，实现对时序视频数据的分类功能；S3：击球检测，即对所述的比赛进行阶段的击球声音进行检测，计算击球数量及击球时刻。进一步地，所述的S1具体为：首先对视频画面进行等频率下采样，根据比分牌的大致位置像素变化自动检测并解析局分、回合分位置，并根据其变化将长视频切割为包含每一回合的比赛片段以及其他噪声片段；所述的比分表示为sc＝(g1，g2，r1，r2)；并使用卷积神经网络对比分进行检测，构建比分偏序关系，通过比分偏序关系对所检测的比分序列数据进行筛选，找出其中的最大递增子序列，从而排除检测错误的情况；所述的比分偏序关系如下：((gn，1＝gm，1&gn，2＝gm，2)&(rn，1≤rm，1&rn，2≤rm，2))其中，g1为运动员一的局分，g2为运动员二的局分，r1为运动员一的回合分，r2为运动员二的回合分，scm、scn分别表示m时刻和n时刻的比分；gm，1、gn，1分别为m时刻和n时刻运动员一的局分，gm，2、gn，2分别为m时刻和n时刻运动员二的局分；rm，1、rn，1分别为m时刻和n时刻运动员一的回合分，rm，2、rn，2分别为m时刻和n时刻运动员二的回合分。进一步地，所述的S2中，以镜头转换的时刻作为切割对象，采用用于视频检测和切割的卷积神经网络提取视觉特征，精确检测视频中镜头切换的准确边界，将所述的每一回合的比赛片段进一步切割为进行中、回放、比赛准备、徽标和其他五个阶段。进一步地，所述的S3中，采用音频源分离模型Wave-U-Net来对音频进行预处理，分离背景声和人声，并采用用于音乐节拍检测的神经网络对分离后的声音进行检测，提取具有一定数目通道的音频对数梅尔倒谱图，并将其表示为时序的向量，进而学习音频的时序变化模式并预测每个时刻出现击球的概率，将概率峰值的时间点识别为击球时刻。进一步地，在采集每一回合和每一拍数据时，采用并行计算的方式，减少等待时间。本专利技术的有益效果如下：本专利技术提出一种全新的针对乒乓球的智能数据采集方法，自动对乒乓球比赛视频进行回合的检测和切割，检测得到的数据的准确率高。附图说明图1为本专利技术的乒乓球直播视频的智能数据采集方法的流程示意图；图2为对每一回合的比赛片段进一步精细分割的神经网络具体结构示意图；图3为击球检测的具体示意图。具体实施方式下面根据附图和优选实施例详细描述本专利技术，本专利技术的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，为本专利技术的乒乓球比赛视频的智能数据采集方法的完整流程，该方法具体包括S1-S3三个步骤：S1：比赛切割，即将整场乒乓球比赛视频切割为仅包含每一回合的比赛片段；首先对视频画面进行等频率下采样，根据比分牌的大致位置像素变化自动检测并解析局分、回合分位置，并根据其变化将长视频切割为包含每一回合的比赛片段以及其他噪声片段；所述的比分表示为sc＝(g1，g2，r1，r2)；并使用卷积神经网络对比分进行检测，构建比分偏序关系，通过比分偏序关系对所检测的比分序列数据进行筛选，找出其中的最大递增子序列，从而排除检测错误的情况；所述的比分偏序关系如下：((gn，1＝gm，1&gn，2＝gm，2)&(rn，1≤rm，1&rn，2≤rm，2))其中，g1为运动员一的局分，g2为运动员二的局分，r1为运动员一的回合分，r2为运动员二的回合分，scm、scn分别表示m时刻和n时刻的比分；gm，1、gn，1分别为m时刻和n时刻运动员一的局分，gm，2、gn，2分别为m时刻和n时刻运动员二的局分；rm，1、rn，1分别为m时刻和n时刻运动员一的回合分，rm，2、rn，2分别为m时刻和n时刻运动员二的回合分。通过比分检本文档来自技高网...

【技术保护点】
1.一种乒乓球比赛视频的智能数据采集方法，其特征在于，该方法具体包括如下步骤：/nS1：比赛切割，即将整场乒乓球比赛视频切割为仅包含每一回合的比赛片段；/nS2：微调优化及球员骨架检测，即将S1中的每一回合的比赛片段采用用于视频检测和切割的卷积神经网络进行特征提取，一方面根据所提取的特征通过分类模块对每一回合的比赛片段进一步细分，得到比赛进行阶段的视频片段，另一方面根据所提取的特征得到球员骨架；所述的用于视频检测和切割的卷积神经网络为以Openpose作为特征提取模块，加入双向长短期记忆网络、长短期记忆网络、全连接层和Softmax分类层，实现对时序视频数据的分类功能。/nS3：击球检测，即对所述的比赛进行阶段的击球声音进行检测，计算击球数量及击球时刻。/n

【技术特征摘要】
1.一种乒乓球比赛视频的智能数据采集方法，其特征在于，该方法具体包括如下步骤：
S1：比赛切割，即将整场乒乓球比赛视频切割为仅包含每一回合的比赛片段；
S2：微调优化及球员骨架检测，即将S1中的每一回合的比赛片段采用用于视频检测和切割的卷积神经网络进行特征提取，一方面根据所提取的特征通过分类模块对每一回合的比赛片段进一步细分，得到比赛进行阶段的视频片段，另一方面根据所提取的特征得到球员骨架；所述的用于视频检测和切割的卷积神经网络为以Openpose作为特征提取模块，加入双向长短期记忆网络、长短期记忆网络、全连接层和Softmax分类层，实现对时序视频数据的分类功能。
S3：击球检测，即对所述的比赛进行阶段的击球声音进行检测，计算击球数量及击球时刻。


2.根据权利要求1所述的乒乓球比赛视频的智能数据采集方法，其特征在于，所述的S1具体为：
首先对视频画面进行等频率下采样，根据比分牌的大致位置像素变化自动检测并解析局分、回合分位置，并根据其变化将长视频切割为包含每一回合的比赛片段以及其他噪声片段；所述的比分表示为sc＝(g1，g2，r1，r2)；并使用卷积神经网络对比分进行检测，构建比分偏序关系，通过比分偏序关系对所检测的比分序列数据进行筛选，找出其中的最大递增子序列，从而排除检测错误的情况；
所述的比分偏序关系如下：



其...

【专利技术属性】
技术研发人员：巫英才，邓达臻，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33