基于视频的高尔夫挥杆评测方法及系统技术方案

本发明专利技术的一个技术方案是提供了一种基于视频的高尔夫挥杆评测方法，其特征在于，包括关键帧提取网络以及挥杆动作对比分析模块。本发明专利技术的另一个技术方案是提供了一种基于上述的高尔夫挥杆评测方法实现的高尔夫挥杆评测系统，其特征在于，分为展现层、通讯层、服务层和数据层，包括用户管理功能模块、视频管理功能模块和AI挥杆动作对比分析功能模块。本发明专利技术所需设备仅一部智能手机，根据挥杆关键事件对比分析挥杆动作，能够更迅速准确地定位动作的问题所在，且对骨架模型进行3D重建，可以多角度查看挥杆动作与职业球员的差异。同时能够提供量化数据分析，例如部分关节的角度，并能以与职业球员的骨骼点距离作为标准度评分。与职业球员的骨骼点距离作为标准度评分。与职业球员的骨骼点距离作为标准度评分。

【技术实现步骤摘要】
基于视频的高尔夫挥杆评测方法及系统


[0001]本专利技术涉及一种基于视频的高尔夫挥杆评测方法以及基于该方法实现的高尔夫挥杆评测系统。

技术介绍

[0002]诺亦腾MySwing[1]公开的高尔夫挥杆评测系统提供了17个无线传感器穿戴结点以及球杆传感器。其附带的分析软件能够对球手身体关键部位的运动轨迹、旋转角度、肌肉发力顺序等数据进行分析。同时还配备压感脚垫，对足部蹬地的发力大小同样进行记录。其产品优势在于对动作的捕捉更加精确、全面，量化数据分析更加具体和专业。缺点在于一套传感器装备的成本昂贵，同时由于拥有多种专业的传感器硬件设备，球员使用时需要对系统有良好的了解，使用门槛较高。
[0003]Liao等人[2]提供了一个分析工具，帮助高尔夫初学者将他们的挥杆动作与专家的挥杆运动进行比较。所提出的应用程序使用基于神经网络的编码器提取的潜在特征来同步具有不同摆动相位定时的视频，并检测出现不一致运动的关键帧。他们将同步的图像帧和3D姿势可视化，帮助用户识别差异和对提高挥杆技能至关重要的关键因素。
[0004]如图1所示，Liao等人[2]所提出的方案创建了一个原型应用程序，该应用程序可以可视化两个输入视频的潜在空间的距离，使用自适应阈值检测差异帧，并将检测到的帧与3D人体姿势进行比较。他们根据两个视频在潜在空间中的距离大小是否超过设定阈值来确定动作差异帧，这很有可能定位至一些不重要的动作时刻，这些动作可能与个人习惯更相关而并不影响最终将击球效果，并且也很有可能因为模型精度问题漏检一些不保准动作时刻。
>[0005]McNally等人[3]提出了SwingNet网络来检测挥杆关键事件。SwingNet的整个网络结构分为两部分，首先使用成熟的卷积神经网络提取输入视频序列的每帧图像特征，由于该网络的重点放在了移动端部署上，故其选取了前文所提到的轻量级卷积神经网络MobileNetV2进行特征提取。然后，考虑到通过单一帧识别挥杆关键事件难度较大，例如从上往下挥杆与从下往上挥杆到同一位置的单帧图像是极为相似的，故尝试利用视频帧间的时间信息帮助检测。SwingNet这里采用的长短期记忆(Long Short
‑
Term Memory，LSTM)网络对MobileNetV2平均池化后的输出进行处理，最终通过全连接(Fully Connected,FC)层以及Softmax激活函数来获得类概率，其中全连接层的权值跨帧共享。值得一提的是，SwingNet除了8个关键事件类外还增加了一个背景类，本质上是对每一帧进行9分类。
[0006]SwingNet对8个高尔夫挥杆关键事件进行了正确检测，平均准确率为76.1％。它虽然提出了一个不错的挥杆关键事件检测基线(baseline)网络，但其性能仍有很大的提升空间。首先很容易注意到一个挥杆视频数据中的现象：与关键事件帧相邻的帧非常相似，但SwingNet在执行分类时没有特别注意这些帧，而是直接使用交叉熵作为损失函数将相邻帧识别为“其他事件”帧，这会使模型在面对相似图片时得到完全不同的标签。这对模型的学习有很大的影响，在慢动作视频中更为突出。此外，LSTM对时序信息的利用能力有限，因此
需要应用一种更新颖有效的网络来更大化地提取帧间的关联时序信息。同时增强其backbone网络的图像特征提取能力也能获得很大提升。提高关键事件检测精度对后续的挥杆分析任务具有重要意义。
[0007]随着计算机视觉及深度学习的发展，许多工作为我们的方法研究提供了一些基础和启发，比如，基于目标检测算法CenterNet[4]，它以预测物体中心点的形式来检测目标；及视频的人体骨骼点坐标估计算法VideoPose3D[5]，它可以预测人体17个关键骨骼点的3D坐标；一些基于注意力机制的特征加强算法如CBAM(Convolutional Block Attention Module)[6]，它可以从空间和通道两部分提供注意力加强；以及Yu等人提出的MetaFormer[7]，它将transformer抽象为通用的体系结构，可以扩展至更多形式的信息融合。这些工作为本方法及评测系统的设计及开发奠定了一定的基础。
[0008]参考文件：
[0009][1]诺亦腾.专业全身动作捕捉高尔夫运动测评与训练系统[EB/OL].2019.https://www.myswing.com.cn/
[0010][2]Liao C C,Hwang D H,Koike H.How Can I Swing Like Pro？:Golf Swing Analysis Tool for Self Training[J].2021.
[0011][3]McNally W,Vats K,Pinto T,et al.Golfdb:A video database for golf swing sequencing[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.2019:0
‑
0.
[0012][4]Zhou X,Wang D,P.Objects as points[J].arXiv preprint arXiv:1904.07850,2019.
[0013][5]Pavllo D,Feichtenhofer C,Grangier D,et al.3d human pose estimation in video with temporal convolutions and semi
‑
supervised training[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.2019:7753
‑
7762.
[0014][6]Woo S,Park J,Lee J Y,et al.Cbam:Convolutional block attention module[C]//Proceedings of the European conference on computer vision(ECCV).2018:3
‑
19.
[0015][7]Yu W,Luo M,Zhou P,et al.Metaformer is actually what you need for vision[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.2022:10819
‑
10829.

技术实现思路

[0016]本专利技术要解决的技术问题是：通过传感器获取挥杆动作分析数据成本昂贵。
[0017]为了解决上述技术问本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视频的高尔夫挥杆评测方法，其特征在于，包括关键帧提取网络以及挥杆动作对比分析模块，其中：关键帧提取网络的输入是一个视频帧序列I
t
∈R3×
H
×
W
，其中，I
t
是第t帧图像，T是序列的长度，H、W分别表示每帧图像的高和宽；关键帧提取网络利用MobileNetV2网络对视频帧序列I中的每一帧图像进行处理，提取其图像特征；随后，关键帧提取网络对提取的图像特征进行全局平均池化，使每一帧的信息用一个向量表示，即f
t
∈R
1280
；关键帧提取网络利用多尺度的时序MLPFormer对图像特征序列f进行处理，输出融合时序信息的嵌入特征Fc；最后，关键帧提取网络对于每一帧使用全连接层进行分类，预测事件类e
t
，对于视频帧序列I，得到e
t
∈R
C
，其中，C表示事件类的数量，其中，对于每一类，将得到预测概率分数最高的帧表示为对应的关键事件；挥杆动作对比分析模块进一步包括动作对比单元和标准度评分单元：动作对比单元利用关键帧提取网络得到的关键帧图片和VideoPose3D人体姿态估计算法得到的2D、3D人体骨骼点坐标，然后对比普通球手和职业球员的挥杆关键事件动作图片、3D骨架模型以及身体关键部位的关节角度，以最直观的形式呈现；标准度评分单元在动作对比单元提供的差异呈现的基础上，提供有具体数据显示的标准度评分，分别针对每个关键事件的动作对职业球员和普通球员的骨骼点进行距离计算。2.如权利要求1所述的一种基于视频的高尔夫挥杆评测方法，其特征在于，在所述MobileNetV2网络中添加三次CBAM模块：在开始的Conv2d之后添加CBAM模块，在中间的Bottleneck之后添加CBAM模块，在最后的Conv2d操作之后添加CBAM模块。3.如权利要求1所述的一种基于视频的高尔夫挥杆评测方法，其特征在于，多尺度的时序MLPFormer对所述图像特征序列f的处理包括以下步骤：所述图像特征序列f经过嵌入层获得MLPFormer的嵌入token序列；将token序列送入堆叠的B个时序MLPFormer块，每个MLPFormer块线对token序列进行时序MLP处理后输入添加了残差连接的前馈层和层归一化；将通过B个时序MLPFormer块得到的各个阶段的输出进行线性投影和上采样，并将最后一阶段的高语义特征添加到前面各个阶段的输出中，形成语义丰富的特征；将不同阶段处理后的输出进行拼接，得到一个包含多尺度信息的视频表示，将该视频表示使用全连接层进行分类。4.如权利要求1所述的一种基于视频的高尔夫挥杆评测方法，其特征在于，对所述关键帧提取网络进行训练时，将事件类c的第t帧标签值用表示，其中，t
′
c
表示事件c的关键帧，σ为可调的序列长度自适应标准差，若当前帧与事件帧之间的距离超过阈值r，则标签值仍为0，其中，设置r的值为τ
·
δ，δ为错误容忍度其中，n是从关键事件“准备动作”到“击球”之间帧的数量，s是采样频率，指的是x附近最近的整数，τ是一个倍乘系数。5.如权利要求4所述的一种基于视频的高尔夫挥杆评测方法，其特征在于，对所述关键帧提取网络进行训练时，损失函数如下所示：
式中：表示为c类在帧t的预测概率；m为硬阈值，当出现负样本的概率小于m时，则完全丢弃该负样本；α和β表示可调的指数超参数；N表示输入序列中包含的关键事件帧个数。6.如权利要求1所述的一种基于视频的高尔夫挥杆评测方法，其特征在于，所述动作对比单元利用关键帧提取网络得到的关键事件的帧序号，在整个挥杆视频的人体骨骼点坐标中选取对应时刻的坐标点；然后根据此坐标点将职业球员和普通球员的骨架模型生成在一张画布中，形成直观对比；此外，所述动作对比单元利用坐标点计算各个关键事件的身体关节角度。7.如权利要求1所述的一种基于视频的高尔夫挥杆评测方法，其特征在于，所述标准度评分单元同时利用普通球员与职业球员髋关节到颈椎的距离长度的差异程度作为缩放比例，将全身的骨骼点近似地标准化至相同身高的情况；之后对每个关键事件下职业球员和普通球员的3D人体骨骼点坐标进行欧氏距离的计算，得到每个关键事件的子动作标准度评分。8.一种基于权利要求1所述的高尔夫挥杆评测方法实现的高尔夫挥杆评测系统，其特征在于，分为展现层、通讯层、服务层和数据层，包括用户管理功能模块、视频管理功能模块和AI挥杆动作对比分...

【专利技术属性】
技术研发人员：张艳婷，涂福宇，
申请(专利权)人：东华大学，
类型：发明
国别省市：