一种细粒度的工程力学跳水动作模拟与评估方法技术

本发明专利技术涉及一种细粒度的工程力学跳水动作模拟与评估方法，属于深度学习和计算机视觉领域。该方法包括采用跳水视频经过I3D模型和3个全连接层组成的MLP块形成全局特征；采集人体真实数据；根据关键帧画面，将采集到的人体真实数据结合关键帧中的人体姿态构建人体三维模型；在ABAQUS 2020有限元分析软件中建立水体及水花溅射区域，得到人体三维模型进入水体后的局部特征；将全局特征和局部特征通过维度拼接，基于LDL算法预测所有裁判的打分均值。本发明专利技术原创性的将力学中的流固耦合仿真手段运用于神经网络算法薄弱处，通过赛前、赛中进行数据采集，并结合动力

【技术实现步骤摘要】
一种细粒度的工程力学跳水动作模拟与评估方法


[0001]本专利技术涉及一种细粒度的工程力学跳水动作模拟与评估方法，属于深度学习和计算机视觉领域。

技术介绍

[0002]动作质量评估(Action Quality Assessment，AQA)技术可广泛适用于诸多现实场景，例如智能体育裁判、手术技能评分、运动治疗指导等。尤其是在跳水赛事中，精准智能评价与计分系统将大大增强比赛成绩的客观性与有效性，进而促进比赛的公平性。此前便有裁判打分遭质疑的相关报道。因此，对开发跳水赛事智能评估系统的需求日益增加，本专利技术旨在基于现场视频智能生成准确且客观的结果，不让为了一个项目辛勤训练几十年的运动健儿遭受到不公正对待。
[0003]针对跳水赛事的智能化评估体系，特别在跳水的应用方面，虽已有学者展开研究，并作出一些成功的探索。例如，三维卷积神经网络(Convolutional 3D，C3D)因捕获了外观和显著动作的时空特征，在动作识别相关任务中表现优异。Paritosh Parmar等人将跳水评分视为多任务回归问题，并收集了一个迄今为止最大的多任务AQA数据集，包括1412个跳水样本，多任务标签包括跳水得分，映像动作识别和摘要生成三大类。Wang等人利用空间卷积网络(Spatial Convolutional Network，SCN)和时间卷积网络(Temporal Convolutional Networks，TCNs)，采用两阶段策略训练。特别地，在时间卷积中，引入了注意力机制，根据时间维度的特征对整体性能的影响来融合特征。这些算法看似有效，但是并没有充分利用数据集给出的客观参数，即难度系数，并且对于整体动作的流畅度和最终水花溅射的细节的把握精度不够。
[0004]在跳水比赛中，裁判员根据运动员的助跑(即走板、跑台)、起跳、空中动作和入水动作来评定分数。裁判员团队的设置为两种，5名裁判员和7名裁判员。第一种是在全部5名裁判员打出分数以后，先删去最高和最低的无效分，余下3名裁判员的分数之和乘以运动员所跳动作的难度系数，便得出该动作的实得分；第二种在全部7名裁判员打出分数以后，先删去最高和最低的无效分，余下5名裁判员的分数之和乘以运动员所跳动作的难度系数，便得出该动作的实得分，但最后还应除以5，再乘以3。该规则显示各个裁判的裁决偏好不同，给出的分数具有差异性，但根据运动员跳水过程展现的水平，又兼有一致性，这种特性很自然可以视作正态概率分布，其中心为所有裁判打分的平均值，该均值可以用标记分布学习(Label Distribution Learning,LDL)完美计算。
[0005]此外，观察跳水规则还可发现，难度系数是一个客观值，其表明运动员完成动作的难易程度。国际跳水竞赛规则为每一个跳水动作确定了相应的难度系数，它根据动作组别、竞赛项目(跳板、跳台)、器械高度、动作姿势和翻腾转体的周数等方面的差异来确定其数值。受此启发，只需预测所有裁判的打分均值，再和动作难度系数相乘，就可以预测最终的跳水得分。

技术实现思路

[0006]本专利技术针对上述问题提供了一种细粒度的工程力学跳水动作模拟与评估方法。
[0007]本专利技术采用如下技术方案：
[0008]本专利技术所述的细粒度的工程力学跳水动作模拟与评估方法，
[0009]步骤一、给定一个L帧的RGB模态的跳水视频采用滑动窗口策略将V
RGB
分成N个互相有重叠的片段；
[0010]步骤二、将V
RGB
片段经过I3D模型和3个全连接层组成的MLP块；输出得到RGB片段特征
[0011]步骤三、通过RGB片段特征使用时域平均池化将其分别融合为f
RGB
，形成一个全局特征f
global
；
[0012]步骤四、使用yolov5模型提取跳水视频中人恰好入水的关键帧；
[0013]步骤五、采集人体真实数据；根据关键帧画面，提取该关键帧中人体姿态关键信息；将采集到的人体真实数据结合关键帧中的人体姿态构建人体三维模型；
[0014]步骤六、在ABAQUS 2020有限元分析软件中建立水体及水花溅射区域，将人体三维模型导入到ABAQUS 2020有限元分析软件中模拟计算，得到人体三维模型进入水体后的水花形态；该水花形态即局部特征f
local
；
[0015]ABAQUS 2020有限元分析软件中在预设的各种参数条件下快速进行。参数预设包括水密度、粘度、入水速度、体重、重力等。
[0016]在实际应用过程中，在赛前进行数据采集，采集运动员的身高、体重、体型等基本数据，结合视频的关键帧信息，在专业人体建模软件中建模。通过对软件进行二次开发，可实现快速参数化建模，以此获得有限元模拟的计算模型及初始数据。在赛中，通过视频获取运动员跳水过程中的运动数据与身体入水姿态，进行有限元模拟分析，通过模拟结果，给评分提供具体参照。在项目实际应用过程中，通过程序方法，将采集的模拟数据及运动员身体模型自动输入分析软件中，在预设的各种参数条件下，快速进行模拟计算并输出结果f
local
。
[0017]步骤七、将全局特征f
global
和局部特征f
local
通过维度拼接，合并成一个视频综合特征f；将f传入全连接层，基于LDL算法预测所有裁判的打分均值。
[0018]本专利技术所述的细粒度的工程力学跳水动作模拟与评估方法，步骤四中yolov5模型针对跳水视频V
RGB
的每一帧中的人体目标进行检测，若该视频中某一帧后的连续多帧均未检测到人体目标，则人体目标消失前一帧为是人恰好入水的关键帧。
[0019]本专利技术所述的细粒度的工程力学跳水动作模拟与评估方法，所述步骤五中在建模软件中建立人体三维模型，该人体三维模型的属性基于采集的真实人体数据；依据入水关键帧中的人体目标姿态调整其人体三维模型姿态。
[0020]本专利技术所述的细粒度的工程力学跳水动作模拟与评估方法，步骤六追踪基于ABAQUS 2020有限元分析软件中建立水体及水花溅射区域，将步骤五中建立的人体三维模型导入ABAQUS 2020有限元分析软件中，采用耦合欧拉
‑
拉格朗日算法模拟人体三维模型入水时溅起的水花形态。
[0021]本专利技术所述的细粒度的工程力学跳水动作模拟与评估方法，步骤七将f传入全连
接层，基于LDL算法，预测所有裁判的打分均值(跳水得分除以难度系数)的概率分布。首先生成一个得分概率分布，用来表示真实分布，通过优化预测的概率分布和真实概率分布的损失函数，不断提高预测准确率。最后乘以难度系数预测该跳水运动员的得分。
[0022]在训练阶段，给定标记分数S和难度系数DD的跳水视频，那么裁判打分均值为S
J
＝S/DD，如公式(1)所示，首先生成均值为S
J
和标准差σ的高斯函数，作为先验概率分布。
[0023][0024]σ是一个超参数，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种细粒度的工程力学跳水动作模拟与评估方法，其特征在于：步骤一、给定一个L帧的RGB模态的跳水视频采用滑动窗口策略将V
RGB
分成N个互相有重叠的片段；步骤二、将V
RGB
片段经过I3D模型和3个全连接层组成的MLP块，输出得到RGB片段特征步骤三、通过RGB片段特征使用时域平均池化将其分别融合为f
RGB
，形成一个全局特征f
global
；步骤四、使用yolov5模型提取跳水视频中人恰好入水的关键帧；步骤五、采集人体真实数据；根据关键帧画面，提取该关键帧中人体姿态关键信息；将采集到的人体真实数据结合关键帧中的人体姿态构建人体三维模型；步骤六、在ABAQUS 2020有限元分析软件中建立水体及水花溅射区域，将人体三维模型导入到ABAQUS 2020有限元分析软件中模拟计算，得到人体三维模型进入水体后的水花形态；该水花形态即局部特征f
local
；步骤七、将全局特征f
global
和局部特征f
local
通过维度拼接，合并成一个视频综合特征f；将f传入全连接层，基于LDL算法预测所有...

【专利技术属性】
技术研发人员：宋毅恒，陈杰，田龙岗，陈嘉顺，
申请(专利权)人：东南大学，
类型：发明
国别省市：