【技术实现步骤摘要】
本专利技术涉及动作质量评估，具体而言，涉及一种基于裁判分数学习的跳水运动质量评估方法、装置和设备。
技术介绍
1、跳水运动有着悠久的历史，并一直深受人们的喜爱。和众多动作质量评估任务一样，跳水运动依赖于人工裁判的判定，使得评分较为主观。因此，跳水运动的动作质量评估技术深受学术界与工业界的关注。
2、动作质量评估作为动作识别的扩展领域，动作质量评估研究的目的不仅在于行为识别，还需要提供动作执行的质量评价结果和反馈，它的难点在于人们必须从一段连续的视频序列中获取出极具意义的细微差异信息，这些信息共同决定了最终的评估水平。虽然动作质量评估领域已有诸多关于上述任务的研究与尝试，但动作质量评估任务仍然存在诸多尚未解决的难点，因此开展该领域的研究具有重大的意义。
3、现有的动作质量评估方法主要分为三类：第一类是将动作质量评估视为质量分数回归问题，直接预测动作质量分数，通常使用骨干网络如c3d、p3d和i3d等提取视频中的关键特征。第二类方法结合辅助任务如等级分类和目标检测来提升评估效果。第三类方法采用成对对比学习策略，通过学习不同视频样本之间的相对分数来提高评估的准确性。
4、然而，尽管这些方法在动作质量评估方面取得了一定的进展，但仍存在一些缺陷。例如：现有方法往往忽略了视频中微小差异的重要性，而这些细微的动作差异对于评估跳水动作质量至关重要。
5、此外，现有的动作质量评估方法的不足之处主要表现在以下几个方面：
6、特征提取的局限性：传统的3d cnn方法通过采样视频片段来提取特征
7、特征融合的不足：现有的方法往往通过特征拼接或基于卷积神经网络的特征融合方式来挖掘特征序列之间的差异，但是这些方法无法很好地分析特征序列的关联关系。
8、评分规则的不适应：现有方法在处理跳水运动评分规则时，往往未能充分考虑到裁判评分的具体规则，如质量分数的细化和相对分数的预测问题，这可能导致评估结果与实际评分标准不符。
9、有鉴于此，申请人在研究了现有的技术后特提出本申请。
技术实现思路
1、本专利技术提供了一种基于裁判分数学习的跳水运动质量评估方法、装置和设备，以改善上述技术问题中的至少一个。
2、第一方面、本专利技术实施例提供了一种基于裁判分数学习的跳水运动质量评估方法，其包含步骤s1至步骤s6。
3、s1、获取跳水运动的待评估视频。
4、s2、根据所述待评估视频的原始视频帧序列进行采样，获取待评估视频帧序列。
5、s3、从训练集中选取对比视频帧序列。
6、s4、通过空间特征编码器vit分别对所述待评估视频帧序列和所述对比视频帧序列进行编码，以提取空间特征，获取待评估图像特征序列和对比图像特征序列。
7、s5、通过时序特征编码器te分别对所述待评估图像特征序列和所述对比图像特征序列进行编码，以提取时序特征，获取待评估视频级特征序列和对比视频级特征序列。
8、s6、将所述待评估视频级特征序列和所述对比视频级特征序列输入预选训练好的裁判分数学习评估网络，获取待评估视频的动作质量得分。其中，判分数学习评估网络利用基于交叉注意力机制的交叉特征融合网络和基于transformer解码器的对比动作特征解码器来学习生成具有差异性的裁判分数特征，然后采用分数预测网络根据裁判分数特征预测动作质量得分。
9、在一个可选的实施例中，步骤s2具体为：根据所述待评估视频的原始视频帧序列，采用固定间隔采样策略进行采样，获取待评估视频帧序列。其中，待评估视频帧序列包含完整动作序列。
10、在一个可选的实施例中，模型训练时步骤s2具体为：根据输入的视频帧序列，分别采用固定间隔采样和偏中心采样策略对原始帧序列进行采样，生成新样本，以扩充训练集。
11、优选的，固定间隔采样策略为：对于含有帧的原始视频帧序列，从中采样帧，采样步长为，得到个新样本。
12、优选的，偏中心采样策略为：将完整序列等分为三部分，其中前部和后部采样帧，中部采样帧，在此基础上对每个部分进行奇数帧和偶数帧采样可得到2个新样本。
13、在一个可选的实施例中，步骤s5具体包括步骤s51至步骤s53。
14、s51、分别在所述待评估图像特征序列和所述对比图像特征序列的首部拼接类别标记，以表示视频级特征。
15、s52、分别在拼接类别标记的待评估图像特征序列和对比图像特征序列中嵌入位置编码，以保留特征序列的相对位置信息。
16、s53、时序特征编码器te分别对嵌入了位置编码的待评估图像特征序列和对比图像特征序列进行编码，以提取时序特征，获取待评估视频级特征序列和对比视频级特征序列。其中，所述时序特征编码器te由堆叠的transformer块组成。
17、在一个可选的实施例中，步骤s6具体包括步骤s61至步骤s63。
18、s61、根据所述时序特征编码器te编码后的待评估视频级特征序列和对比视频级特征序列进行交叉特征融合，获取视频特征相对表示。其中，交叉特征融合以时序编码后的对比视频级特征序列作为交叉注意力运算中的query，以时序编码后的待评估视频级特征序列作为交叉注意力运算中的key和value，迭代更新value以捕获目标视频特征序列与对比视频特征序列之间的差异。然后拼接交叉对比后的待评估视频级特征和对比视频级特征，得到视频特征相对表示。
19、s62、根据所述视频特征相对表示，通过对比动作解析解码器进行解码，获取裁判分数特征。其中，所述对比动作解析解码器由堆叠的transformer块构成。以交叉特征融合得到的视频特征相对表示作为transformer块中的多头注意力机制的key和value，并设置多个可学习查询query作为裁判分数特征。每一层transformer块的输入为上一层输出的query，迭代更新query，最后一层的输出即为生成的裁判分数特征。
20、s63、根据所述裁判分数特征，通过分数预测网络采用由粗到细的分数预测方法进行预测，获取待评估视频的动作质量得分。
21、在一个可选的实施例中，步骤s63具体包括步骤s631至步骤s634。
22、s631、根据所述裁判分数特征，通过分类网络预测多个相对裁判分数区间；并通过回归网络预测分数在区间内的偏差，通过计算得到多个相对裁判分数。
23、s632、获取所述对比视频帧序列的多个真实裁判分数。
24、s633、将所述多个相对裁判分数分别和所述多个真实裁判分数相加，获取多个预测裁判分数。
25、s634、根据所述多个预测裁判分数，获取所述动作质量得分；其中，所述动作质量的最终得分根据实际评分规则对预测裁判分数进行计算得到。
26、在一个可选的实施例中，所述分数预测网络由一个分类器和一个回归器组成，分类器用以预测相本文档来自技高网...
【技术保护点】
1.一种基于裁判分数学习的跳水运动质量评估方法，其特征在于，包含：
2.根据权利要求1所述的一种基于裁判分数学习的跳水运动质量评估方法，其特征在于，根据所述待评估视频的原始视频帧序列进行采样，获取待评估视频帧序列，具体包括：根据所述待评估视频的原始视频帧序列，采用固定间隔采样策略进行采样，获取待评估视频帧序列；其中，待评估视频帧序列包含完整动作序列；
3.根据权利要求1所述的一种基于裁判分数学习的跳水运动质量评估方法，其特征在于，通过时序特征编码器TE分别对所述待评估图像特征序列和所述对比图像特征序列进行编码，以提取时序特征，获取待评估视频级特征序列和对比视频级特征序列，具体包括：
4.根据权利要求1所述的一种基于裁判分数学习的跳水运动质量评估方法，其特征在于，将所述待评估视频级特征序列和所述对比视频级特征序列输入预选训练好的裁判分数学习评估网络，获取待评估视频的动作质量得分，具体包括：
5.根据权利要求4所述的一种基于裁判分数学习的跳水运动质量评估方法，其特征在于，根据所述裁判分数特征，通过分数预测网络采用由粗到细的分数预测方法进
6.根据权利要求4所述的一种基于裁判分数学习的跳水运动质量评估方法，其特征在于，所述分数预测网络由一个分类器和一个回归器组成，分类器用以预测相对裁判分数区间，回归器用以确定最终预测的相对裁判分数；其中，分类器包括4个全连接层，四个全连接层的节点数分别为1536，512，128和11；回归器包括4个全连接层，四个全连接层的节点数分别为1536，512，128和1；
7.一种基于裁判分数学习的跳水运动质量评估装置，其特征在于，包含：
8.一种基于裁判分数学习的跳水运动质量评估设备，其特征在于，包括处理器、存储器，以及存储在所述存储器内的计算机程序；所述计算机程序能够被所述处理器执行，以实现如权利要求1至6任意一项所述的一种基于裁判分数学习的跳水运动质量评估方法。
...【技术特征摘要】
1.一种基于裁判分数学习的跳水运动质量评估方法，其特征在于，包含：
2.根据权利要求1所述的一种基于裁判分数学习的跳水运动质量评估方法，其特征在于，根据所述待评估视频的原始视频帧序列进行采样，获取待评估视频帧序列，具体包括：根据所述待评估视频的原始视频帧序列，采用固定间隔采样策略进行采样，获取待评估视频帧序列；其中，待评估视频帧序列包含完整动作序列；
3.根据权利要求1所述的一种基于裁判分数学习的跳水运动质量评估方法，其特征在于，通过时序特征编码器te分别对所述待评估图像特征序列和所述对比图像特征序列进行编码，以提取时序特征，获取待评估视频级特征序列和对比视频级特征序列，具体包括：
4.根据权利要求1所述的一种基于裁判分数学习的跳水运动质量评估方法，其特征在于，将所述待评估视频级特征序列和所述对比视频级特征序列输入预选训练好的裁判分数学习评估网络，获取待评估视频的动作质量得分，具体包括：
5.根据权利要求4所述的一...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。