动作质量评价方法、模型训练方法、装置、设备及介质制造方法及图纸

本公开涉及一种动作质量评价方法、模型训练方法、装置、设备及介质。动作质量评价模型包括子动作分配模块、区域特征计算模块以及动作质量预测模块。子动作分配模块用于计算特征图中各个位置的第一特征向量被分配给各个子动作的概率。区域特征计算模块用于基于特征图中各个位置的第一特征向量以及第一特征向量被分配给各个子动作的概率，计算各个动作的区域特征。动作质量预测模块用于基于各个子动作的区域特征，对图像序列的动作质量进行预测，得到图像序列的动作质量评分预测结果。由此，本公开不依赖于额外的样本视频，且可以在不依赖精细样本标签的情况下提升模型对子动作的区分能力以及可解释性。

【技术实现步骤摘要】

本公开涉及计算机视觉，特别是涉及一种动作质量评价方法、模型训练方法、装置、设备及介质。

技术介绍

1、在计算机视觉领域中，目前研究人员已经设计出了一些方法，用于对短视频片段中的动作进行自动打分任务，这些方法已经被应用于如跳水、体育、医疗动作打分中。

2、然而，目前的方法主要存在如下两个缺点：需要通过额外的exemplar(额外的样本视频)对测试样本进行打分，额外的样本视频往往会引入额外的不稳定性，如使用最差表现和最优量的视频作为样本，则模型的输出得分会有一定的变化，即对于同一个视频，给定不同样本的输入，模型的输出是不同的。这对于高精度的打分任务来说，是不可接受的。与此同时，引入额外的样本视频，通常会导致成倍的计算资源增加，这对于现实世界中的任务，特别是实时动作打分任务，是不可接受的。

3、除了以上两点缺点，目前的部分动作打分方法，通常还需要非常精细的动作标签，如逐阶段(从动作开始到结束)每阶段的时间信息来进行打分，这样精细的样本标签在很多领域是很难获得，甚至有时候不存在的。

4、综上所述，需要一种能够解决上述至少一种缺点本文档来自技高网...

【技术保护点】

1.一种动作质量评价模型的训练方法，其特征在于，所述动作质量评价模型包括子动作分配模块、区域特征计算模块以及动作质量预测模块；所述子动作分配模块用于计算特征图中各个位置的第一特征向量被分配给各个子动作的概率，所述特征图是利用三维卷积神经网络对图像序列进行特征提取得到的；所述区域特征计算模块用于基于所述特征图中各个位置的第一特征向量以及所述第一特征向量被分配给各个子动作的概率，计算各个动作的区域特征；所述动作质量预测模块用于基于各个子动作的区域特征，对所述图像序列的动作质量进行预测，得到所述图像序列的动作质量评分预测结果；所述训练方法包括：

2.根据权利要求1所述的方法，其特征...

【技术特征摘要】

1.一种动作质量评价模型的训练方法，其特征在于，所述动作质量评价模型包括子动作分配模块、区域特征计算模块以及动作质量预测模块；所述子动作分配模块用于计算特征图中各个位置的第一特征向量被分配给各个子动作的概率，所述特征图是利用三维卷积神经网络对图像序列进行特征提取得到的；所述区域特征计算模块用于基于所述特征图中各个位置的第一特征向量以及所述第一特征向量被分配给各个子动作的概率，计算各个动作的区域特征；所述动作质量预测模块用于基于各个子动作的区域特征，对所述图像序列的动作质量进行预测，得到所述图像序列的动作质量评分预测结果；所述训练方法包括：

2.根据权利要求1所述的方法，其特征在于，所述动作质量评价模型还包括子动作字典，所述子动作分配模块基于所述特征图中各个位置的第一特征向量、所述子动作字典中各个子动作的第二特征向量，确定所述特征图中各个位置的特征向量被分配给各个子动作的概率，其中，所述概率的大小与所述第一特征向量与所述第二特征向量之间的相似程度正相关。

3.根据权利要求1所述的方法，其特征在于，所述区域特征计算模块针对任一子动作，通过汇总所述特征图中各个位置的第一特征向量对所述子动作的区域特征的贡献程度，确定所述子动作的区域特征，其中，所述贡...

【专利技术属性】
技术研发人员：张晨麟，隋霖，
申请(专利权)人：第四范式北京技术有限公司，
类型：发明
国别省市：