一种基于时间感知特征学习的动作质量评估方法技术

本发明专利技术公开了一种基于时间感知特征学习的动作质量评估方法。该方法采用3D卷积网络学习了视频中的片段特征，并将片段特征通过时间感知模块去学习片段之间的关系，此关系能够抓住动作的变换信息来提高动作质量评估的准确性。然后通过片段关系去聚合得到整个视频的特征，其中视频特征可以直接用于动作的分数预测。此外，引入了字幕生成以及动作识别两个辅助任务来使得3D卷积网络能够学习到更丰富的特征表示。最后，为了确保时间感知模块能够更准确地抓住动作的变换信息，引入了一个对抗损失来稳定整个模型。本发明专利技术能够在动作质量评估数据集上提取到具有判别性的特征表示，有效的提高动作质量分评估问题中的斯皮尔曼相关系数。数。数。

【技术实现步骤摘要】
一种基于时间感知特征学习的动作质量评估方法


[0001]本申请涉及计算机视觉领域，尤其涉及一种时间感知注意力机制的动作质量评估方法。

技术介绍

[0002]动作质量评估是一种广泛应用于手势检测、运动事件分析、操作技能分析等多种领域的技术，在计算机视觉领域引起了很多关注。它旨在评估人们在视频中的动作的好坏，即对表现较好的动作打高分，表现略差的动作打低分。在早期工作中，人们试图通过手工设计的特征去对人们的动作进行分析，但由于视频的维度较大，且不同的事件对应的特征都是不一致的，因此导致了性能低下且泛化能力不足的问题。
[0003]而由于深度神经网络对于高维问题的强大处理能力，近年来使用深度学习去进行动作质量评估成为了一种趋势。许多研究尝试使用3D卷积网络去进行视频中片段的特征提取，然后再简单地将它们聚合成视频特征表示，这可能会丢失其中的动作信息的变换，使得计算机不能很好地去捕捉到不同片段对最后评估的不同影响，进而影响评估效果。而注意力机制在计算机视觉领域中的表现优异，许多注意力机制被提了出来并且很好地提高了原方法的性能，因此可以很自然地在动作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时间感知特征学习的动作质量评估方法，其特征在于，包括以下七个步骤：步骤一：将输入的视频V分为N个片段{C1,C2,
…
,C
n
}，并对每个帧进行下采样以及数据增强；步骤二：利用I3D网络去提取每个片段的特征X＝{x1,x2,
…
,x
n
}，并将片段级特征X丢进字幕生成模块计算字幕生成损失；步骤三：将片段级特征X分别丢进时间感知模块和平均聚合模块得到视频级特征f
TA
和f
Avg
；步骤四：将视频级特征f
TA
和f
Avg
分别丢进分数预测模块计算分数预测损失以及对抗损失；步骤五：将视频级特征f
Avg
丢进动作识别模块计算动作识别损失；步骤六：最小化损失并更新模型参数；步骤七：利用分数预测模块对视频级特征f
TA
进行计算之后的分数即为对视频V的预测分数。2.根据权利要求1所述的一种基于时间感知特征学习的动作质量评估方法，其特征在于：步骤一中，所述下采样为对图片进行中心裁剪，数据增强为对图片进行随机水平旋转。3.根据权利要求1所述的一种基于时间感知特征学习的动作质量评估方法，其特征在于：步骤二中，字幕生成模块所用网络为门控循环网络GRU，即将视频特征作为初始输入得到初始输出向量以及初始状态向量，再循环字幕生成的最大长度的次数，更新其输出向量以及状态向量，且每次循环输出一个单词，最后组成了整个字幕输出；而字幕生成损失为生成字幕以及实际字...

【专利技术属性】
技术研发人员：张宇，米思娅，熊伟，
申请(专利权)人：东南大学，
类型：发明
国别省市：