一种基于STMFfomer的花样滑冰动作识别的方法技术

本发明专利技术公开了一种基于STMFfomer的花样滑冰动作识别的方法，其中STMFfomer方法是一种基于改进时空transformer的改进方法，该方法能够提取视频图像中运动员的骨骼关节点数据，并综合利用远距离的关节点之间的互相关系信息，可提高花样滑冰动作识别的精度，本发明专利技术的有益效果是：在骨骼关节点序列的动作识别任务中具有更强的全局注意力；提供了一个对输入数据序列进行分段处理的方法，通过对分段内的数据的关系进行建模，以及分段之间的关系进行建模，同时兼顾动作在几帧下微小区别，以及动作在大部分帧的总体的区别，可以获得更好的识别性能。性能。性能。

【技术实现步骤摘要】
一种基于STMFfomer的花样滑冰动作识别的方法


[0001]本专利技术涉及图像识别
，具体为一种基于STMFfomer的花样滑冰动作识别的方法。

技术介绍

[0002]人体运动姿态识别是近年来深度学习研究的热点问题，人体运动姿态识别技术可以应用于影视制作、自动驾驶、危险事件检查等实际场景中，发挥的实际意义越来越重大。花样滑冰是一种著名的国际体育竞赛项目，在竞技的同时，还给予观众视觉盛宴的享受，相比一般生活中的行走，坐下和跑步等动作，花样滑冰运动呈现出更大的区分难度，其可以分为3个动作大类，包括跳跃，旋转和步法，每一个大类又由很多的小类组成，相似的小类之间的区别可能只有一两帧的不同，但关注某几帧的局部细节的同时又必须关注到多数帧的特征用来区分大类。早些时候的方法通常使用逐帧分析和手工制作的特征提取器来实现，但这些方法存在精度和效率上的限制，目前基于深度学习方法取得了不错的效果。
[0003]目前的动作识别方法对于细粒度动作识别，缺乏对关节点之间相互关系信息的学习能力，或者只关注空间上或者时间上相连的关节点之间的局部关系信息。因此，本专利技术设计了一种可以综合连续几帧内的子动作之间的互相关系信息用于动作识别的模型。

技术实现思路

[0004]本专利技术的目的在于提供一种基于STMFfomer的花样滑冰动作识别的方法，以解决上述
技术介绍
中提出的问题。
[0005]为实现上述目的，本专利技术提供如下技术方案：一种基于STMFfomer的花样滑冰动作识别的方法，具体包括以下步骤：/>[0006]S1、由骨骼关节点提取算法和花样滑冰数视频帧数据，获取花样滑冰骨骼关节点数据以及类别标签；
[0007]S2、根据数据的帧长度分布情况裁剪数据，并根据确立的裁剪长度大小确定出分段大小；
[0008]S3、基于骨骼关节点数据生成骨骼边数据和骨骼关节点运动数据，构建三个训练数据流；
[0009]S4、基于改进时空transformer网络结构构建花样滑冰改进时空transformer动作识别模型，通过骨骼关节点数据流、骨骼边数据流和骨骼关节点运动数据流分别训练花样滑冰改进时空transformer动作识别模型；
[0010]S5、将需要测试的视频帧数据由骨骼点提取算法和成骨骼关节点数据，基于骨骼关节点数据生成骨骼边数据流和骨骼运动数据，构建三个测试数据流；
[0011]S6、将构建好的三个测试数据流分别输入训练好的花样滑冰改进时空transformer动作识别模型，通过相应权重来测试，获得对应的类别分数；
[0012]S7、将生成的类别分数进行融合推理，获得需要测试的视频帧数据的类别结果。
[0013]作为本专利技术的一种优选方案：所述S1中的获取花样滑冰视频帧数据并生成分段后的花样滑冰数据集操作具体分为以下步骤：
[0014]S
①
、将原视频帧率统一标准化至每秒30帧，并且图像大小是1080*720来保证数据集的相对一致性；
[0015]S
②
、由骨骼点提取算法提取花样滑冰视频帧数据生成花样滑冰数据集；
[0016]S
③
、将所有异常、缺失帧采用零值填充，并且统一成一致的帧数。
[0017]作为本专利技术的一种优选方案：所述S2中的根据数据的帧长度分布情况裁剪数据操作中需要保证以下情况：
[0018]①
、没有被裁剪的样本数量占总样本数量的占比应该尽可能大；
[0019]②
、裁剪时Crop的分段大小T0应该尽可能小；
[0020]③
裁剪分段大小T0的取值选择应该容易被除尽，并且分段大小T0的取值选择符合要求的最小值；
[0021]所述S2中的根据数据的帧长度分布情况裁剪数据操作中需要在计算了Crop大小与未裁剪样本占比的关系，以及Crop大小增量与未裁剪样本占比增量的关系后，来确定裁剪大小T0被选定的最合适的取值，且分段大小N被选为裁剪大小T0的三十分之一，并将样本数据以N帧为一个单位分成多个分段进行训练。
[0022]作为本专利技术的一种优选方案：所述S3中的基于骨骼关节点数据生成骨骼边数据操作具体包括以下步骤：
[0023]S
①
、建立花样滑冰运动数据集的人体关节点的边连接数组；
[0024]S
②
、将人体关节点的边连接数组内的关节点不重复的两两相减形成边向量；
[0025]S
③
、基于生成的边向量构建骨骼关节边数据；
[0026]所述S3中的基于骨骼关节点数据生成骨骼关节点运动数据操作具体包括以下步骤：
[0027]S
①
、将骨骼关节点数据内的所有关节点在时间维度上依次相减，形成跨帧的关节点连接组；
[0028]S
②
、基于生成的跨帧的关节点连接组构建骨骼关节点运动数据。
[0029]作为本专利技术的一种优选方案：所述S4中的花样滑冰改进时空transformer动作识别模型包括裁剪分段层、8个STMFfomer网络层、全局平均池化层、多层感知机层和线性识别层；
[0030]所述裁剪分段层用于裁剪数据帧和分割出数据片段；
[0031]所述STMFfomer网络层由Relu激活层、位置信息嵌入层、多头注意力机制层、前馈层、多重帧间聚合层以及残差结构层组成；
[0032]所述全局平均池化层用于是为了降低维度，沿着保留通道维度聚合信息；
[0033]所述多层感知机层用于提高模型鲁棒性和泛化性；
[0034]所述线性识别层用于对输入的特征数据进行识别。
[0035]作为本专利技术的一种优选方案：所述STMFfomer模型网络设置可分为：
[0036]①
、64的输入通道数、64的输出通道数和16的QKV维度大小；
[0037]②
、64的输入通道数、128的输出通道数和32的QKV维度大小；
[0038]③
、128的输入通道数、128的输出通道数和32的QKV维度大小；
[0039]④
、128的输入通道数、256的输出通道数和64的QKV维度大小。
[0040]作为本专利技术的一种优选方案：所述STMFfomer网络层内的位置信息嵌入层，位于多头注意力机制层之前，其用于给关节点嵌入位置信息，使用正弦函数和余弦函数来实现，所述STMFfomer网路层内的多头注意力机制层由三个head组成，位于STA
‑
block模块内的多重帧间聚合之前，具体包括：
[0041]①
、由2D卷积将通道由输入通道转换为2*多头数量*qkv的维度大小；
[0042]②
、使用切片函数将输入数据沿通道维度切成两半赋值给Q和K；
[0043]③
、使用tanh函数计算注意力矩阵；
[0044]④
、采用空间正则化对注意力矩阵进行随机丢弃；<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于STMFfomer的花样滑冰动作识别的方法，其特征在于，具体包括以下步骤：S1、由骨骼关节点提取算法和花样滑冰数视频帧数据，获取花样滑冰骨骼关节点数据以及类别标签；S2、根据数据的帧长度分布情况裁剪数据，并根据确立的裁剪长度大小确定出分段大小；S3、基于骨骼关节点数据生成骨骼边数据和骨骼关节点运动数据，构建三个训练数据流；S4、基于改进时空transformer网络结构构建花样滑冰改进时空transformer动作识别模型,通过骨骼关节点数据流、骨骼边数据流和骨骼关节点运动数据流分别训练花样滑冰改进时空transformer动作识别模型；S5、将需要测试的视频帧数据由骨骼点提取算法和成骨骼关节点数据，基于骨骼关节点数据生成骨骼边数据流和骨骼运动数据，构建三个测试数据流；S6、将构建好的三个测试数据流分别输入训练好的花样滑冰改进时空transformer动作识别模型，通过相应权重来测试，获得对应的类别分数；S7、将生成的类别分数进行融合推理，获得需要测试的视频帧数据的类别结果。2.根据权利要求1所述的一种基于STMFfomer的花样滑冰动作识别的方法，其特征在于：所述S1中的获取花样滑冰视频帧数据并生成分段后的花样滑冰数据集操作具体分为以下步骤：S
①
、将原视频帧率统一标准化至每秒30帧，并且图像大小是1080*720来保证数据集的相对一致性；S
②
、由骨骼点提取算法提取花样滑冰视频帧数据生成花样滑冰数据集；S
③
、将所有异常、缺失帧采用零值填充，并且统一成一致的帧数。3.根据权利要求1所述的一种基于STMFfomer的花样滑冰动作识别的方法，其特征在于：所述S2中的根据数据的帧长度分布情况裁剪数据操作中需要保证以下情况：
①
、没有被裁剪的样本数量占总样本数量的占比应该尽可能大；
②
、裁剪时Crop的分段大小T0应该尽可能小；
③
裁剪分段大小T0的取值选择应该容易被除尽，并且分段大小T0的取值选择符合要求的最小值；所述S2中的根据数据的帧长度分布情况裁剪数据操作中需要在计算了Crop大小与未裁剪样本占比的关系，以及Crop大小增量与未裁剪样本占比增量的关系后，来确定裁剪大小T0被选定的最合适的取值，且分段大小N被选为裁剪大小T0的三十分之一，并将样本数据以N帧为一个单位分成多个分段进行训练。4.根据权利要求1所述的一种基于STMFfomer的花样滑冰动作识别的方法，其特征在于：所述S3中的基于骨骼关节点数据生成骨骼边数据操作具体包括以下步骤：S
①
、建立花样滑冰运动数据集的人体关节点的边连接数组；S
②
、将人体关节点的边连接数组内的关节点不重复的两两相减形成边向量；S
③
、基于生成的边向量构建骨骼关节边数据；所述S3中的基于骨骼关节点数据生成骨骼关节点运动数据操作具体包括以下步骤：S
①
、将骨骼关节点数据内的所有关节点在时间维度上依次相减，形成跨帧的关节点连
接组；S
②
、基于生成的跨帧的关节点连接组构建骨骼关节点运动数据。5.根据权利要求1所述的一种基于STMFfomer的花样滑冰动作识别的方法，其特征在于：所述S4中的花样滑冰改进时空transformer动作识别模型包括裁剪分段层、八个STMFfomer网络层、全局平均池化层、多层感知机层和线性识别层；所述裁剪分段层用于裁剪数据帧和分割出数据片段；所述STMFfomer网络层由Relu激活层、位置信息嵌入层、多头注意力机制层、前馈层、多重帧间聚合层以及残差结构层组成；所述全局平均池化层用于是为了降低维度，沿着保留通道维度聚合信息；所述多层感知机层用于提高模型鲁棒性和泛化性；所述线性识别层用于对输入的特征数据进行识别。6.根据权利要求5所述的一种基于STMFfomer的花样滑冰动作识别的方法，其特征在于：所述ST...

【专利技术属性】
技术研发人员：樊松，赖禹杉，程万胜，
申请(专利权)人：辽宁冶装绿色高科技实业有限公司，
类型：发明
国别省市：