基于层级时空Transformer网络的人体动作识别方法技术

一种基于层级时空Transformer网络的人体动作识别方法，由收集动作视频、处理动作视频、构建动作数据集、提取训练和测试分支、构建层级时空Transformer网络、训练层级时空Transformer网络、测试层级时空Transformer网络步骤组成。本发明专利技术在构建动作数据集的基础上，采用了层级时空Transformer网络提取不同层次关节的高阶空间特征信息、长短期时序依赖关系以及帧间不同关节之间的相关性信息。本发明专利技术与现有的骨架动作识别方法相比，具有识别准确率高，识别速度快等优点，可用于计算机识别人体动作技术领域。人体动作技术领域。人体动作技术领域。

【技术实现步骤摘要】
基于层级时空Transformer网络的人体动作识别方法


[0001]本专利技术属于计算机应用
，行为识别方法，具体涉及到计算机识别人体动作的方法。

技术介绍

[0002]动作识别方法是指利用计算机视觉、图像处理和模式识别技术，对人体动作进行自动化识别和分类。在动作识别过程中，需要从视频、图像或传感器数据中提取特征，并通过分类方法将其归类为不同的动作类别。
[0003]现有技术中人体动作识别方法，采用基于骨架的动作识别方法，例如，有学者提出时空图卷积ST
‑
GCN，采用一个固定图，该图符合人体骨骼的物理连接性，但没有灵活性。为了更好地适应不同动作表达，有学者提出了动态的图卷积网络，利用关节的上下文特征学习每个关节对之间的相关性。考虑到不同的动作需要关注不同的关节，有学者使用Transformer自注意力机制来重构人体骨架的时空依赖性。但是，目前基于Transformer的方法忽略了人体骨架数据的独特特征，同时也没有考虑到不同身体关节的独特物理功能和某些特定动作中重复出现的身体关节群的参与，此外，在捕获帧间不同关节本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于层级时空Transformer网络的人体动作识别方法，其特征在于由下述步骤组成：(1)收集动作视频使用摄像机拍摄3100个动作视频，包含62种类别，每种类别50个视频；(2)处理动作视频将所有的3100个动作视频的帧数统一处理为300帧、分辨率为384
×
288，帧速率为30帧/秒，用HRNet方法对每个视频进行识别，得到3100个包含每个视频中所有帧的18个人体关键点坐标及关键点分数的关节数据J：J＝{J1,J2,...,J
T
}J
T
＝{f1,f2,...,f
b
}f
b
＝(x,y,z)其中，T为视频帧数，f
b
表示人体关键点，b∈[1,18]，f1表示鼻子，f2表示左眼，f3表示右眼，f4表示左耳，f5表示右耳，f6表示左肩，f7表示右肩，f8表示左肘，f9表示右肘，f
10
表示左手腕，f
11
表示右手腕，f
12
表示左臀，f
13
表示右臀，f
14
表示左膝关节，f
15
表示右膝关节，f
16
表示左脚，f
17
表示右脚，f
18
表示脊椎，(x,y,z)为人体关键点三维坐标；(3)构建动作数据集将3100个关节数据J在62种类别中进行随机打乱，形成动作数据集Y：Y＝{u1,u2,...,u
r
}u
r
＝{J1,J2,...,J
50
}其中，u
r
表示动作类别，r∈[1,62]，u1表示交替花，u2表示腿前踢，u3表示腿后提，u4表示交叉步，u5表示蝴蝶花，u6表示单臂花，u7表示蚌壳花，u8表示内切转花，u9表示垂直转花，u
10
表示顶部转花，u
11
表示跳踢步，u
12
表示屈伸步，u
13
表示侧点步，u
14
表示前进步，u
15
表示勾手踢，u
16
表示摆跨，u
17
表示标记步，u
18
表示鞠躬手，u
19
表示垫脚步，u
20
表示平坦步，u
21
表示单步，u
22
表示长斜靠步，u
23
表示三点一步，u
24
表示勾步，u
25
表示小震颤，u
26
表示阶梯式撤退步，u
27
表示阶梯式上升步，u
28
表示拖脚步，u
29
表示第一基础步，u
30
表示击退步，u
31
表示第二基础步，u
32
表示硬肩，u
33
表示柔肩，u
34
表示绕肩，u
35
表示耸肩，u
36
表示断肩，u
37
表示软肩，u
38
表示交替抬按压手腕，u
39
表示双提压腕，u
40
表示软手臂，u
41
表示拔毛手，u
42
表示撤退步，u
43
表示马步，u
44
表示摇篮步，u
45
表示移颈位，u
46
表示猫洗脸，u
47
表示手掌环抱手腕，u
48
表示一步，u
49
表示步深蹲侧点，u
50
表示三步一抬，u
51
表示侧垫步，u
52
表示前进与后退步，u
53
表示躲避步，u
54
表示敬礼姿势，u
55
表示圆顶手，u
56
表示脱帽手，u
57
表示瞭望手，u
58
表示推进手，u
59
表示腰围手，u
60
表示划桨手，u
61
表示平坦步，u
62
表示合步；将动作数据集Y按7:3划分为训练集和测试集，训练集与测试集无交叉；(4)提取训练和测试分支从训练集和测试集的关节数据J中分别确定关节J、骨骼B、关节运动M
J
、骨骼运动M
B
四个训练和测试分支；(5)构建层级时空Transformer网络层级时空Transformer网络由空间注意力网络与时间注意力网络、分类器网络依次串联构成；所述的空间注意力网络由6个层级空间自注意力层串联构成；
所述的时间注意力网络由时序卷积网络、Transformer的编码层、时序元组自注意力层并联构成；所述的时序元组自注意力层由划分元组层和T...

【专利技术属性】
技术研发人员：吴晓军，贾茹，杨红红，张玉梅，李鹏，
申请(专利权)人：陕西师范大学，
类型：发明
国别省市：