【技术实现步骤摘要】
本专利技术属于特征识别，特别涉及一种基于局部-全局特征提取与融合的人体骨架行为识别方法、系统及设备。
技术介绍
1、近年来，基于人体骨架的动作识别引起了广泛的关注。人们对该领域的兴趣主要源于其紧凑的骨架数据表示，这使得模型在处理复杂背景、光照条件、视角变化和其他环境噪声的时候更加高效并具备更强的鲁棒性。此外，高性价比的深度相机和人体姿态估计方法的发展使得获取人体骨骼信息变得更加容易。
2、对该领域的研究具有广阔的应用前景。基于人体骨架的动作识别技术可以在许多领域发挥重要作用，如人机交互、智能监控和体育训练等。例如，在人机交互方面，通过分析用户的骨架动作，可以实现更自然、直观的人体交互方式，提供更好的用户体验。而在智能监控领域，骨架数据可以用于识别异常行为，提高安全性和警报效率。此外，基于骨架的动作识别可以为体育训练提供实时的反馈和指导，帮助运动员改善动作技巧和预防运动损伤。
3、人体骨架数据是指记录了不同骨骼连接关节点信息的数据。除了关节数据，骨骼数据还包含了关于骨骼长度和方向的二阶信息。由于具有更多的信息和区分能力，骨骼数据可以很好地补充关节数据的不足之处。人体骨架数据的动力学特征可以通过比较相邻时间帧下人体骨骼关节点信息的变化来获取，这些动力学特征主要表现为人体骨骼关节点在时间上的方向与变化。然而，许多方法在人体行为识别中往往忽视了人体骨骼关节点信息的动力学特征，这会在一些偏向于速度表达的动作中对识别结果产生一定的影响。
4、现有的基于transformer的空间特征提取方法，能够有效捕捉
5、此外，现有的许多骨架特征融合方案采用了多流融合的方法，即通过不同分支单独提取人体骨架的不同特征，最后将这些特征进行融合。然而，这种融合方式更多地考虑了对高层次特征的融合，却忽略了在训练过程中低层次特征之间的融合和扩散，从而可能影响特征融合的效果。
技术实现思路
1、为了克服上述现有技术存在的缺陷，本专利技术的目的在于提供一种基于局部-全局特征提取与融合的人体骨架行为识别方法、系统及设备，通过局部和远距离相关性的捕捉，以及不同层次关节、骨骼及动力学特征融合和扩散，用于人体行为识别任务，可以有效提高对人体行为识别的效果。
2、为了实现上述目的，本专利技术采用的技术方案如下：
3、一种基于局部-全局特征提取与融合的人体骨架行为识别方法，包括如下步骤：
4、步骤1，收集摄像机拍摄的人体行为视频作为样本，并对拍摄的每种行为进行标注，标注的每种行为视频包含t帧图片；
5、步骤2，根据步骤1收集的样本，提取人体骨骼的关节点的空间三维信息，以创建行为识别分类关节点数据集；
6、步骤3，通过对步骤2所述的关节点数据集进行转化，构造人体骨骼数据集和人体运动动力学数据集；
7、步骤4，对步骤3所得到的人体骨骼数据集中的骨架序列进行元组划分，每个元组包含一系列连续帧；
8、步骤5，构建空间特征提取模块和时间特征提取模块；
9、步骤6，构建关节-骨骼特征融合模块；
10、步骤7，将关节特征、骨骼特征、动力学特征作为行为识别模型的特征提取分支的输入，将关节特征作为行为识别模型的特征融合分支的输入，并通过步骤5搭建的空间特征提取模块与时间特征提取模块进行特征提取后，对四个分支的输出进行加权融合，实现行为识别分类。
11、所述步骤2的具体步骤包括：
12、对步骤1标注后的帧图片中的单帧的图片进行处理，提取图片中的人体骨骼的关节点的三维坐标信息，包括每个人体的25个关节点，每个关节点的三个维度的坐标值；将步骤1拍摄的视频中包含关节点的每个图片帧提取关节点的三维坐标信息后，按照时间顺序堆叠在一起，形成大小为(c0，n0，t0)的张量，表示关节点三维坐标特征序列数据；其中，通道数c0＝3，对应三维坐标x，y，z；关节数n0＝25；t0表示视频帧数；
13、使用特征矩阵表示关节点的特征信息，c0，t0和n0分别表示骨架序列的通道数、帧数及关节数，基于人体骨骼的关节点特征矩阵v，可将关节点集合定义为集合s：
14、s＝{vit|i＝1，…，n0，t＝1，…，t0}
15、其中，vit为视频第t帧的第i个关节点。
16、所述步骤3的具体步骤包括：
17、基于每个骨骼都有两个关节，定义离骨架重心近的关节为源关节，离骨架重心远的关节为目标关节；每个骨骼被表示为一个从源关节指向目标关节的向量，包含骨骼长度信息及骨骼方向信息；设定：骨骼的源关节v1＝(x1，y1，z1)，目标关节v2＝(x2，y2，z2)，则该骨骼的矢量计算公式为
18、
19、每个骨骼对应一个唯一的目标关节，中心关节没有分配给任何骨骼，使得关节的数量比骨骼的数量多一个，在中心关节处添加一个空骨骼，其值为0；
20、使用特征矩阵表示人体骨骼的特征信息，c0，t0和n0分别表示骨架序列的通道数、帧数及关节数；基于骨骼特征矩阵b，将人体骨骼集合定义为集合p：
21、p＝{bit|i＝1，…，n0，t＝1，…，t0}
22、其中，bit为视频第t帧的第i个骨骼；
23、每个人体骨骼的关节点的动作信息通过速度表示，位于第t帧中的关节的速度信息，表示为其在第t帧中的坐标和第t-1帧中的坐标的差值；设定：源关节v1，t-1＝(x1，t-1，y1，t-1，z1，t-1)，其目标关节为v1，t＝(x1，t，y1，t，z1，t)，则速度为：
24、m1，t＝(x1，t-x1，t-1，y1，t-y1，t-1，z1，t-z1，t-1)
25、使用速度信息矩阵来表示人体运动的动力学信息；在第0帧补充0元素，使速度信息矩阵与关节特征矩阵结构相同。
26、所述步骤4的具体步骤包括：
27、将原始骨架序列记为其中，c0，t0和n0分别表示骨架序列的通道数、帧数及关节数；
28、4.1)通过一个带有batchnorm和leaky relu函数的卷积层构成特征映射层，将v0的输入通道扩展为c1；
29、4.2)将原始骨架序列划分为t个互不重叠的元组：
30、v＝[v1，v2，…vt]，vi∈rc1×n×n0
31、其中，n表示每个原始骨架序列的元组中所包含的帧数；
32、将原始骨架序列的每个元组进行平展：
33、vi∈rc1×n×n0→rc1×n
34、则骨架序列对应变化如下：
35、v∈rc1×t本文档来自技高网...
【技术保护点】
1.一种基于局部-全局特征提取与融合的人体骨架行为识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于局部-全局特征提取与融合的人体骨架行为识别方法，其特征在于，所述步骤2的具体步骤包括：
3.根据权利要求1所述的一种基于局部-全局特征提取与融合的人体骨架行为识别方法，其特征在于，所述步骤3的具体步骤包括：
4.根据权利要求1所述的一种基于局部-全局特征提取与融合的人体骨架行为识别方法，其特征在于，所述步骤4的具体步骤包括：
5.根据权利要求1所述的一种基于局部-全局特征提取与融合的人体骨架行为识别方法，其特征在于，所述步骤5的具体步骤为：
6.根据权利要求1所述的一种基于局部-全局特征提取与融合的人体骨架行为识别方法，其特征在于，所述步骤6的具体步骤为：
7.根据权利要求1所述的一种基于局部-全局特征提取与融合的人体骨架行为识别方法，其特征在于，所述步骤7的具体步骤为：
8.一种基于局部-全局特征提取与融合的人体骨架行为识别系统，其特征在于，包括：
9.一种基于局部
...【技术特征摘要】
1.一种基于局部-全局特征提取与融合的人体骨架行为识别方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于局部-全局特征提取与融合的人体骨架行为识别方法，其特征在于，所述步骤2的具体步骤包括：
3.根据权利要求1所述的一种基于局部-全局特征提取与融合的人体骨架行为识别方法，其特征在于，所述步骤3的具体步骤包括：
4.根据权利要求1所述的一种基于局部-全局特征提取与融合的人体骨架行为识别方法，其特征在于，所述步骤4的具体步骤包括：
5.根据权利要求1所述的一种基于局...
【专利技术属性】
技术研发人员：刘如意，陈燏，苗启广，刘向增，宋建锋，卢子祥，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。