基于时空图卷积网络的动作识别方法、装置和设备制造方法及图纸

本申请提供一种基于时空图卷积网络的动作识别方法、装置和设备。该方法包括：获取目标对象的动作数据，根据动作数据生成多个尺度的拓扑结构图，每一拓扑结构图由人体关节点集合和人体关节点连接关系矩阵构成，人体关节点集合中包括每一人体关节点的时序数据；基于每一时空图卷积网络层，根据预设的卷积参数，对拓扑结构图组中每一拓扑结构图进行图卷积处理，输出与每一时空图卷积网络层对应的特征信息；根据各特征信息，确定动作数据的动作类别；这个过程中，实现了动作数据的时间特征和空间特征的同时提取，保持了时间特征和空间特征的一致性，并且构造了不同尺度的拓扑结构图，可以获得更加丰富的特征信息，提高了动作识别的准确性。确性。确性。

【技术实现步骤摘要】
基于时空图卷积网络的动作识别方法、装置和设备


[0001]本申请涉及动作识别领域，尤其涉及一种基于时空图卷积网络的动作识别方法、装置和设备。

技术介绍

[0002]人体动作识别是一个热点问题，广泛应用在安防、教育、娱乐等行业。目前常见的动作识别是基于人体骨架数据进行的，基于人体骨架数据的动作识别方法可以分为手工构造特征方法和深度学习方法，基于深度学习的方法从精确度上优于基于手工设计特征的方法。
[0003]现有技术中，深度学习方法进行动作识别可以分为三类：循环神经网络(Recurrent Neural Network，简称RNN)将动作数据处理为一组时间序列，以获取动作在时间上的变化特征，根据动作在时间上的变化特征对动作进行识别；卷积神经网络(Convolution Neural Network，简称CNN)将动作数据处理为一张图片，以获得动作在空间上的变化特征，根据动作在空间上的变化特征对动作进行识别；图卷积网络(Graph Convolution Network，简称GCN)将人体看作由关节点连接成的若干张图结构，通过构造合适的卷积本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时空图卷积网络的动作识别方法，其特征在于，所述时空图卷积网络包括预设个数的时空图卷积网络层，部分时空图卷积网络层特征通道数不同，所述方法包括：获取目标对象的动作数据，并根据所述动作数据生成拓扑结构图组，其中，所述拓扑结构图组中包括多个尺度的拓扑结构图，不同尺度的拓扑结构图具有不同大小的感受野，每一拓扑结构图由人体关节点集合和人体关节点连接关系矩阵构成，所述人体关节点集合中包括每一人体关节点的时序数据；基于每一时空图卷积网络层，根据预设的卷积参数，对所述拓扑结构图组中每一拓扑结构图进行图卷积处理，输出与每一时空图卷积网络层对应的特征信息，其中，所述特征信息包括所述拓扑结构图组中每一拓扑结构图的特征矩阵，拓扑结构图的特征矩阵包括所述拓扑结构图中每一人体关节点的时间特征和空间特征；根据各所述特征信息，确定所述动作数据的动作类别。2.根据权利要求1所述的方法，其特征在于，所述拓扑结构图组包括全局尺度拓扑结构图、躯干尺度拓扑结构图以及核心尺度拓扑结构图；获取目标对象的动作数据，并根据所述动作数据生成拓扑结构图组，包括：获取目标对象的动作数据，并识别提取所述动作数据中的人体骨架数据；确定所述人体骨架数据中的人体关节点，并选取不同的人体关节点，构造全局尺度拓扑结构图、躯干尺度拓扑结构图以及核心尺度拓扑结构图。3.根据权利要求2所述的方法，其特征在于，选取不同的人体关节点，构造全局尺度拓扑结构图、躯干尺度拓扑结构图以及核心尺度拓扑结构图，包括：选取人体所有关节点构成人体关节点集合，并根据人体骨骼连接关系确定人体关节连接关系矩阵，确定全局尺度拓扑结构图；选取人体四肢和躯干中自由度大于预设自由度阈值的关节点构成人体关节点集合，并根据人体骨骼连接关系确定人体关节连接关系矩阵，确定所述躯干尺度拓扑结构图；选取人体末端的关节点构成人体关节点集合，并根据人体骨骼连接关系确定人体关节连接关系矩阵，确定所述核心尺度拓扑结构图。4.根据权利要求2所述的方法，其特征在于，所述全局尺度拓扑结构图用于获取所述动作数据的细节特征，所述躯干尺度拓扑结构图用于获取所述动作数据的局部特征，所述核心尺度拓扑结构图用于获取所述动作数据的全局特征；基于每一时空图卷积网络层，根据预设的卷积参数，对所述拓扑结构图组中每一拓扑结构图进行图卷积处理，输出与每一时空图卷积网络层对应的特征信息，包括：基于每一时空图卷积网络层，根据预设的卷积参数，对所述拓扑结构图组中每一拓扑结构图的每一人体关节点进行卷积处理和聚合处理，提取每一拓扑结构图中每一人体关节点的时间特征和空间特征，并对每一拓扑结构图中各人体关节点的时间特征和空间特征进行激活和归一化处理，确定每一拓扑结构图...

【专利技术属性】
技术研发人员：李清，李婷伟，
申请(专利权)人：清华大学，
类型：发明
国别省市：