一种基于图卷积网络的人体行为识别方法及系统技术方案

本发明专利技术公开了一种基于图卷积网络的人体行为识别方法及系统，识别方法包括：从包含人体行为的图像中提取人体骨架信息，获取人体关节点位置信息序列，构建人体骨架的任意长度拓扑图序列；通过基于拓扑可学习图卷积的时空图卷积网络对拓扑图序列进行特征提取和拓扑结构的自适应演化，得到融合局部时空特征的节点新特征和具有新拓扑结构的拓扑图序列；通过图卷积长短期记忆神经网络进行特征提取；利用全局池化操作得到全局时空特征；通过分类器基于全局时空特征进行人体行为识别。本发明专利技术直接学习整个图的特征，将图卷积中的权重矩阵扩大到整个拓扑图结构，学习图中任意两节点之间的关系，而不受拓扑结构的限制，识别准确率高。

A method and system of human behavior recognition based on graph convolution network

【技术实现步骤摘要】
一种基于图卷积网络的人体行为识别方法及系统
本专利技术属于人工智能
，涉及一种基于图卷积网络的人体行为识别方法及系统，可用于拓扑图序列的动作识别。
技术介绍
卷积神经网络在许多领域取得了巨大成果，但其依赖于数据表征具有网格结构。然而许多领域的数据并非网格结构，这些不规则域的数据通常表现为拓扑图结构，这使得卷积神经网络难以在图域上推广。近年来在图域上推广卷积结构已经取得一定进展，在具有不同数量邻接节点的子图之间维持卷积的共享权重是卷积网络在网格数据领域取得成果的重要特性，为了使图卷积保持这一特性，通常通过在每个节点上定义转移矩阵和为节点的度定义权重矩阵使得图卷积可以在不同拓扑子图上进行学习，并根据时空图节点的领域子集个数，设计对应的空间划分规则及确定使用的规则。已有的自适应图卷积只能学习相邻节点间的拓扑自适应关系，对距离较远的节点之间的关系学习能力不足。此外，由于图卷积中转移矩阵的限制，往往对拓扑图序列之间的长期时间关系缺乏有效的建模。拓扑图数据的拓扑结构通常在网络的所有层上都是固定的，但自然的拓扑结构不一定是最优的，因此，具有学习本文档来自技高网...

【技术保护点】
1.一种基于图卷积网络的人体行为识别方法，其特征在于，包括以下步骤：/nS1，从包含人体行为的图像中提取人体骨架信息，获取人体关节点位置信息序列，以各关节点为节点，以关节点之间的骨骼为边，构建人体骨架的任意长度拓扑图序列；/nS2，通过基于拓扑可学习图卷积的时空图卷积网络对拓扑图序列进行特征提取和拓扑结构的自适应演化，得到融合局部时空特征的节点新特征和具有新拓扑结构的拓扑图序列；/nS3，通过图卷积长短期记忆神经网络对新拓扑图序列进行特征提取，得到具有长时时空特征的拓扑图序列；/nS4，利用全局池化操作对拓扑图序列的特征进行进一步融合，得到全局时空特征；/nS5，利用分类器基于全局时空特征进行...

【技术特征摘要】
1.一种基于图卷积网络的人体行为识别方法，其特征在于，包括以下步骤：
S1，从包含人体行为的图像中提取人体骨架信息，获取人体关节点位置信息序列，以各关节点为节点，以关节点之间的骨骼为边，构建人体骨架的任意长度拓扑图序列；
S2，通过基于拓扑可学习图卷积的时空图卷积网络对拓扑图序列进行特征提取和拓扑结构的自适应演化，得到融合局部时空特征的节点新特征和具有新拓扑结构的拓扑图序列；
S3，通过图卷积长短期记忆神经网络对新拓扑图序列进行特征提取，得到具有长时时空特征的拓扑图序列；
S4，利用全局池化操作对拓扑图序列的特征进行进一步融合，得到全局时空特征；
S5，利用分类器基于全局时空特征进行人体行为识别。


2.根据权利要求1所述的一种基于图卷积网络的人体行为识别方法，其特征在于，所述步骤S1中，人体骨架的拓扑图序列由多个拓扑图结构组成，拓扑图结构用式(1-1)表示；
G＝(V,E)＝(fv,wE)(1-1)
其中，G为人体骨架的拓扑图结构，节点集V＝{vti|t＝1,…,T,i＝1,…,N}表示人体关节，T为序列的帧数，N为关节的个数，节点集V包括了每一时刻骨架序列中的所有节点；边集E由空域和时域两个边集组成，空域中的边集ES＝{vtivtj|(i,j)∈H}，表示第t帧节点i和节点j的边，其中H为人体关节自然连接的集合；时域中的边集ET＝{vtiv(t+1)i}，表示同一个节点在前后帧之间的连接；fv表示节点的特征向量，wE表示边的连接权重。


3.根据权利要求2所述的一种基于图卷积网络的人体行为识别方法，其特征在于，所述步骤S2，具体为：
S21，基于拓扑可学习图卷积的时空图卷积网络有多个图卷积块，对每个图卷积块分别进行空域特征、时域特征学习，得到融合局部时空特征的节点特征向量；
空域特征学习：利用节点特征学习函数学习空域特征，得到融合局部空域特征的节点特征向量，如式(1-2)所示：



其中，W是节点特征学习参数矩阵，是节点vi的特征向量的第m维特征，节点vi为拓扑图中的第i个节点，Wm表示矩阵W的第m维，表示节点vi所对应的特征向量，即节点对应的数据结构中存储的内容，M表示向量或矩阵对应的维度；利用批量标准化函数对学习的空域特征进行归一化，最后利用线性整流激活函数处理特征；
时域特征学习：利用时域卷积函数学习时域特征，然后利用批量标准化函数对学习的时域特征进行归一化；
S22，在空域特征学习后，通过节点融合函数GFusion(·)对空域特征向量进行融合得到新边集的连接权重；GFusion(·)使用具有特定初始化的拓扑可学习融合权重和节点特征间的矩阵乘法来实现，如式(1-3)所示：



其中，L表示拓扑可学习融合参数矩阵，为节点vi的特征向量，Lij是节点vi和vj之间可学习的融合权重，融合权重通过归一化邻接矩阵或全0矩阵进行初始化，vj是拓扑图中除节点vi外的所有节点，“⊙”表示两个矩阵的元素乘积，表示节点vj的特征向量，拓扑可学习融合参数矩阵L是自适应的，利用卷积核大小为1×1的二维卷积或矩阵乘法实现；
S23，将融合局部时空特征的节点特征向量、新边集的连接权重代入式(1-1)得到具有新拓扑结构的拓扑图序列。


4.根据权利要求3所述的一种基于图卷积网络的人体行为识别方法，其特征在于，所述步骤S3中具有长时时空特征的拓扑图序列，根据式(1-4)确定：
Fvt＝GCNLSTM(STG...

【专利技术属性】
技术研发人员：朱光明，张亮，杨露，李洪升，沈沛意，宋娟，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61