【技术实现步骤摘要】
本专利技术属于基于深度学习技术的人体动作识别领域，具体涉及一种基于图卷积网络的人体动作识别方法。
技术介绍
1、人类行为识别(human action recognition,har)是计算机视觉和模式识别中的一个问题，目的是对人类行为进行检测和分类。识别场景中的人并预测他们的行为是机器人、监视和安全、自动驾驶汽车和自动视频字幕等几个应用的基础。以前的大多数处理har的工作都采用了以长时间的持续时间的样本为特征的数据集。因此，har主要被视为后处理操作，通过利用过去和未来的信息对复杂和持久的人类行为进行分类。
2、人类行为通常由骨架数据序列表示，这些序列通过使用2d或3d人体姿态估计方法从视频帧中提取2d或3d人体骨骼空间坐标。基于骨架的har方法分析这些序列，将每个序列分类到该序列中执行的相应动作。然而，基于骨架的har也面临着一些挑战，阻碍了基于骨架的har方法，如相机视点变化、潜在的身体部位遮挡和嘈杂的人体骨骼数据。许多这些问题可以通过将动作表示为随时间变化的图来缓解。这可以通过将人体骨骼表示为图来实现：人体骨骼关节用作图节点，以及连接这些节点的边，它们构成了人体骨骼图。
3、图卷积网络(graph convolutional networks,gcns)成功地用于处理人体骨骼图进行人体动作识别。一个方法提出了一种时空图卷积网络(st-gcn)，它作用于人类图序列以计算启用人类动作识别的时空特征。这种基于gcn的har方法的一个重要组成部分是邻接矩阵，它对人体图结构进行编码，并用于gcn的每个图卷积
技术实现思路
1、基于以上挑战，本专利技术提出了一种基于图卷积网络的人体动作识别方法，旨在通过解决缺失的关节和邻接矩阵构建问题来提高基于gcn的har性能。更具体地说，通过引入预处理步骤来有效地推断2d/3d骨架中缺失的数据来解决缺失的关节问题，这些骨架用于基于特征插补(fi)算法构建人类图。此外，利用一种新的邻接矩阵构造方法为基于gcn的har构建改进的加权邻接矩阵，将人体骨骼/图视为一组联合/节点簇。这的灵感来自于这样一个事实，即人类行为可以从小组/集群(例如手臂、腿)的动作建模，每个动作对完整动作的贡献不同。最后，缺失联合处理预处理步骤和邻接矩阵构建方法都与任何gcn架构兼容，允许在所提出的框架中使用任何基于gcn的har方法。通过在2d和基于3d骨架的har数据集上进行实验来验证所提出框架的优越性，在这两种情况下，所有其它har方法相比，表现出更好的性能。
2、一种基于图卷积网络的人体动作识别方法，包括步骤如下：
3、步骤1：数据集获取，获取后续步骤网络训练所需要用到的基于骨架的动作识别数据集。
4、步骤2：对数据集中的缺失数据进行特征插补，得到补全后的输入序列；
5、步骤3：通过加权邻接矩阵构造方法，获得改进的加权邻接矩阵；
6、步骤4：根据改进的加权邻接矩阵训练网络框架；
7、网络框架由两部分组成：gcn网络以及softmax分类器。
8、步骤5、通过训练好的网络框架对待识别的人体图序列s进行人体动作识别。
9、进一步的，步骤1具体方法如下：
10、采用公开的动作识别数据集ntu-rgb+d，ntu-rgb+d包含由一个或两个表演者完成的56,880个骨架动作序列，分为60个类别，是基于骨架的动作识别的最大数据集之一。它为动作中的每个人提供25个关节的3d空间坐标。其中训练集和测试集分别有37,920和18,960个样本。
11、进一步的，步骤2具体方法如下：
12、数据集中因为骨架提取过程会导致输入序列s中缺失关节数据(身体关节2d/3d坐标)，例如由于身体关节遮挡。其中，s表示输入人体图序列，k是该人体图序列s中节点(身体关节)的数量，d是图节点的特征向量(空间坐标)维度(分别在2d和3d骨架情况下d＝2和d＝3)。通过利用执行特征插补(fi)的预处理步骤来处理缺失的关节数据：特征插补通过单独处理每个输入序列(骨架动作序列)s来执行，这些输入序列s可能包含具有缺失关节数据(身体关节2d/3d坐标)的人体图，使用链式方程(mice)算法进行多变量插补。
13、链式方程算法对输入序列中所有缺失的关节数据都用该序列中所有数据的平均值替换，完成初始化。在初始化之后，对输入序列人体图中的每个缺失的关节数据都按顺序处理。对于当前正在处理的人类图缺失的关节数据，首先利用输入序列中所有剩余的关节数据拟合线性回归模型。随后使用拟合模型来推断对应缺失的关节数据的特征值。对输入序列人类图中每个缺失的关节数据重复此过程，直到推断得到所有缺失的关节数据的特征值。
14、进一步的，步骤3具体方法如下：
15、步骤3.1：定义身体关节集群，并进行聚类。
16、鉴于人类图g的节点特征是相应身体关节的2d/3d空间坐标，通过在节点聚类算法中使用人体图来执行节点(身体关节)聚类，选择了五个图节点簇即身体关节集群，分别代表左手、右手、左腿、右腿和身体。
17、步骤3.2：根据身体关节的空间坐标数据，得到原始加权邻接矩阵aw,定义为：其中k是身体关节的数量，定义为：输入序列s中节点i,j之间的向量。在图节点簇的定义之后，改进的加权邻接矩阵构造如下：将同一节点簇在原始加权邻接矩阵的列向量连接到不同节点簇，同时加上自连接，得到过渡邻接矩阵定义为：最后根据下列公式得到新的
18、
19、其中，i是单位矩阵，是的对角度矩阵，
20、进一步的，所述的节点聚类算法采用louvain算法。
21、进一步的，步骤4具体方法如下：
22、将步骤3获得的改进的加权邻接矩阵以及补全后的输入序列s作为训练网络框架的输入，最后将待识别的人体图序列输入到训练好的网络框架中进行人体动作识别。网络框架由两部分组成：gcn网络以及softmax分类器。由于不同的身体关节集群可能对特定动作具有不同的重要性级别，因此在所采用的gcn的每一层都也使用了可学习的mask来扩展每个节点特征的贡献。采用表示时间t和gcn层l的人体图，则每个gcn层执行时空图卷积，公式为：
23、
24、其中是空间卷积核，是第l层长度为2μ+1的时间卷积核，而σ是非线性激活函数，表示hadamard乘积。此外，x0＝s。在将xl+1传给下一个gcn层之前，还添加了一个残差连接。因此，第l+2层的输入等于xl+1+f(xl)，f代表单个卷积层。最后，在3层gcn层之后，设置softmax分类器执行图分类。为了训练网络框架，在训练开始前设置gc本文档来自技高网...
【技术保护点】
1.一种基于图卷积网络的人体动作识别方法，其特征在于，包括步骤如下：
2.根据权利要求1所述的一种基于图卷积网络的人体动作识别方法，其特征在于，步骤1具体方法如下：
3.根据权利要求1所述的一种基于图卷积网络的人体动作识别方法，其特征在于，步骤2具体方法如下：
4.根据权利要求3所述的一种基于图卷积网络的人体动作识别方法，其特征在于，步骤3具体方法如下：
5.根据权利要求4所述的一种基于图卷积网络的人体动作识别方法，其特征在于，所述的节点聚类算法采用Louvain算法。
6.根据权利要求4所述的一种基于图卷积网络的人体动作识别方法，其特征在于，步骤4具体方法如下：
7.根据权利要求6所述的一种基于图卷积网络的人体动作识别方法，其特征在于，步骤5具体方法如下：
【技术特征摘要】
1.一种基于图卷积网络的人体动作识别方法，其特征在于，包括步骤如下：
2.根据权利要求1所述的一种基于图卷积网络的人体动作识别方法，其特征在于，步骤1具体方法如下：
3.根据权利要求1所述的一种基于图卷积网络的人体动作识别方法，其特征在于，步骤2具体方法如下：
4.根据权利要求3所述的一种基于图卷积网络的人体动作识别方法，其特征在于...
【专利技术属性】
技术研发人员：郑博仑，潘航佳，介曦冉，周晓飞，黄爱爱，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。