基于注意力机制的图卷积神经网络的动作识别方法技术

本发明专利技术公开了基于注意力机制的图卷积神经网络的动作识别方法，包括如下步骤：步骤1，获取待识别人体动作类型的视频流数据，由姿态估计算法得到人体骨骼类型数据，作为人体骨骼数据集，步骤2，构建协调性注意力模块，计算人体运动过程中四肢及躯干所产生的协调性特征，获取带有协调性特征的重心矩阵，并添加到人体骨骼数据集中，步骤3，人体骨骼数据集输入到双流图卷积神经网络中，输出预测动作。并且在双流图卷积神经网络中添加了重要性注意力模块。本发明专利技术的动作识别模型使得最终的分类准确率能够得到提升，使现有的双流自适应图卷积模型更契合动作识别任务。更契合动作识别任务。更契合动作识别任务。

【技术实现步骤摘要】
基于注意力机制的图卷积神经网络的动作识别方法


[0001]本专利技术涉及视频动作识别
，具体而言涉及基于注意力机制的图卷积神经网络的动作识别方法。

技术介绍

[0002]在机器学习领域，动作识别是一项非常重要的任务，在日常生活中有很多场景能够使用到，比如自动驾驶、人机交互、公共安全等，因此，这项任务受到了越来越多的人关注。从目前来看，由于近几年机器学习与深度学习的爆发式发展，涌现出了很多性能优良的动作识别算法，基于时空图卷积的动作识别算法取得了优良的成绩。
[0003]人体运动平衡的理论中这样描述，人在运动过程中，为了保证自身不会摔倒，身体需要不断调整姿态来保持重心位置基本不变，尤其是对于运动员来说，可以通过甩臂，伸腿等动作来维持自身平衡。对于普通人来说，日常的行为动作，同样也需要保持平衡，需要四肢与躯干的配合，才能保证人不会摔倒在地。因此，人在完成某一动作的过程中，四肢有大致固定的运动轨迹，例如“奔跑”这一动作中，左脚迈向前时，右臂就必须往后摆，这样才能保持自身的重心位置不变，否则将会有摔倒的风险。
[0004]另外，人体不同的动作，不同关节之间的重要性是不同的，而这些较为重要的关节往往也不止一个，现有的模型未能很好地关注这部分特征的提取。另外，由于人体物理连接的固定性，图卷积神经网络在提取特征时往往会被固定化，未能更好地从全局视角关注较为重要的几个关节之间相互的特征，这些关节在绝大多数动作中往往是不相连的，例如在“拍手”这一动作中，从人体骨骼图上来看，双手的节点没有直接相连，并且相距甚远，但双手却是“拍手”这个动作的重要组成部分，并且各种特征的变化也聚焦于双手上。
[0005]虽然基于骨架的动作识别算法在公开数据集上已经取得了卓越的成果，但目前的算法均忽略了上述两个问题。

技术实现思路

[0006]本专利技术针对现有技术中的不足，提供一种基于双重注意力机制的图卷积神经网络的动作识别方法和装置，通过结合人体运动协调理论，提取人体运动时产生的协调性特征，同时使用注意力机制在全局视角中提取较为重要的关节，有效提高图卷积神经网络在动作识别领域的识别精度。
[0007]为实现上述目的，本专利技术采用以下技术方案：
[0008]本专利技术的基于注意力机制的图卷积神经网络的动作识别方法，其特征在于，包括如下步骤：
[0009]步骤1，获取待识别人体动作类型的视频流数据，由姿态估计算法得到人体骨骼类型数据，作为人体骨骼数据集。
[0010]步骤2，构建协调性注意力模块，计算人体运动过程中四肢及躯干所产生的协调性特征，获取带有协调性特征的重心矩阵，并添加到人体骨骼数据集中；
[0011]步骤3，人体骨骼数据集输入到双流图卷积神经网络中，输出预测动作。
[0012]进一步的，步骤2中的协调性注意力模块用于对人体骨骼分区、重心矩阵计算和协调性矩阵计算，从而获取带有协调性特征的重心矩阵，具体包括如下步骤：
[0013]步骤2.1，根据人体的结构将人体骨骼图分成5个区域，5个区域分别对应头部、左臂、右臂、左腿和右腿，得到5个区域子图。
[0014]步骤2.2，计算每个区域的重心点；
[0015]使用如下公式计算各区域重心点坐标：
[0016][0017]式中，w
x
区域重心点的横坐标，x
n
表示该区域内各个关节点的横坐标，n表示该区域内关节点的标号，n＝1,2,
…
,n。另外，区域重心点y坐标和z坐标的计算方法均与上式相同。
[0018][0019][0020]从而得到的重心矩阵如下形式所示：
[0021](w1,w2,w3,w4,w5)
[0022]步骤2.3，根据协方差矩阵计算两两区域之间的协调性。
[0023]协方差矩阵计算公式如下：
[0024]w
i
、w
j
分别表示(w1,w2,w3,w4,w5)，i＝1,2
……
5，如下形式所示：
[0025]式中cov(
·
)表示协方差的计算结果，w
i
和w
j
表示区域重心点的坐标，表示各区域重心点坐标的平均数。
[0026]步骤S2.4，根据上述公式计算出协调性矩阵，协调性矩阵的形式如下所示：
[0027][0028]步骤S2.5，根据步骤2.4即可得到3组大小为5
×
5协调性矩阵，分别将这3组协调性矩阵表示为w
x
,w
y
，和w
z
，这3组矩阵即可用来表示身体的协调性特征。将w
x
,w
y
，和w
z
压缩成与重心矩阵维度相同的大小，这里的压缩方法采用逐列相加的形式进行，以第一列为例，举例具体说明压缩方法如下形式所示：
[0029]w1′
＝cov(w1,w1)+cov(w2,w1)+cov(w3,w1)+cov(w4,w1)+cov(w5,w1)
[0030]步骤S2.6，将重心矩阵与压缩后的协调性矩阵相加，得到带有协调性特征的重心矩阵
[0031]其中，
[0032][0033][0034][0035][0036]进一步的，由于人体拓扑图的限制，图卷积模型很难学习到各种末端节点之间的关系，往往这种节点确是动作的重要组成部分。另外深层的图卷积模型容易导致特征出现过度平滑的现象，不宜使用深层模型。本专利技术将注意机制引入到该模型中，获取特征图中节点的重要性特征并转移到原始特征图上。本专利技术提出了一种重要性注意力模块该模块在重要性提取特征时，不使用邻接矩阵，直接在特征图上进行操作，能够有效地克服图卷积神经网络带来的局限性。
[0037]在步骤3中的所述双流图卷积神经网络包括重要性注意力模块，构建带有重要性注意力模块的双流图卷积神经网络；包括如下步骤
[0038]步骤3.1，构建自适应图卷积模块，所述自适应图卷积模块包括依次连接的空间图卷积层convs、时间图卷积层convt、附加的随机丢弃处理Dropout和一个残差连接；另外，空间图卷积层和时间卷积层后面各连接有一个批标准化层和一个激活函数层；
[0039]步骤3.2，搭建带有重要性注意力模块的自适应图卷积模块，包括依次连接的空间图卷积层convs、重要性注意力模块、时间图卷积层convt、重要性注意力模块、附加的随机丢弃处理Dropout和一个残差连接；另外，两个重要性注意力模块后面各连接有一个批标准化层和一个激活函数层；
[0040]步骤3.3，构建J流模块和B流模块
[0041]J流模块和B流模块结构相同，分别包括数据BN层、9个自适应图卷积模块和1个带有重要性注意力模块的自适应图卷积模块，数据BN层分别添加在10个自适应图卷积模块前，以标准化输入数据。
[0042]步骤3.4，搭建带有重要性注意力模块的双流图卷积神经网络
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于注意力机制的图卷积神经网络的动作识别方法，其特征在于，包括如下步骤：步骤1，获取待识别人体动作类型的视频流数据，由姿态估计算法得到人体骨骼类型数据，作为人体骨骼数据集，步骤2，构建协调性注意力模块，计算人体运动过程中四肢及躯干所产生的协调性特征，获取带有协调性特征的重心矩阵，并添加到人体骨骼数据集中，步骤3，人体骨骼数据集输入到双流图卷积神经网络中，输出预测动作。2.根据权利要求1所述基于注意力机制的图卷积神经网络的动作识别方法，其特征在于，步骤2中的协调性注意力模块用于对人体骨骼分区、重心矩阵计算和协调性矩阵计算，从而获取带有协调性特征的重心矩阵，具体包括如下步骤：步骤2.1，根据人体的结构将人体骨骼图分成5个区域，5个区域分别对应头部、左臂、右臂、左腿和右腿，得到5个区域子图；步骤2.2，计算每个区域的重心点；使用如下公式计算各区域重心点坐标：式中，w
x
区域重心点的横坐标，x
n
表示该区域内各个关节点的横坐标，n表示该区域内关节点的标号，n＝1,2,
…
,n；另外，区域重心点y坐标和z坐标的计算方法均与上式相同；,n；另外，区域重心点y坐标和z坐标的计算方法均与上式相同；从而得到的重心矩阵如下形式所示：(w1,w2,w3,w4,w5)步骤2.3，根据协方差矩阵计算两两区域之间的协调性；协方差矩阵计算公式如下：w
i
、w
j
分别表示(w1,w2,w3,w4,w5)，i＝1,2
……
5，如下形式所示：式中cov(
·
)表示协方差的计算结果，w
i
和w
j
表示区域重心点的坐标，表示各区域重心点坐标的平均数；步骤S2.4，根据上述公式计算出协调性矩阵，协调性矩阵的形式如下所示：步骤S2.5，根据步骤2.4即可得到3组大小为5
×
5协调性矩阵，分别将这3组协调性矩阵表示为w
x
,w
y
，和w
z
，这3组矩阵即可用来表示身体的协调性特征；将w
x
,w
y
，和w
z
压缩成与重心
矩阵维度相同的大小，这里的压缩方法采用逐列相加的形式进行，以第一列为例，举例具体说明压缩方法如下形式所示：w1′
＝cov(w1,w1)+cov(w2,w1)+cov(w3,w1)+cov(w4,w1)+cov(w5,w1)步骤S2.6，将重心矩阵与压缩后的协调性矩阵相加，得到带有协调性特征的重心矩阵其中，其中，其中，其中，其中，3.根据权利要求1所述基于注意力机制的图卷积神经网络的动作识别方法，其特征在于，在步骤3中的所述双流图卷积神经网络包括重要性注意力模块，构建带有重要性注意力模块的双流图卷积神经网络；包括如下步骤步骤3.1，构建自适应图卷积模块，所述自适应图卷积模块包括依次连接的空间图卷积层convs、时间图卷积层convt、附加的随机丢弃处理Dropout和一个残差连接；另外，空间图卷积层和时间卷积层后面各连接有一个批标准化层和一个激活函数层；步骤3.2，搭建带有重要性注意力模块的自适应...

【专利技术属性】
技术研发人员：翟晓东，汝乐，凌涛，凌婧，
申请(专利权)人：江苏奥斯汀光电科技股份有限公司，
类型：发明
国别省市：