一种基于图神经网络和注意力机制的人体行为识别方法技术

本发明专利技术公开了一种基于图神经网络和注意力机制的人体行为识别方法，包括：采集多部位穿戴人体行为数据集；对多部位穿戴人体行为数据集以及多个公开人体行为识别数据集进行数据预处理，并划分训练集和测试集；基于图神经网络，构建人体行为识别模型

【技术实现步骤摘要】
一种基于图神经网络和注意力机制的人体行为识别方法


[0001]本专利技术涉及人体行为识别
，特别是涉及一种基于图神经网络和注意力机制的人体行为识别方法
。

技术介绍

[0002]随着人工智能技术的发展，人体行为识别
(Human activity recognition,HAR)
在许多新兴的以人为中心的领域中发挥着越来越重要的作用
。
相较于基于视频传感器和基于环境传感器的人体行为识别，由于无线传输技术和便携式设备的发展，基于可穿戴传感器的
HAR(WSHAR)
可以不受位置和时间的限制，能连续的收集用户的活动数据
。
而且，
WSHAR
可以有效的避免隐私泄露的问题，因此研究基于可穿戴传感器的人体行为识别具有现实意义
。
[0003]从涉及多个佩戴位置和多种类型传感器的多通道传感器数据中提取更具鲁棒性的特征表征是提高可穿戴行为识别率和模型泛化性的关键，也是人体行为识别领域的一个挑战
。
传统的机器学习算法，如支持向量机
、
随机森林或决策树，都依赖于手工制作的特征
。
创建手工制作的特征，例如时域和频域特征，需要专门的领域知识，而且耗时耗力
。
此外，手工制作的特征通常只适用于特定的
HAR
任务，不能应用于其他的
HAR
任务
。
[0004]在过去的十年中，深度学习在
HAR
>的自动特征提取中展示了它的巨大潜力
。
卷积神经网络
(CNN)、
递归神经网络
(RNN)、
长短期记忆网络
(LSTM)
等其他的典型的深度网络通常在
HAR
任务中表现出更高的性能
。
将注意力机制应用到
HAR
中，有助于使深度学习模型筛选出有价值的信息，减少甚至忽略不重要的信息，将有限的计算资源更多的聚焦于重要信息的特征提取上
。
多头注意力是对输入进行多个自注意力操作，直观上，它允许并行多次运行注意力机制
。
受
CNN
和嵌入图的启发，图神经网络
(Graph Neural Networks
，
GNN)
被创新地设计为通过封装每个节点的邻域信息来处理以图形形式表示的数据
。
[0005]上述神经网络在不同的
HAR
任务中都表现出了优势
。
然而，在数据预处理中，它们只是将来自所有传感器通道的数据直接拼接在一起，形成新的数据以输入网络进行训练，例如，将来自胸部的三轴加速度数据和来自腕部的三轴磁力计数据直接拼接在一起形成六通道流
。
在某种程度上，这种对多通道传感器数据的预处理未能考虑到来自多个身体位置的传感器通道之间的隐式相关性
。
人类的日常行为通常需要几个相关的身体部位协作进行
。
例如，步行是由踝关节
、
膝关节和髋关节一起进行的，通常伴随着同步的手臂摆动
。
因此，从不同身体位置获得的活动数据通常包含复杂的空间相关性
。
即使来自相同的身体位置的不同传感器通道，也可能是相关的
。
因此从多个身体位置提取空间相关性特征，从而获得稳健的特征表示是非常有意义的
。
[0006]多位置可穿戴传感器的布局是不规则的，导致不同位置之间的通道连接可以是任意的
。CNN
更擅长处理在欧氏空间中按顺序排列的图像数据
。
与之相反，图神经网络在学习非欧几里得空间中的依赖关系方面具有更强的表达能力
。
因此，进行图神经网络在人体行为识别中应用的研究具有重要意义
。

技术实现思路

[0007]本专利技术的目的是提供一种基于图神经网络和注意力机制的人体行为识别方法，提出了一个新的人体行为识别模型
MhaGNN
，将所有传感器通道作为节点，从空间维度构建图结构数据，同时引入多头注意力机制执行图神经网络中的消息传递与聚合以提取图结构数据的时空特征，从而获取更具鲁棒性的特征表征
。
[0008]为实现上述目的，本专利技术提供了如下方案：
[0009]一种基于图神经网络和注意力机制的人体行为识别方法，该方法包括以下步骤：
[0010]S1
，基于穿戴传感器采集多个身体部位的人体行为数据，构建多部位穿戴人体行为数据集；
[0011]S2
，对多部位穿戴人体行为数据集以及多个公开人体行为识别数据集进行数据预处理，并分别划分为训练集和测试集；
[0012]S3
，基于图神经网络，构建人体行为识别模型
MhaGNN
，并利用所述训练集和测试集对所述人体行为识别模型
MhaGNN
进行训练和测试，其中，所述人体行为识别模型
MhaGNN
中的图神经网络以所有穿戴传感器通道为节点，从空间维度构建图结构数据，同时引入多头注意力机制完成图结构数据的消息传递和聚合，以提取图结构数据的时空特征；
[0013]S4
，利用构建的人体行为识别模型
MhaGNN
，进行人体行为识别
。
[0014]进一步地，所述穿戴传感器采用
CAPTIV
动作捕捉传感器，所述
CAPTIV
动作捕捉传感器内置一个三轴加速度计
、
一个三轴陀螺仪和一个三轴磁力计
。
[0015]进一步地，所述
S1
，基于穿戴传感器采集多个身体部位的人体行为数据，构建多部位穿戴人体行为数据集，具体包括：
[0016]采用
15
个
CAPTIV
动作捕捉传感器分别穿戴在每名受试者的
15
个身体部位，所述
15
个身体部位包括额头
、
胸部
、
后腰以及左右两边的手背
、
上臂
、
下臂
、
大腿
、
小腿
、
脚背上；
[0017]分别采集多名受试者的六种人体行为数据，分别为行走
、
站立
、
坐
、
躺
、
跳和跑，采样频率设置为
32Hz
，每名受试者的每种行为的持续时间为3分钟；
[0018]通过穿戴在两个相邻的身体部位的
CAPTIV
动作捕捉传感器的递归运算得到关节角度数据，每个关节的旋转角由
X、Y
和
Z
三个传感器通道组成；
[0019]所述多部位穿戴人体行为数据集由臀部根部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于图神经网络和注意力机制的人体行为识别方法，其特征在于，包括以下步骤：
S1
，基于穿戴传感器采集多个身体部位的人体行为数据，构建多部位穿戴人体行为数据集；
S2
，对多部位穿戴人体行为数据集以及多个公开人体行为识别数据集进行数据预处理，并分别划分为训练集和测试集；
S3
，基于图神经网络，构建人体行为识别模型
MhaGNN
，并利用所述训练集和测试集对所述人体行为识别模型
MhaGNN
进行训练和测试，其中，所述人体行为识别模型
MhaGNN
中的图神经网络以所有穿戴传感器通道为节点，从空间维度构建图结构数据，同时引入多头注意力机制完成图结构数据的消息传递和聚合，以提取图结构数据的时空特征；
S4
，利用构建的人体行为识别模型
MhaGNN
，进行人体行为识别
。2.
根据权利要求1所述的基于图神经网络和注意力机制的人体行为识别方法，其特征在于，所述穿戴传感器采用
CAPTIV
动作捕捉传感器，所述
CAPTIV
动作捕捉传感器内置一个三轴加速度计
、
一个三轴陀螺仪和一个三轴磁力计
。3.
根据权利要求2所述的基于图神经网络和注意力机制的人体行为识别方法，其特征在于，所述
S1
，基于穿戴传感器采集多个身体部位的人体行为数据，构建多部位穿戴人体行为数据集，具体包括：采用
15
个
CAPTIV
动作捕捉传感器分别穿戴在每名受试者的
15
个身体部位，所述
15
个身体部位包括额头
、
胸部
、
后腰以及左右两边的手背
、
上臂
、
下臂
、
大腿
、
小腿
、
脚背上；分别采集多名受试者的六种人体行为数据，分别为行走
、
站立
、
坐
、
躺
、
跳和跑，采样频率设置为
32Hz
，每名受试者的每种行为的持续时间为3分钟；通过穿戴在两个相邻的身体部位的
CAPTIV
动作捕捉传感器的递归运算得到关节角度数据，每个关节的旋转角由
X、Y
和
Z
三个传感器通道组成；所述多部位穿戴人体行为数据集由臀部根部
、
左髋关节
、
左膝关节
、
左脚踝
、
右髋关节
、
右膝关节
、
右脚踝
、
胸部
、
左肩
、
左手肘
、
左手腕
、
右肩
、
右手肘
、
右手腕
、
颈部的
15
个关节的
45
个传感器通道的关节角度数据构成
。4.
根据权利要求1所述的基于图神经网络和注意力机制的人体行为识别方法，其特征在于，所述人体行为识别模型
MhaGNN
包括构图模块
、
图注意力网络模块和输出模块；所述构图模块用于以所有穿戴传感器通道为节点，从空间维度构建图结构数据；所述图注意力网络模块包含两个图注力意块和一个平均池化层，每个图注意力块由一个图注意力层
、
一个图规范化层和一个激活层组成，所述图注意力网络模块用于引入多头注意力机制完成图结构数据的消息传递和聚合，以提取图结构数据的时空特征；所述输出模块由两个全连接层和一个
softmax
组成，图注意力网络模块的输出特征经过输出模块获得行为的概率分布，产生识别结果
。5.
根据权利要求4所述的基于图神经网络和注意力机制的人体行为识别方法，其特征在于，所述
S3
中，所述人体行为识别模型
MhaGNN
中的图神经网络以所有穿戴传感器通道为节点，从空间维度构建图结构数据，具体包括：从多部位穿戴人体行为数据集的训练集中提取空间特征，以多个身体部位的所有穿戴传感器通道为节点，获得图结构数据的节点特征；
通过皮尔逊相关系数确定所有穿戴传感器通道间是否存在相关性，获得邻接矩阵
A
ij
：其中，
ρ
(x
i
,x
j
)
表示通道间的皮尔逊相关系数，
ψ
为设定阈值，
x
i
表示第
i
个通道的时间切片，并将其作为中心节点，
x
j
表示第
j
个通道的时间切片，并将其作为邻居节点；通过皮尔逊相关系数计算得到的相关性系数作为边特征：多个身体部位的人体行为数据和对应的人工标注的原始标签被同时切割为时间切片，得到经过窗口化处理的行为标签；所述节点特征
、
邻接矩阵
、
边特征以及行为标签共同构成图结构数据
。6.
根据权利要求5所述的基于图神经网络和注意力机制的人体行为识别方法，其特征在于，所述
S3
中，所述引入多头注意力机制完成图结构数据的消息传递和聚合，具体包括：第一步，对中心节点
x
i
和邻居节点
x
j
进行线性变换，得到自注意力机制的查询
(...

【专利技术属性】
技术研发人员：王燕，汪鑫，高燕，杨红梅，路成钢，王瑷珲，耿颖睿，袁梦豪，温盛军，廖亮，
申请(专利权)人：中原工学院，
类型：发明
国别省市：