基于自注意力增强图神经网络的人体行为识别方法及系统技术方案

本发明专利技术属于计算机视觉方面人体行为识别技术领域，尤其涉及一种基于自注意力增强图神经网络的人体行为识别方法及系统。该方法包括，获取骨架信息中的关节信息表示、骨骼信息表示和角度信息表示；基于关节信息表示、骨骼信息表示和角度信息表示，采用图卷积模块，聚合相邻关节的特征，得到第一特征图；基于第一特征图，采用多尺度增强图卷积块提取不同尺度的关节特征和骨骼特征；基于第一特征图，采用多头注意力块，在时间维度上提取细粒度动作角度特征；基于关节特征、骨骼特征和细粒度动作角度特征，采用对比学习策略，构建损失函数，以使角度信息对关节和骨骼信息进行补充，得到第二特征图；识别第二特征图，得到人体行为识别结果。结果。结果。

【技术实现步骤摘要】
基于自注意力增强图神经网络的人体行为识别方法及系统


[0001]本专利技术属于计算机视觉方面人体行为识别
，尤其涉及一种基于自注意力增强图神经网络的人体行为识别方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]随着医疗监控、体育教育、智能视频监控等技术的广泛应用，人体行为识别逐渐成为计算机视觉中的一项关键任务。而动作数据可以以各种格式表示，包括RGN视频和骨架数据。与RGB视频相比，人体骨骼数据对复杂背景信息的鲁棒性更强，易于处理，计算效率更高，能显著的提高人体行为分类的准确率。现有的许多基于深度学习的行为识别方法将行为处理为骨架时间序列，并将其输入卷积神经网络(CNN)或循环神经网络(RNN)以捕获同一帧内的关节特征和不同帧之间的时间依赖。CNN适合处理常规的欧几里得数据或者网格数据，比如图像或者文本。并且CNN需要大量的数据进行训练，否则可能出现过拟合。基于RNN的方法很少探索骨架的自然连接属性，导致大量的交互信息丢失，当网络堆叠过多的网络层数时，会出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自注意力增强图神经网络的人体行为识别方法，其特征在于，包括：获取骨架信息中的关节信息表示、骨骼信息表示和角度信息表示；基于关节信息表示、骨骼信息表示和角度信息表示，采用图卷积模块，聚合相邻关节的特征，得到第一特征图；基于第一特征图，采用多尺度增强图卷积块提取不同尺度的关节特征和骨骼特征；基于第一特征图，采用多头注意力块，在时间维度上提取细粒度动作角度特征；基于关节特征、骨骼特征和细粒度动作角度特征，采用对比学习策略，构建损失函数，以使角度信息对关节和骨骼信息进行补充，得到第二特征图；识别第二特征图，得到人体行为识别结果。2.根据权利要求1所述的基于自注意力增强图神经网络的人体行为识别方法，其特征在于，所述关节信息表示为每个关节点的坐标，所述骨骼信息表示为每对关节点之间的向量，所述角度信息表示为不同骨骼向量之间的角度向量。3.根据权利要求1所述的基于自注意力增强图神经网络的人体行为识别方法，其特征在于，所述得到第一特征图的过程包括：基于关节信息表示、骨骼信息表示和角度信息表示，采用三层卷积核相同的空间图卷积层分别提取特征图，对特征图均进行归一化处理，并采用ReLU函数激活和dropout层处理，将得到的特征图采用一层时间图卷积层建模时间维度的信息，并进行归一化处理和ReLU函数激活，得到第一特征图。4.根据权利要求1所述的基于自注意力增强图神经网络的人体行为识别方法，其特征在于，所述基于第一特征图，采用多尺度增强图卷积块提取不同尺度的关节特征和骨骼特征的过程包括：基于第一特征图，采用1
×
1的图卷积处理物理连接关节，聚合每个关节的邻居节点的信息，采用三种不同尺度的图卷积处理非物理连接关节，聚合关节之间的依赖关系，得到不同尺度的关节特征和骨骼特征。5.根据权利要求1所述的基于自注意力增强图神经网络的人体行为识别方法，其特征在于，所述基于第一特征图，采用多头注意力块，在时间维度上提取细粒度动作角度特征的过程包括：采用不同的可学习矩阵将第一特征图转换为第一向量、第二向量和第三向量，根据第一向量与第二向量的乘积，得到第一...

【专利技术属性】
技术研发人员：吕蕾，耿佩，李恬晨，侯昕冉，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：