基于骨骼的图注意力网络动作识别方法及系统技术方案

本发明专利技术公开了基于骨骼的图注意力网络动作识别方法及系统，包括：对获取的动作数据集进行预处理，构建图数据；构建基于图注意力网络的骨骼动作识别神经网络，使用基于图注意力的方法对骨骼的时空信息进行建模，根据不同节点的重要性进行注意力标注，并提取骨骼数据的时空信息；用训练集训练网络，优化参数，得到基于骨骼的图注意力动作识别网络；将测试集输入到优化后的网络进行预测，得到对应的动作类别。本发明专利技术基于使用基于图注意力的方法对骨骼的时空信息进行建模，有效的提高了动作的识别精度。

Action recognition method and system of graph attention network based on skeleton

【技术实现步骤摘要】
基于骨骼的图注意力网络动作识别方法及系统
本专利技术属于动作识别
，尤其涉及基于骨骼的图注意力网络动作识别方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。人类动作的识别一直是计算机视觉领域中很重要也非常具有挑战性的问题。人类动作识别技术应用在多个领域，如视觉监控、人机交互、视频索引/检索、视频摘要和视频理解等。根据输入数据的不同，动作识别可以分为基于RGB数据的方法和基于骨骼的方法，相比于RGB数据，骨骼数据有对光照、颜色等具有很强的鲁棒性，数据量小，可以表达动作的大部分特征等优点，所以现在越来越多的研究人员基于骨骼来研究动作识别。专利技术人在研究中发现，基于骨骼的深度学习的动作识别方法主要有基于LSTM的方法，基于CNN的方法和基于图卷积的方法。由于以上方法没有对不同的关节给予不同的关注，不能充分的利用骨骼数据集的优点。
技术实现思路
为克服上述现有技术的不足，本专利技术提供了基于骨骼的图注意力网络动作识别方法，基于图注意力(GAT)的方法充分的本文档来自技高网...

【技术保护点】
1.基于骨骼的图注意力网络动作识别方法，其特征是，包括：/n对获取的动作数据集进行预处理，构建图数据；/n构建基于图注意力网络的骨骼动作识别神经网络，使用基于图注意力的方法对骨骼的时空信息进行建模，根据不同节点的重要性进行注意力标注，并提取骨骼数据的时空信息；/n用训练集训练网络，优化参数，得到基于骨骼的图注意力动作识别网络；/n将测试集输入到优化后的网络进行预测，得到对应的动作类别。/n

【技术特征摘要】
1.基于骨骼的图注意力网络动作识别方法，其特征是，包括：
对获取的动作数据集进行预处理，构建图数据；
构建基于图注意力网络的骨骼动作识别神经网络，使用基于图注意力的方法对骨骼的时空信息进行建模，根据不同节点的重要性进行注意力标注，并提取骨骼数据的时空信息；
用训练集训练网络，优化参数，得到基于骨骼的图注意力动作识别网络；
将测试集输入到优化后的网络进行预测，得到对应的动作类别。


2.如权利要求1所述的基于骨骼的图注意力网络动作识别方法，其特征是，对获取的动作数据集进行预处理，构建图数据，具体为：
从骨骼序列中获取原始身体数据；
从原始骨架序列中获取去噪数据；
将三个连续帧作为输入序列，每一帧之间根据人体的物理连接进行骨骼间的连接，相邻帧的连接，以同一个点进行时间上的连接。


3.如权利要求1所述的基于骨骼的图注意力网络动作识别方法，其特征是，输入序列为P×T×N×3,其中T＝T0-2，N＝N0×3，T0为原始序列的帧数，N0为原始序列的关节数，P为每个序列中演员的数量，T为组合之后输入序列的帧数，N为每帧的关节数量，3为每个关节的特征数x,y,z。


4.如权利要求1所述的基于骨骼的图注意力网络动作识别方法，其特征是，构建基于图注意力网络的骨骼动作识别神经网络：
网络由归一化层，第一GAT层，激活函数ELU1，第二GAT层，激活函数ELU2，第三GAT层，激活函数sigmoid,全局池化层，全连接层组成。


5.如权利要求1所述的基于骨骼的图注意力网络动作识别方法，其特征是，所述网络训练、调优的方法为反向传播算法，选择交叉熵为损失函数，以top1、top5衡量准确率,使用Adam优化器为优化函数；
权重初始化，加载数据、模型、优化器，直到所述分类层softm...

【专利技术属性】
技术研发人员：贺家凯，周风余，黄晴晴，赵阳，刘美珍，尹磊，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37