一种基于动作注意力引导的轻量级骨架动作分类方法、系统、设备及介质技术方案

一种基于动作注意力引导的轻量级骨架动作分类方法、系统、设备及介质，方法：获取待训练骨架视频样本；构建基于动作注意力引导的轻量级骨架动作分类模型(AL‑GCN)；通过自主学习空间卷积网络(AL‑SGCN)提取空间特征，对提取完空间特征的骨架序列进行注意力修正；通过多尺度时间融合卷积网络(MS‑TFCN)对骨架关节的长距离随机依赖进行建模，实现时间特征提取；对提取完时间特征的骨架序列进行注意力修正；使用跳转模块(Jump)和多流高斯权值选择算法提升AL‑GCN模型的动作识别准确率，将生成的骨架时空特征送入分类器；系统、设备及介质用于实现该方法；本发明专利技术通过GCN网络结构，实现基于骨骼数据的动作分类任务，并在已有数据集上取得了高精度的分类性能。

【技术实现步骤摘要】

本专利技术属于基于骨架的人体动作识别，尤其涉及一种基于动作注意力引导的轻量级骨架动作分类方法、系统、设备及介质。

技术介绍

1、人体动作识别作为计算机视觉的一个基础而重要的课题，在自动驾驶、视频监控等领域有着广泛的应用人机交互任务，它提供了可靠的实际任务的动作分析结果。与其他模式的数据不同，紧凑的骨架数据提供了人体关节具体的位置和运动信息，方便了时空和运动的构建，避免了背景环境的干扰，并能有效地提高噪声场景下动作识别的准确性和鲁棒性。

2、由于图卷积网络具有拓扑逻辑结构的处理优势，基于gcn的方法逐渐成为主流。st-gcn是第一个使用时空图卷积方法成功处理骨架数据的研究。2s-agcn引入了的概念首次采用自适应方法，对输入进行卷积，利用自注意机制获得依赖数据的邻接矩阵。后续的方法大多延续了这一策略，不同之处在于增加线性或附加信息，以提高辨别性。通过输入卷积和后续处理获得自适应邻接矩阵已成为常用的模型方法。

3、公开号为cn116343338a的专利申请文件，公开了一种基于层次时空注意力网络的人体骨架动作识别方法，通过将人体关节划分为本文档来自技高网...

【技术保护点】

1.一种基于动作注意力引导的轻量级骨架动作分类方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于动作注意力引导的轻量级骨架动作分类方法，其特征在于：所述步骤1中的预处理操作包括原始骨架获取、噪声祛除和视角归一化。

3.根据权利要求1所述的一种基于动作注意力引导的轻量级骨架动作分类方法，其特征在于：所述步骤2中，多尺度时间融合卷积网络(MS-TFCN)包括多尺度时间卷积模块(MS-TCN)、自主学习的时间卷积网络(AL-TGCN)、跳转模块(Jump)和多流高斯权值选择算法。

4.根据权利要求1所述的一种基于动作注意力引导的轻量级骨架动作...

【技术特征摘要】

1.一种基于动作注意力引导的轻量级骨架动作分类方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种基于动作注意力引导的轻量级骨架动作分类方法，其特征在于：所述步骤1中的预处理操作包括原始骨架获取、噪声祛除和视角归一化。

3.根据权利要求1所述的一种基于动作注意力引导的轻量级骨架动作分类方法，其特征在于：所述步骤2中，多尺度时间融合卷积网络(ms-tfcn)包括多尺度时间卷积模块(ms-tcn)、自主学习的时间卷积网络(al-tgcn)、跳转模块(jump)和多流高斯权值选择算法。

4.根据权利要求1所述的一种基于动作注意力引导的轻量级骨架动作分类方法，其特征在于：所述步骤3在去除自适应模块的自主学习空间卷积网络(al-sgcn)进行空间特征提取，其进行空间特征提取的图拓扑结构包括含有人体关节连接信息的邻接矩阵、可学习的初始骨架的邻接矩阵组、自定义掩码选择后的特定关节的邻接矩阵群和含有单个关节之间的隐式相关性常数矩阵。

5.根据权利要求1或4所述的一种基于动作注意力引导的轻量级骨架动作分类方法，其特征在于：所述步骤3的具体方法为：

6....

【专利技术属性】
技术研发人员：刘如意，刘义，辛文天，苗启广，谢琨，吴梦瑶，赵佩佩，李宇楠，吴帅，卢子祥，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：