基于多角度特征融合的骨骼点动作识别方法技术

技术编号:42303727 阅读:17 留言:0更新日期:2024-08-14 15:51
本发明专利技术提出一种基于多角度特征融合的骨骼点动作识别方法,属于计算机视觉、人工智能领域,便于提取高阶空间运动特征。所提出的角度特征全面捕捉不同身体部位之间的相对运动,同时保持对主体变化的鲁棒性。实验结果表明,角特征是与现有特征的互补,即关节和骨骼表征。通过将角度特征合并到一个简单的动作识别图卷积神经网络中,在几个基准测试上实现了新的最先进的精度,同时保持了更低的计算成本,从而支持在边缘设备上的实时动作识别。

【技术实现步骤摘要】

本专利技术属于计算机视觉、人工智能领域,尤其涉及一种基于多角度特征融合的骨骼点动作识别方法


技术介绍

1、图神经网络在骨骼识别中已经开始引起关注。在基于图卷积网络的模型中,骨架被视为图,关节为节点,骨骼为边。最初,只使用一阶特征,表示关节的坐标。随后,引入了一个二阶特征:每块骨被表示为一个关节的坐标与其最近邻的坐标之间的向量差。实验表明,这些二阶特征提高了识别精度。一个早期的应用是st-gcn,使用图卷积在空间上聚合关节特征,并沿时间轴卷积连续的帧。随后,提出as-gcn,通过可学习的邻接矩阵来进一步改善空间特征聚合,而不是使用骨架作为固定图。agc-lstm学习长程时间依赖,使用lstm作为骨干,并将每个门操作从原始的全连接层更改为图卷积层,更好地利用骨架拓扑信息。2s-agcn有两个主要贡献:一是将可学习的残差掩码应用于图卷积的邻接矩阵,使骨架的拓扑结构更灵活;二是提出了一种二阶特征,即相邻两个关节的坐标差值作为骨骼信息。通过关节和骨骼特征训练,大大提高了分类精度。在基于骨架的动作识别中,已经提出了更多的图卷积技术,如sgn、shift-gcn和de本文档来自技高网...

【技术保护点】

1.基于多角度特征融合的骨骼点动作识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于多角度特征融合的骨骼点动作识别方法,其特征在于,根据关节、骨骼之间的角度特征,将角度分为四类,分别为局部定义的角度、面向中心的角度、基于对的角度和基于手指的角度;

3.根据权利要求2所述的基于多角度特征融合的骨骼点动作识别方法,其特征在于,为每个关节提取7或9个角度特征,构成7或9个特征通道;其中,7对应于没有基于手指的角度,9对应于有基于手指的角度。

4.根据权利要求1所述的基于多角度特征融合的骨骼点动作识别方法,其特征在于,所述时空块包括一个空间多尺...

【技术特征摘要】

1.基于多角度特征融合的骨骼点动作识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于多角度特征融合的骨骼点动作识别方法,其特征在于,根据关节、骨骼之间的角度特征,将角度分为四类,分别为局部定义的角度、面向中心的角度、基于对的角度和基于手指的角度;

3.根据权利要求2所述的基于多角度特征融合的骨骼点动作识别方法,其特征在于,为每个关节提取7或9个角度特征,构成7或9个特征通道;其中,7对应于没有基于手指的角度,9对应于有基于手指的角度。

4.根据权利要求1所述的基于多角度特征融合的骨骼点动作识别方法,其特征在于,所述时空块包括一个空间多尺度图卷积模块和三个时间多尺度卷积模块,特征依次经过空间多尺度图卷积模块、三个串联的时间多尺度卷积模块;其中所述空间多尺度卷积模块由图...

【专利技术属性】
技术研发人员:崔建海刘贵松殷光强刘学婷候少麒马逸逍
申请(专利权)人:电子科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1