基于时空轨迹图的人体动作识别方法技术

技术编号:41182295 阅读:20 留言:0更新日期:2024-05-07 22:16
本发明专利技术提供了一种基于时空轨迹图(JTG,Joints Trajectory Graph)的人体动作识别方法,属于人体动作识别领域,包括:数据处理、位置编码、图结构编码、时序编码和动作分类。本发明专利技术使用JTG作为输入数据表示,使得模型充分利用了轨迹信息来丰富节点及其跨帧交互的特征聚合能力。提出了Spatio‑Temporal Dijkstra Attention(STDA)模块,利用关节点间的最短路径进行空间信息整合的方法,使得模型能够捕获其中蕴含的拓扑结构,增强了模型的鲁棒性和泛化能力。进而结合了Koopman算子进行动作分类,使得模型获得了更全面的视角和更卓越的分类性能。

【技术实现步骤摘要】

本专利技术涉及人体动作识别领域,特别是涉及一种基于时空轨迹图的人体动作识别方法


技术介绍

1、人类动作识别旨在从输入视频或序列数据中准确识别和分类不同的人类动作。作为计算机视觉中的一项重要任务,人类动作识别在人机交互、智能监控、运动重建等领域得到了广泛的研究和应用。其中,基于骨骼的方法较少受到照明条件、背景噪声和遮挡变化的影响。这种鲁棒性增强了模型关注运动相关信息的能力,使基于骨骼的方法愈发流行。

2、目前,两种流行的深度学习模型,图卷积网络(gcns)和transformers在基于骨骼的人类动作识别任务中表现出了很强的性能。gcns将人体关节数据作为图结构,采用基于邻接矩阵的卷积运算来捕获不同身体部位之间的空间依赖关系,从而提高动作识别的准确率。此外,transformers凭借其强大的自注意力机制和获取长期依赖的能力取得了显著的成功。

3、尽管gcns和transformers具有良好的性能,但进行准确且鲁棒的动作识别仍然是一项具有挑战性的任务。首先,传统的gcn方法没有直接利用时空拓扑来捕获更全面的时空依赖关系。它们聚合图本文档来自技高网...

【技术保护点】

1.一种基于时空轨迹图的人体动作识别方法,其特征在于,包括:

2.根据权利要求2所述的基于时空轨迹图的人体动作识别方法,其特征在于,所述数据处理包括:

3.根据权利要求2所述的基于时空轨迹图的人体动作识别方法,其特征在于,所述位置编码包括:

4.根据权利要求2所述的基于时空轨迹图的人体动作识别方法,其特征在于,所述图结构编码包括:

5.根据权利要求1所述的基于时空轨迹图的人体动作识别方法,其特征在于,所述时序编码包括,对STDA模块的输出特征施加矩阵变换操作,得到再对Hout使用2D卷积以及一个BN操作进行时序维度的特征聚合,得到时序编码后...

【技术特征摘要】

1.一种基于时空轨迹图的人体动作识别方法,其特征在于,包括:

2.根据权利要求2所述的基于时空轨迹图的人体动作识别方法,其特征在于,所述数据处理包括:

3.根据权利要求2所述的基于时空轨迹图的人体动作识别方法,其特征在于,所述位置编码包括:

4.根据权利要求2所述的基于时空轨迹图的人体动作识别方法,其特征在于,所述图结构编码包括:

5.根据权利要求1所述的基于时空轨迹图的人体动作识别方法,其特征在于,所述时序编码包括,对stda模块的输出特征施加矩阵变换操作,得到再对hout使用2d卷积以及一个bn操作进行时序维度的特征聚合,得到时序编码后的特征,其中cout代表stda模块输出特征的通道数。

6.根据权利要求3所述的基于时空轨迹图的人体动作识别方法,其特征在于,所述动作分类包括:使用koopman算子矩阵将所述特征h在时间维度全局线性化,即ht+1=kht,其中ht是特征h...

【专利技术属性】
技术研发人员:黄宏博郑曜林闫晓旭李萌许龙飞黄林凯张鑫
申请(专利权)人:北京信息科技大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1