【技术实现步骤摘要】
本专利技术涉及人体动作识别领域,特别是涉及一种基于时空轨迹图的人体动作识别方法。
技术介绍
1、人类动作识别旨在从输入视频或序列数据中准确识别和分类不同的人类动作。作为计算机视觉中的一项重要任务,人类动作识别在人机交互、智能监控、运动重建等领域得到了广泛的研究和应用。其中,基于骨骼的方法较少受到照明条件、背景噪声和遮挡变化的影响。这种鲁棒性增强了模型关注运动相关信息的能力,使基于骨骼的方法愈发流行。
2、目前,两种流行的深度学习模型,图卷积网络(gcns)和transformers在基于骨骼的人类动作识别任务中表现出了很强的性能。gcns将人体关节数据作为图结构,采用基于邻接矩阵的卷积运算来捕获不同身体部位之间的空间依赖关系,从而提高动作识别的准确率。此外,transformers凭借其强大的自注意力机制和获取长期依赖的能力取得了显著的成功。
3、尽管gcns和transformers具有良好的性能,但进行准确且鲁棒的动作识别仍然是一项具有挑战性的任务。首先,传统的gcn方法没有直接利用时空拓扑来捕获更全面的时空
...【技术保护点】
1.一种基于时空轨迹图的人体动作识别方法,其特征在于,包括:
2.根据权利要求2所述的基于时空轨迹图的人体动作识别方法,其特征在于,所述数据处理包括:
3.根据权利要求2所述的基于时空轨迹图的人体动作识别方法,其特征在于,所述位置编码包括:
4.根据权利要求2所述的基于时空轨迹图的人体动作识别方法,其特征在于,所述图结构编码包括:
5.根据权利要求1所述的基于时空轨迹图的人体动作识别方法,其特征在于,所述时序编码包括,对STDA模块的输出特征施加矩阵变换操作,得到再对Hout使用2D卷积以及一个BN操作进行时序维度的特征
...【技术特征摘要】
1.一种基于时空轨迹图的人体动作识别方法,其特征在于,包括:
2.根据权利要求2所述的基于时空轨迹图的人体动作识别方法,其特征在于,所述数据处理包括:
3.根据权利要求2所述的基于时空轨迹图的人体动作识别方法,其特征在于,所述位置编码包括:
4.根据权利要求2所述的基于时空轨迹图的人体动作识别方法,其特征在于,所述图结构编码包括:
5.根据权利要求1所述的基于时空轨迹图的人体动作识别方法,其特征在于,所述时序编码包括,对stda模块的输出特征施加矩阵变换操作,得到再对hout使用2d卷积以及一个bn操作进行时序维度的特征聚合,得到时序编码后的特征,其中cout代表stda模块输出特征的通道数。
6.根据权利要求3所述的基于时空轨迹图的人体动作识别方法,其特征在于,所述动作分类包括:使用koopman算子矩阵将所述特征h在时间维度全局线性化,即ht+1=kht,其中ht是特征h...
【专利技术属性】
技术研发人员:黄宏博,郑曜林,闫晓旭,李萌,许龙飞,黄林凯,张鑫,
申请(专利权)人:北京信息科技大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。