人体行为识别方法及装置制造方法及图纸

技术编号:44532405 阅读:18 留言:0更新日期:2025-03-07 13:22
本公开涉及人体行为识别方法及装置。所述人体行为识别方法包括:基于人体骨架序列确定关节差异拓扑表示和关节依赖拓扑表示,并且基于关节差异拓扑表示和关节依赖拓扑表示,确定图拓扑特征,其中,人体骨架序列被表示为图结构,图拓扑特征为通用结构拓扑表示、关节差异拓扑表示和关节依赖拓扑表示之和;基于人体骨架序列和图拓扑特征,确定人体骨架序列的动作特征;利用细粒度原型对图拓扑特征进行重建,以获得精细化的动作拓扑表示;基于人体骨架序列的动作特征以及精细化的动作拓扑表示,利用原型对比损失函数和交叉熵损失函数确定人体骨架序列的动作类别。通过采用本公开,能够更好地捕捉动作的细微差别变化,有效提取具有辨别力的行为特征。

【技术实现步骤摘要】

本公开涉及视频分析和行为理解领域,更具体地说,涉及一种人体行为识别方法及装置


技术介绍

1、人体行为识别是对运动的人体进行时空信息建模,通过处理视频数据来获得人体行为的特征表示,从而识别目标人物正在进行的运动(例如,走路、喝水等)或多个目标人物之间的互动行为(例如,握手、拥抱等)。运动的时空序列信息是人体行为的基本构成元素,如何建立底层视觉特征和高层行为类别之间的语义映射是人体行为识别任务的核心问题。人体行为识别技术广泛应用于现实生活中的很多场景,例如,智能视频监控、人机交互、虚拟现实、运动仿真等。准确的行为识别对这些场景来说十分关键,由于骨架序列数据可专注于与动作最相关的运动信息,同时对视频的复杂背景具有很好的鲁棒性,因而得到充分重视。基于骨架序列数据的人体行为识别技术在视频分析和行为理解领域得到广泛的使用。

2、然而,在实际应用过程中,目前的人体行为识别技术对于相似的动作类别难以进行准确的区分。其中,人体的行为识别主要涉及两个过程:首先识别运动所涉及的关键身体部位,然后辨别关键部位的复杂的运动模式。现有的方法可以很好地捕捉到运动涉及的关键本文档来自技高网...

【技术保护点】

1.一种人体行为识别方法,其特征在于,所述人体行为识别方法包括:

2.根据权利要求1所述的人体行为识别方法,其特征在于,基于人体骨架序列,确定关节差异拓扑表示和关节依赖拓扑表示的步骤包括:利用多头注意力机制,基于投影特征的内积来确定所述关节依赖拓扑表示,并且基于不同关节间的特征差值来确定所述关节差异拓扑表示。

3.根据权利要求1所述的人体行为识别方法,其特征在于,基于所述人体骨架序列和所述图拓扑特征,确定人体骨架序列的动作特征的步骤包括:

4.根据权利要求3所述的人体行为识别方法,其特征在于,所述人体行为识别方法还包括:

>5.根据权利要求1...

【技术特征摘要】

1.一种人体行为识别方法,其特征在于,所述人体行为识别方法包括:

2.根据权利要求1所述的人体行为识别方法,其特征在于,基于人体骨架序列,确定关节差异拓扑表示和关节依赖拓扑表示的步骤包括:利用多头注意力机制,基于投影特征的内积来确定所述关节依赖拓扑表示,并且基于不同关节间的特征差值来确定所述关节差异拓扑表示。

3.根据权利要求1所述的人体行为识别方法,其特征在于,基于所述人体骨架序列和所述图拓扑特征,确定人体骨架序列的动作特征的步骤包括:

4.根据权利要求3所述的人体行为识别方法,其特征在于,所述人体行为识别方法还包括:

5.根据权利要求1所述的人体行为识别方法,其特征在于,所述人体行为识别方法还包括:

6.根据权利要求1所述的人体行为识别方法,其特征在于,利用细粒度原型对所述图拓扑特征进行重建,以获得精细化的动作拓扑表示的步骤包括:基于原型索引矩阵...

【专利技术属性】
技术研发人员:刘宏达刘慧娟陶山黄伟孙哲南李学恩王云龙王昊
申请(专利权)人:中国科学院自动化研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1