基于骨骼点数据的人体行为识别方法技术

技术编号:42561610 阅读:87 留言:0更新日期:2024-08-29 00:31
本发明专利技术公开了一种基于骨骼点数据的人体行为识别方法,涉及计算机视觉技术领域。该方法包括:通过关节解耦策略划分关节点类型,对关节点间的强弱依赖程度进行分类;基于自注意力机制计算关节点间特征相似度,构建跨帧间的关节依赖性;自注意力权重计算引入关节掩码,解耦不同类型关节点间的依赖权重,提高模型对于多样特征的关注度;通过划分空间元组的方式对行为序列进行分割,使用卷积分别提取子动作级别的动作模式特征信息和关节点的帧级时序特征,提高对相似行为的区分准确率。本发明专利技术有效构建了多样的关节依赖关系,多尺度提取时间维度的特征信息。实验情况表明,本发明专利技术对于人体行为识别具有良好的识别准确率。

【技术实现步骤摘要】

本专利技术涉及计算机视觉,具体涉及一种基于骨骼点数据的人体行为识别方法


技术介绍

1、人体行为识别是计算机视觉
中的一个重要问题,它的应用前景广阔,包括智能监控、人机交互、视频检索等。研究方法主要包括传统手工提取特征的方法和基于深度学习的方法。骨骼点数据是由多个人体关节的三维坐标组成的序列,是运动动力学的有效表示,与rgb视频图像和光流相比,骨骼点数据数据量更小,具有计算效率高的优势。因此,基于骨骼点数据的人体行为识别方法往往具有更轻量,更具泛化性的特点。

2、相关技术中,随着深度学习方法在计算机视觉领域的应用,基于骨骼点的人体行为识别得到了快速发展,代表性的工作主要有图卷积(graphconvolutionnetwork,gcn)和基于transformer的改进方法。

3、基于骨骼点数据进行人体行为识别目前存在的难点和挑战主要有:图卷积类的方法受限于固定的静态图拓扑结构,图结构难以扩展到时空维度,部分节点间难以直接构建依赖关系;基于transformer的自注意力机制基于全局关节点计算依赖权重,忽视了关节点间存在的空间位本文档来自技高网...

【技术保护点】

1.基于骨骼点数据的人体行为识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于骨骼点数据的人体行为识别方法,其特征在于,所述的步骤二中,单帧内的图结构采用无向图,邻接矩阵采用二进制矩阵,对于邻接矩阵,人体结构中直接相连的关节点赋值为1,其余为0,多帧内的关节掩码通过将矩阵按行列平铺扩展,具体计算公式为:

3.如权利要求1所述的基于骨骼点数据的人体行为识别方法,其特征在于,所述的步骤三中,卷积层包含第一卷积层、批归一化层和激活函数层,第一卷积层为二维卷积层,卷积核大小为1x1,第一维度是时间维度,第二维度是关节点维度,激活函数使用RELU激活函数。<...

【技术特征摘要】

1.基于骨骼点数据的人体行为识别方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的基于骨骼点数据的人体行为识别方法,其特征在于,所述的步骤二中,单帧内的图结构采用无向图,邻接矩阵采用二进制矩阵,对于邻接矩阵,人体结构中直接相连的关节点赋值为1,其余为0,多帧内的关节掩码通过将矩阵按行列平铺扩展,具体计算公式为:

3.如权利要求1所述的基于骨骼点数据的人体行为识别方法,其特征在于,所述的步骤三中,卷积层包含第一卷积层、批归一化层和激活函数层,第一卷积层为二维卷积层,卷积核大小为1x1,第一维度是时间维度,第二维度是关节点维度,激活函数使用relu激活函数。

4.根据权利要求1所述的基于骨骼点数据的人体行为识别方法,其特征在于,所述的步骤四中,元组划分通过张量形状重塑实现,具体计算公式为:

5.如权利要求4所述的基于骨骼点数据的人体行为识别方法,其特征在于,所述的步骤四中,位置编码采用正余弦函数编码,具体计算公式如下:

6.根据权利要求...

【专利技术属性】
技术研发人员:许卓言许景科
申请(专利权)人:沈阳建筑大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1