一种基于多中心多模态的图卷积网络的骨架动作识别方法技术

本发明专利技术公开了一种基于多中心多模态的图卷积网络的骨架动作识别方法，包括如下步骤：步骤1、获取骨架数据并进行数据预处理和数据增强；步骤2、经步骤1处理后的骨架数据的关节流态作为一阶骨骼数据；步骤3、对关节流态进行处理得到二阶骨架数据，所述二阶骨骼数据包括骨骼流态；步骤4、应用GPT‑3模型，将人体动作识别数据作为输入生成离线动作的文本描述数据；步骤5、构建并训练多中心多模态图卷积网络模型；步骤6、分别将关节流态数据、骨骼流态数据以及文本描述数据输入输出最后的预测结果。该方法方便网络在极端尺度变化下识别和检测对象，实现注意特征融合。有助于提高人体行为的预测精确度。

【技术实现步骤摘要】

本专利技术涉及计算机视觉和深度学习，具体指一种基于多中心多模态的图卷积网络的骨架动作识别方法。

技术介绍

1、动作识别技术广泛应用于智能监控、虚拟现实、人机交互、公共安全和医疗卫生等多个领域。其具有良好的应用前景，现已成为计算机视觉等领域的重要研究课题。其中，基于骨骼的行为识别由于具有强抗噪声的能力而被广泛研究，特别是当图卷积网络应用于这一领域时，带来了前所未有的生机。

2、目前，使用骨架进行动作识别的一种典型方法是构建图卷积网络(gcns)。然而，目前基于gcn的主流模型还存在如下不足：(1)数据集的骨架中心只有一个，并且是事先定义好的，没有用到平均坐标，实际上人做不同的动作需要不同的关节组参与，运动时关节组会实时转移，随之会导致人体中心的改变。(2)当前大多数基于图卷积的骨架动作识别方法采用的是独热编码进行任务分类，实际上，有些动作只在很细微的地方有差异，比如胜利的手势和竖大拇指，我们用现有的独热编码模型很难区分开，但用自然语言可以很准确的描述这两个动作。(3)一些优秀的方法[ctr-gcn][tca-gcn]采用逐通道拓扑细化的图卷积来动本文档来自技高网...

【技术保护点】

1.一种基于多中心多模态的图卷积网络的骨架动作识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于多中心多模态的图卷积网络的骨架动作识别方法，其特征在于，原始的所述骨架数据包含25个人体关节。

3.根据权利要求1所述的一种基于多中心多模态的图卷积网络的骨架动作识别方法，其特征在于，所述骨架编码器包括依次连接的多中心数据选择器和多中心图卷积网络，所述多中心图卷积网络包括依次连接的多中心注意力图卷积、BN+ReLU层和多尺度时间卷积，所述多中心注意力图卷积和BN+ReLU层之间连接有一个1×1的卷积层。

4.根据权利要求3所述的一种基于多...

【技术特征摘要】

1.一种基于多中心多模态的图卷积网络的骨架动作识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于多中心多模态的图卷积网络的骨架动作识别方法，其特征在于，原始的所述骨架数据包含25个人体关节。

3.根据权利要求1所述的一种基于多中心多模态的图卷积网络的骨架动作识别方法，其特征在于，所述骨架编码器包括依次连接的多中心数据选择器和多中心图卷积网络，所述多中心图卷积网络包括依次连接的多中心注意力图卷积、bn+relu层和多尺度时间卷积，所述多中心注意力图卷积和bn+relu层之间连接有一个1×1的卷积层。

4.根据权利要求3所述的一种基于多中心多模态的图卷积网络的骨架动作识别方法，其特征在于，所述多中心图卷积网络设置有10层。

5.根据权利要求2所述的一种基于多中心多模态的图卷积网络的骨架动作识别方法，其特征在于，对25个人体关节依次进行标注分别记为(1、2、3…、25)，将骨架数据中的所有骨架图分别按三个不同关节作为图中心进行坐标定位，三个不...

【专利技术属性】
技术研发人员：张海平，林海翔，张昕昊，朱崇磊，施月玲，管力明，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：