基于自适应时空图卷积混合网络的人体运动姿态预测方法技术

本发明专利技术公开了人体运动预测领域的一种基于自适应时空图卷积混合网络的人体运动姿态预测方法，旨在解决人体运动预测过程中动作多样性造成的算法鲁棒性较差技术问题。其包括：采集原始时序人体骨架数据，通过线性变化将其扩展为预设维度的数据，并分别采用三个邻接矩阵对预设维度的数据进行预处理，完成数据初始化；将初始化数据输入预构建的自适应时空图卷积混合网络模块中的LayerNorm层，获得变换后的姿态特征，并将其输入至预构建的通道注意力SE模块中，获得处理后的姿态特征；将通道注意力处理后的姿态特征输入到全连接层中进行解码预测，获得最终的预测结果。本发明专利技术解决多个动作中表现的均衡性问题，能够适应人体运动预测问题中的各种数据样本。

【技术实现步骤摘要】

本专利技术涉及一种基于自适应时空图卷积混合网络的人体运动姿态预测方法，属于人体运动预测。

技术介绍

1、观察和预测人类运动对于帮助人类和机器与外部世界互动至关重要，例如在人群中穿行、在游戏中防御攻击性玩家或与他人握手，因此，在自动驾驶、人机交互和智能机器人等热门领域中，人体运动预测具有巨大潜力。然而，作为机器的一种非先天能力，应用这种能力是一项极具挑战性的任务，近年来，随着越来越多的大规模人体数据集的发布，使用深度神经网络解决人类运动预测的方法越来越多。

2、其中，递归神经网络由于其学习非线性函数的能力，成为第一个用于人体运动预测的网络模型，然而与递归神经网络相比，时序卷积网络保持了层次结构，在提取人体关节的空间依赖性、更好地分析人体姿态序列的时间关系方面具有天然优势。同时，基于多层感知机、生成对抗式网络和自注意力机制的网络也在人体运动预测领域取得了长足的发展。然而，这些模型不能有效地利用人类骨骼的结构经验，因此选用图卷积网络，图卷积网络由节点和边组成，可以对应人体关节和骨骼，因此基于图卷积网络的方法具有骨骼先验信息，能够更有效地提取人体姿态序本文档来自技高网...

【技术保护点】

1.一种基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，包括：

2.根据权利要求1所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，完成骨架数据初始化，包括：

3.根据权利要求2所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，完成初始化后的数据输入预构建的自适应时空图卷积混合网络模块中的LayerNorm层，所述初始化后的数据分布限定在预设范围内，并其进行归一化处理，获得归一化后的数据；通过所述归一化数据构建人体特征序列，将所述人体特征序列按照先后顺序依次输入至具有两层结构的自适应时间图卷积和自适应空间图卷...

【技术特征摘要】

1.一种基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，包括：

2.根据权利要求1所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，完成骨架数据初始化，包括：

3.根据权利要求2所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，完成初始化后的数据输入预构建的自适应时空图卷积混合网络模块中的layernorm层，所述初始化后的数据分布限定在预设范围内，并其进行归一化处理，获得归一化后的数据；通过所述归一化数据构建人体特征序列，将所述人体特征序列按照先后顺序依次输入至具有两层结构的自适应时间图卷积和自适应空间图卷积中，从而将所述人体特征序列中的特征维度扩展为预设维度，并通过relu激活函数进行非线性激活，得到激活后的姿态特征，并将其输入至自适应时空图卷积混合网络模块中的dropout层。

4.根据权利要求3所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，人体特征序列输入至第一层自适应时间图卷积，包括：

5.根据权利要求4所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，变换后的人体特征序列与三个邻接矩阵进行特征的传播与聚合，包括：

6.根据权利要求5所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，自适应邻接矩阵的计算公式如下：

【专利技术属性】
技术研发人员：高浩，杨舒博，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：