【技术实现步骤摘要】
本专利技术涉及一种基于自适应时空图卷积混合网络的人体运动姿态预测方法，属于人体运动预测。
技术介绍
1、观察和预测人类运动对于帮助人类和机器与外部世界互动至关重要，例如在人群中穿行、在游戏中防御攻击性玩家或与他人握手，因此，在自动驾驶、人机交互和智能机器人等热门领域中，人体运动预测具有巨大潜力。然而，作为机器的一种非先天能力，应用这种能力是一项极具挑战性的任务，近年来，随着越来越多的大规模人体数据集的发布，使用深度神经网络解决人类运动预测的方法越来越多。
2、其中，递归神经网络由于其学习非线性函数的能力，成为第一个用于人体运动预测的网络模型，然而与递归神经网络相比，时序卷积网络保持了层次结构，在提取人体关节的空间依赖性、更好地分析人体姿态序列的时间关系方面具有天然优势。同时，基于多层感知机、生成对抗式网络和自注意力机制的网络也在人体运动预测领域取得了长足的发展。然而，这些模型不能有效地利用人类骨骼的结构经验，因此选用图卷积网络，图卷积网络由节点和边组成，可以对应人体关节和骨骼，因此基于图卷积网络的方法具有骨骼先验信息，能够更有效地提取人体姿态序列的特征。为了更有效地提取全局时空特征，采用多阶段时空图卷积可以更好地预测未来姿态，但是基于图卷积网络的房中，图拓扑不能针对不同的动作的特定姿势进行动态调整，忽略了姿势序列之间的隐式关系。
技术实现思路
1、本专利技术的目的在于克服现有技术中的不足，提供基于自适应时空图卷积混合网络的人体运动姿态预测方法，解决人体运动过程中面对动作
2、为达到上述目的/为解决上述技术问题，本专利技术是采用下述技术方案实现的：
3、第一方面，一种基于自适应时空图卷积混合网络的人体运动姿态预测方法，包括：
4、采集原始时序人体骨架数据，通过线性变化将所述采集到的原始时序人体数据扩展为预设维度的骨架数据，并分别采用自适应邻接矩阵、可学习邻接矩阵以及预定义邻接矩阵对所述预设维度的骨架数据进行预处理，完成数据初始化；
5、将初始化的骨架数据输入预构建的自适应时空图卷积混合网络模块中的layernorm层，获得变换后的姿态特征，并将所述姿态特征输入至预构建的通道注意力se模块中进行提取与融合，获得通道注意力处理后的姿态特征；
6、其中，自适应时空图卷积混合模块包括自适应时间图卷积和自适应时空图卷积，且自适应时间图卷积和自适应空间图卷积具有两层结构；
7、将所述通道注意力处理后的姿态特征输入到全连接层中进行解码预测，获得最终的预测结果。
8、结合第一方面，进一步地，完成数据初始化，包括：
9、所述采集的原始时序人体骨架数据通过线性变换扩展为预设维度的人体骨架数据；
10、所述预设维度的人体骨架数据分别输入至自适应邻接矩阵、可学习邻接矩阵以及预定义邻接矩阵中，输出对应的三个姿态特征，并将所述三个姿态特征相加，以及通过relu激活函数进行非线性激活，完成数据初始化。
11、结合第一方面，进一步地，完成初始化后的骨架数据输入预构建的自适应时空图卷积混合网络模块中的layernorm层，所述初始化后的数据分布限定在预设范围内，并其进行归一化处理，获得归一化后的数据；通过所述归一化数据构建人体特征序列，将所述人体特征序列按照先后顺序依次输入至具有两层结构的自适应时间图卷积和自适应空间图卷积中，从而将所述人体特征序列中的特征维度扩展为预设维度，并通过relu激活函数进行非线性激活，得到激活后的姿态特征，并将其输入至自适应时空图卷积混合网络模块中的dropout层。
12、结合第一方面，进一步地，人体特征序列输入至第一层自适应时间图卷积，包括：
13、将所述人体特征序列输入至全连接层进行线性变换，获得变换后的人体特征序列，变换后的人体特征序列与预定义邻接矩阵、可学习邻接矩阵、自适应邻接矩阵进行特征的传播与聚合，具体公式如下：
14、
15、其中，为预定义邻接矩阵，为可学习邻接矩阵；为自适应邻接矩阵；x为人体特征序列；w为人体特征的线性变换矩阵。
16、结合第一方面，进一步地，变换后的人体特征序列与三个邻接矩阵进行特征的传播与聚合，包括：
17、将所述人体特征序列输入预构建的自适应模块中，改变输入的人体特征序列中的姿态特征，以获得两个特征矩阵选取其中一个特征矩阵进行转置，并与另一个特征矩阵相乘得到预设的矩阵大小，最后采用softmax函数对所述预设的矩阵进行非线性激活，最终获得自适应邻接矩阵；
18、构建一个与所述自适应邻接矩阵大小相同的完全可学习邻接矩阵，通过所述可学习邻接矩阵对人体特征序列进行深度学习；
19、根据人体特征序列中的时间结构，所述时间结构有若干节点组成，分别构建从开始节点到时间结构中最后时刻节点的有向图、时间结构中最后时刻节点到开始节点的有向图以及时间节点的自连接图，将其分别作为第一预定义邻接矩阵、第二预定义邻接矩阵和第三预定义邻接矩阵，用于前、后端节点之间的传播；
20、基于所述第一预定义邻接矩阵、第二预定义邻接矩阵和第三预定义邻接矩阵分别与可学习矩阵、自适应邻接矩阵相加和聚合，获得聚合后的姿态特征，并将所述聚合后的姿态特征进行融合相加，获得第一姿态特征。
21、结合第一方面，进一步地，自适应邻接矩阵的计算公式如下：
22、
23、结合第一方面，进一步地，所述第一姿态特征输入到第二层自适应时间图卷积中，获得第二姿态特征，并将其输入至预构建的通道注意力se模块中，获得第一通道注意力姿态特征。
24、结合第一方面，进一步地，所述第一通道注意力姿态特征通过转置输入到自适应时空图卷积混合网络模块中的layernorm层，并对其进行归一化处理，，获得归一化处理后的姿态特征作为第一层自适应空间图卷积的输入，通过所述第一个自适应空间图卷积依次采用relu激活函数进行非线性激活以及将所述获得归一化处理后的姿态特征输入至自适应时空图卷积混合网络模块中的dropout层，获得第三姿态特征；所述第三姿态特征输入至第二层自适应空间图卷积，获得第四姿态特征，获得变换后的融合特征，并将其输入至预构建的通道注意力se模块中，获得第二通道注意力姿态特征。
25、结合第一方面，进一步地，第三姿态的获取过程如下：
26、通过自适应空间图卷积获取自适应邻接矩阵和可学习邻接矩阵；
27、构建人体骨骼模型，所述人体骨骼模型包括若干节点，根据所述若干节点构建从根节点到骨骼链末端的有向图、从骨骼链末端到根节点的有向图以及关节点的自连接图作为分别作为第四预定义邻接矩阵、第五预定义邻接矩阵、第六预定义邻接矩阵；
28、通过所述第四预定义邻接矩阵、第五预定义邻接矩阵、第六预定义邻接矩阵分别与可学习邻接矩阵、自适应邻接矩阵相加和聚合，获得聚合后的姿态特征，根据所述聚合后的特征再进行融合相加，获得本文档来自技高网...
【技术保护点】
1.一种基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，包括：
2.根据权利要求1所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，完成骨架数据初始化，包括：
3.根据权利要求2所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，完成初始化后的数据输入预构建的自适应时空图卷积混合网络模块中的LayerNorm层，所述初始化后的数据分布限定在预设范围内，并其进行归一化处理，获得归一化后的数据；通过所述归一化数据构建人体特征序列，将所述人体特征序列按照先后顺序依次输入至具有两层结构的自适应时间图卷积和自适应空间图卷积中，从而将所述人体特征序列中的特征维度扩展为预设维度，并通过ReLu激活函数进行非线性激活，得到激活后的姿态特征，并将其输入至自适应时空图卷积混合网络模块中的Dropout层。
4.根据权利要求3所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，人体特征序列输入至第一层自适应时间图卷积，包括：
5.根据权利要求4所述的基于自适应时空图卷积混合网络的人体
6.根据权利要求5所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，自适应邻接矩阵的计算公式如下：
7.根据权利要求5所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于所述第一姿态特征输入到第二层自适应时间图卷积中，获得第二姿态特征，并将其输入至预构建的通道注意力SE模块中，获得第一通道注意力姿态特征。
8.根据权利要求7所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，所述第一通道注意力姿态特征通过转置输入到自适应时空图卷积混合网络模块中的LayerNorm层，并对其进行归一化处理，，获得归一化处理后的姿态特征作为第一层自适应空间图卷积的输入，通过所述第一个自适应空间图卷积依次采用ReLu激活函数进行非线性激活以及将所述获得归一化处理后的姿态特征输入至自适应时空图卷积混合网络模块中的Dropout层，获得第三姿态特征；所述第三姿态特征输入至第二层自适应空间图卷积，获得第四姿态特征，获得变换后的融合特征，并将其输入至预构建的通道注意力SE模块中，获得第二通道注意力姿态特征。
9.根据权利要求8所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，第三姿态的获取过程如下：
10.根据权利要求8所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，所述第二通道注意力姿态特征输入到自适应时空图卷积混合网络模块中的全连接层，以对所述第二通道注意力姿态特征进行解码，获得期望的人体特征预测序列长度；
...【技术特征摘要】
1.一种基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，包括：
2.根据权利要求1所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，完成骨架数据初始化，包括：
3.根据权利要求2所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，完成初始化后的数据输入预构建的自适应时空图卷积混合网络模块中的layernorm层，所述初始化后的数据分布限定在预设范围内，并其进行归一化处理，获得归一化后的数据；通过所述归一化数据构建人体特征序列，将所述人体特征序列按照先后顺序依次输入至具有两层结构的自适应时间图卷积和自适应空间图卷积中，从而将所述人体特征序列中的特征维度扩展为预设维度，并通过relu激活函数进行非线性激活，得到激活后的姿态特征，并将其输入至自适应时空图卷积混合网络模块中的dropout层。
4.根据权利要求3所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，人体特征序列输入至第一层自适应时间图卷积，包括：
5.根据权利要求4所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，变换后的人体特征序列与三个邻接矩阵进行特征的传播与聚合，包括：
6.根据权利要求5所述的基于自适应时空图卷积混合网络的人体运动姿态预测方法，其特征在于，自适应邻接矩阵的计算公式如下：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。