基于注意力机制融合多流图的人体姿态预测方法及系统技术方案

本发明专利技术涉及一种基于注意力机制融合多流图神经网络的人体姿态预测方法及系统，其方法包括：S1：获取用于训练的人体关键关节的三维位置数据序列，根据预设的输入序列和输出序列的长度，分为输入序列和输出序列；根据输入序列构建图数据；S2：构建基于注意力机制融合多流图神经网络模型；将图数据输入该模型进行训练，得到训练好的模型；S3：获取用于预测的人体关键关节的三维位置数据序列，构建图数据，输入训练好的基于注意力机制融合多流图神经网络模型，得到人体姿态的预测值。本发明专利技术提出的方法，基于人体关节位置数据及结构特征，构建多个图模型，实现了对人体运动系统的建模，以对人体姿态进行预测，并达到了较高的准确率。并达到了较高的准确率。并达到了较高的准确率。

【技术实现步骤摘要】
基于注意力机制融合多流图的人体姿态预测方法及系统


[0001]本专利技术涉及计算机视觉和图像处理领域，具体涉及一种基于注意力机制融合多流图神经网络的人体姿态预测方法及系统。

技术介绍

[0002]近年来，随着成本较低的消费级深度相机的广泛使用，人体三维运动姿态的低成本、实时采集成为了可能，因此人体姿态预测成为了图形学与计算机视觉交叉的热点问题，并在机器人领域、医疗领域、自动驾驶技术上有着广阔的应用前景和丰富的应用场景。
[0003]在机器人领域，外骨骼机器人相关技术是研究的一大热点，在航空航天中有着非常重要的应用，被认为是开展在轨建造、维修及月面和火星表面活动的关键支撑装备，对于航天出舱任务的完成和应急故障处置都会发挥极为重要的作用。人体姿态预测算法通过对人体运动规律进行识别分析，对航天员的运动意图进行判断和预测，辅助外骨骼机器人完成力柔顺控制，减少外骨骼机器人控制中出现的力突变，从而有效地提高航天服对航天员运动的适应性。
[0004]运动捕捉技术早在五十年前就已问世，广泛应用于影视和游戏等娱乐行业，同时也在医疗健康行业帮助着具有运动障碍的患者。但目前，人们仍然无法脱离真实的运动捕捉数据去生成逼真的、符合人体结构特点和运动平衡状态的云中数据，但是目前主流的运动捕捉技术仍然是基于惯性传感器或复杂的光学传感系统的，存在造价高、需要专业场地等劣势，距离“飞入寻常百姓家”，造福需要依靠辅助器械完成日常运动的患者们，还有很远的距离。人体姿态预测算法应用于运动生成技术中，可以大大提高运动捕捉数据的利用率，降低运动数据的后期处理工作量。通过逐渐普及的飞行时间相机，人体姿态预测算法会更容易应用于人机交互领域，例如，人体姿态预测算法根据采集到的受试者的动作，指导受试者完成正确的动作，从而辅助因罹患神经退行性疾病导致肢体认知缺陷的患者康复。
[0005]因此，人体姿态预测具有重要的应用价值，但由于人体的运动是具有200个以上自由度，而且人体各个关节的自由度之间有着极大的相关性，如逆运动学、动力学等传统方法对人体运动进行模拟非常困难，无法建立一个精确的人体运动模型，并且人体运动规律复杂性非常高，特别是人体运动的平衡协调机制难以模拟。这给基于传统统计学习方法的人体动作预测带来了巨大的困难。
[0006]近年来，随着计算机硬件和机器学习算法的发展，基于深度学习的人体预测方法被提出。在基于深度学习模型方法中，研究者无需关注复杂的运动学约束和参数等不同行为的认知能力，只需构建深度神经网络模型，然后经过大量运动数据的训练，可以学习到人体运动数据中某些潜在的运动特征，并据此预测出一个人接下来的动作轨迹。早期的深度学习模型主要是基于循环神经网络和卷积神经网络，但有一定的缺陷：循环神经网络强调序列的时序关系，忽略空间信息；卷积神经网络的工作则令单帧骨骼数据构造成一维向量，将序列视为二维矩阵，关注于单一关节随时间的位置变化，而忽略了人体各个关节之间的相关性，不能充分利用人体本身的拓扑结构信息。
[0007]作为最近两年才逐渐受到关注的深度学习模型，图神经网络是一种专门用来处理图数据的神经网络，被应用于推荐系统、推理证明、化学、交通、类脑智能等各个研究领域。最新的工作提出基于图神经网络的方法，用图表示人体的三维骨骼，可以很好地利用人体骨架的先验结构信息。现有的基于图神经网络的方法简单地按照人体关节的空间邻接关系构造邻接矩阵，然而并未考虑人体动作的产生方式，因此不能充分表示运动中人体各关节的联系。人体运动是由运动链上相互关联的诸多关节协作完成，而非仅由相邻的少数关节完成。且基于人体工程学的研究已经表明，人体运动链通常包含三自由度的关节和二自由度的关节，且这两种关节往往在运动链中交替分布。在运动链中具有不同自由度的关节在运动中有着不同的受力特性。因此，仅仅按照人体关节的空间邻接关系构造邻接矩阵并不能充分地利用人体关节的结构和运动学上的先验信息。
[0008]因此，如何能够充分利用人体关节的结构和运动学上的先验信息，成了一个亟待的问题

技术实现思路

[0009]为了解决上述技术问题，本专利技术提供一种基于注意力机制融合多流图神经网络的人体姿态预测方法及系统。
[0010]本专利技术技术解决方案为：一种基于注意力机制融合多流图神经网络的人体姿态预测方法，包括：
[0011]步骤S1：获取用于训练的人体关键关节的三维位置数据序列，根据预设的输入序列和输出序列的长度，将三维位置数据序列分割为输入序列和输出序列；根据输入序列构建图数据；
[0012]步骤S2：构建基于注意力机制融合多流图神经网络模型；将图数据输入基于注意力机制融合多流图神经网络模型进行训练，得到训练好的基于注意力机制融合多流图神经网络模型；
[0013]步骤S3：获取用于预测的人体关键关节的三维位置数据序列，构建图数据，输入训练好的基于注意力机制融合多流图神经网络模型，得到人体姿态的预测值。
[0014]本专利技术与现有技术相比，具有以下优点：
[0015]1、本专利技术提出的基于多流图神经网络的人体姿态预测方法，基于人体关节位置数据及结构特征，构建多个图模型，实现了对人体运动系统的建模，以对人体姿态进行预测，达到了较高的准确率。同时，使用多流图神经网络提取关节运动特征，通过使用注意力模型融合全局信息。
[0016]2、本专利技术改善了现有的人体姿态预测方法对于剧烈运动和长期运动存在较大误差的缺点，取得了较好的实验结果；本方法网络结构简单，运算具有实时性，可以实现对人体姿态的实时预测，利于实际应用。与现有其它人体姿态预测方法相比，本专利技术提出的方法在进行500
‑
1000毫秒的中长期动作预测时和剧烈运动时具有较优的表现。
附图说明
[0017]图1为本专利技术实施例中一种基于注意力机制融合多流图神经网络的人体姿态预测方法的流程图；
[0018]图2为本专利技术实施例中一种基于注意力机制融合多流图神经网络的人体姿态预测方法中步骤S1：获取用于训练的人体关键关节的三维位置数据序列，根据预设的输入序列和输出序列的长度，将三维位置数据序列分割为所述输入序列和所述输出序列；根据所述输入序列构建图数据的流程图；
[0019]图3为本专利技术实施例中基于注意力机制融合多流图神经网络模型的结构示意图；
[0020]图4本专利技术实施例中一种基于注意力机制融合多流图神经网络的人体姿态预测方法中步骤S2：构建基于注意力机制融合多流图神经网络模型；将图数据输入基于注意力机制融合多流图神经网络模型进行训练，得到训练好的基于注意力机制融合多流图神经网络模型的流程图；
[0021]图5本专利技术实施例中一种基于注意力机制融合多流图神经网络中的注意力模块的结构示意图；
[0022]图6本专利技术实施例中一种基于注意力机制融合多流图神经网络的人体姿态预测方法中步骤S3：获取用于预测的人体关键关节的三维位置数据序列，构建图数据，输入训练好的基于注意力机制融合多流图神经网络模型，得到人体姿态的预测值的流程图；
[0023]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制融合多流图神经网络的人体姿态预测方法，其特征在于，包括：步骤S1：获取用于训练的人体关键关节的三维位置数据序列，根据预设的输入序列和输出序列的长度，将三维位置数据序列分割为所述输入序列和所述输出序列；根据所述输入序列构建图数据；步骤S2：构建基于注意力机制融合多流图神经网络模型；将所述图数据输入所述基于注意力机制融合多流图神经网络模型进行训练，得到训练好的所述基于注意力机制融合多流图神经网络模型；步骤S3：获取用于预测的人体关键关节的三维位置数据序列，构建所述图数据，输入训练好的所述基于注意力机制融合多流图神经网络模型，得到人体姿态的预测值。2.根据权利要求1所述的基于注意力机制融合多流图神经网络的人体姿态预测方法，其特征在于，所述步骤S1：获取用于训练的人体关键关节的三维位置数据序列，根据预设的输入序列和输出序列的长度，将三维位置数据序列分割为所述输入序列和所述输出序列；根据所述输入序列构建图数据，具体包括：步骤S11：获取用于训练的人体关键关节的三维位置的数据序列f
×
n
×
3，其中，f表示所述数据序列的帧数，n表示关节数量；步骤S12：将所述数据序列的前t帧数据作为所述输入序列，(f
‑
t)帧数据作为所述输出序列；其中，所述输入序列表示为t
×
n
×
3；所述输出序列表示为(f
‑
t)
×
n
×
3；步骤S13：根据所述输入序列t
×
n
×
3构建节点矩阵V以及邻接矩阵A，并由此构建全连接图G
all
＝(V,A
all
)、高自由度关节连接图G
mobile
＝(V,A
mobile
)和低自由度关节连接图G
stable
＝(V,A
stable
)；其中，A
all
表示全部关节间联系关系的全连接邻接矩阵，A
mobile
表示高自由度关节间联系关系的高自由度关节邻接矩阵，A
stable
表示低自由度关节间联系的低自由度关节邻接矩阵。3.根据权利要求1所述的基于注意力机制融合多流图神经网络的人体姿态预测方法，其特征在于，所述步骤S2：构建基于注意力机制融合多流图神经网络模型；将所述图数据输入所述基于注意力机制融合多流图神经网络模型进行训练，得到训练好的所述基于注意力机制融合多流图神经网络模型，具体包括：步骤S21：所述的基于注意力机制融合多流图神经网络采用编码器和解码器结构，其中，所述编码器包含多个编码模块；将所述图数据输入所述编码器进行特征提取，所述编码模块的输出如下述公式(4)所示：Out
i
＝Att
i
(GCN
all1
(G
all
),GCN
stable1
(G
stable
),GCN
mobile1
(G
mobile
)) (4)其中，第i个编码模块的输出Out
i
＝(G
all1
,G
stable1
,G
mobile1
)包含三个图数据；GCN(
·
)表示单个图神经网络层；Att
i
(
·
)表示第i个注意力模块；步骤S22：所述单个图神经网络层的输入为G＝(V,A)，输出为X，表示为如下公式(5):X＝ReLU(AVW+VU) (5)其中，W和U为可训练的权重矩阵，其大小为(t
×
3)
×
D，D为期望图神经网络层的输出的特征维数；步骤S23：所述注意力模块的输入为G1＝(V1,A
all
),G2＝(V2,A
stable
),G3＝(V3,A
mobile
)，输出为X...

【专利技术属性】
技术研发人员：袁丁，曹哲，魏晓东，尹继豪，张雪怡，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：