一种基于时空交互注意力机制的人体动作预测方法及系统技术方案

本发明专利技术属于计算机视觉技术领域，尤其涉及一种基于时空交互注意力机制的人体动作预测方法及系统。方法包括：获取人体历史运动数据集并进行预处理，得到历史运动序列，将其输入至基于时空交互注意力机制的Transformer模型中，首先利用特征提取分支进行时间特征和空间特征的提取，之后利用交互注意力机制对提取到的特征进行交互，最后通过联合交互后的时间特征和空间特征得到人体运动序列预测结果。本发明专利技术通过交互注意力机制学习3D人体运动空间和时间特征的一致性以及交互性信息，可以在长时间建模方面产生更真实的3D人体运动。

【技术实现步骤摘要】

本专利技术属于计算机视觉，尤其涉及一种基于时空交互注意力机制的人体动作预测方法及系统。

技术介绍

1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。

2、人体运动预测是指基于现有的运动数据和特定条件，推测出未来的运动轨迹或姿态。这一过程涉及利用计算机视觉、深度学习、物理仿真等技术，从过去的运动模式中提取特征，并预测人物下一步或一系列连续动作的可能性。人体运动预测广泛应用于多个领域。在体育训练中，它可以帮助教练和运动员分析动作的合理性，并优化训练计划。在人机交互中，通过预测用户的动作，设备能够提前做出反应，提高互动的自然性和流畅性。自动驾驶和机器人领域，通过预测行人或其他物体的运动轨迹，系统可以提前规划路径，避免碰撞。在虚拟现实（vr）和增强现实（ar）中，人体运动预测使虚拟人物的动作更加逼真，提高用户的沉浸感。此外，医疗康复领域通过预测患者的运动，能够帮助制定个性化的康复计划，辅助康复训练。

3、深度学习方法在人体运动预测任务中具有显著的优势，提升了预测的精度、灵活性和应用范围。首先，深度学习能够自动从本文档来自技高网...

【技术保护点】

1.一种基于时空交互注意力机制的人体动作预测方法，其特征在于，包括：

2.如权利要求1所述的一种基于时空交互注意力机制的人体动作预测方法，其特征在于，所述基于时空交互注意力机制的Transformer模型的处理过程包括：使用N层基于Transformer注意力机制对时空特征进行提取，将空间特征和时间特征分别区分为两部分特征信息标志和特征块，将空间分支中的特征信息标志与时间分支中的特征信息标志进行维度对齐后经投影得到查询向量Q，在空间特征信息标志和时间特征块之间执行交叉转换得到键向量K和值向量V；查询向量Q与键向量K以及值向量V相乘后，与维度对齐后的空间分支中的特征信息标志进行...

【技术特征摘要】

1.一种基于时空交互注意力机制的人体动作预测方法，其特征在于，包括：

2.如权利要求1所述的一种基于时空交互注意力机制的人体动作预测方法，其特征在于，所述基于时空交互注意力机制的transformer模型的处理过程包括：使用n层基于transformer注意力机制对时空特征进行提取，将空间特征和时间特征分别区分为两部分特征信息标志和特征块，将空间分支中的特征信息标志与时间分支中的特征信息标志进行维度对齐后经投影得到查询向量q，在空间特征信息标志和时间特征块之间执行交叉转换得到键向量k和值向量v；查询向量q与键向量k以及值向量v相乘后，与维度对齐后的空间分支中的特征信息标志进行拼接；完成时间交互特征之后，拼接后的特征经反投影后再与空间特征块进行拼接，由此得到信息返还之后的特征；时空交互后的具有一致性的空间特征。

3.如权利要求1所述的一种基于时空交互注意力机制的人体动作预测方法，其特征在于，利用所述时间特征提取分支进行时间特征提取，包括：利用transformer中的自注意力机制，通过考虑同一关节点在不同时间帧之间的相关性来更新其特征表示；在自注意力机制的计算过程中，引入掩码矩阵以防止未来信息的泄露。

4.如权利要求1所述的一种基于时空交互注意力机制的人体动作预测方法，其特征在于，利用所述空间特征提取分支进行空间特征提取，包括：给定一个人体...

【专利技术属性】
技术研发人员：王琳琳，陶体伟，张超，贠涵，冯培原，韩云飞，赵之光，
申请(专利权)人：泰山学院，
类型：发明
国别省市：