基于多层次特征提取的多样化人体运动预测系统及方法技术方案

本发明专利技术提供了一种基于多层次特征提取的多样化人体运动预测系统及方法，涉及计算机视觉及图像处理技术领域。本发明专利技术采用基于Transformer和GCN的深度学习模块，采用多层的Transformer模块进一步优化运动样本，根据人体关节点分组情况，每一层上的Transformer独立生成器负责计算一个或多个人体关节点的特征图。这样的设计让每个Transformer模块只专注于身体特定部位的特征信息，自注意力机制自行捕捉特定部位的关键点之间的联系与区别。此外，图卷积网络能够有效捕获节点之间的特征信息。两者的组合网络，能够带来更优的提升效果。能够带来更优的提升效果。能够带来更优的提升效果。

【技术实现步骤摘要】
基于多层次特征提取的多样化人体运动预测系统及方法


[0001]本专利技术属于计算机视觉及图像处理
，涉及一种基于多层次特征提取的多样化人体运动预测系统及方法。

技术介绍

[0002]人体动作预测，就是根据过去一段时间序列的3D人体姿势信息，来预测人类的未来运动。这个领域作为理解和模拟人类行为的方法，在计算机视觉领域有着重要的地位。人体动作预测在人机交互，动画创作和自动驾驶领域起到非常重要的作用。由于人体动作具有复杂性和主观性，人的行为动作具有多种潜在的可能性，此外我们很难获得未来人体动作意图的先验知识，这些因素给人体动作预测带来了很大的挑战。
[0003]人体动作预测主要有确定性动作预测和多样化动作预测这样两种研究路线。确定性动作预测仅仅预测未来最有可能的未来动作，而不再考虑其未来动作的多样性。这项研究在短期预测中有着非常出色的表现，但在长期预测中，由于人体动作受主观意识的控制可以呈现多样性，确定性的动作预测很难获得理想的效果。多样化的人体动作预测旨在预测多种未来可能的动作。相比之下，在长期预测中多样化动作预测更具备挑战性。在很多关乎安全的重要应用，多样性的动作预测有着很大的研究价值。例如，在自动驾驶的应用中，需要留意的行人动作的多种可能性，可以通过多样性动作预测的方法计算行人可能的活动范围，从而保障行人的安全。
[0004]大部分现有的工作集中于使用深层生成模型来有效地学习数据分布，例如使用变分自动编码器(VAEs)和对抗神经网络来模拟多模态数据分布。以往这些工作难以在多样化与准确性之间同时取得很高的水准，事实上这两个指标之间很容易产生相互的影响和制约，例如准确性在提升的同时可能会导致多样性的下降。

技术实现思路

[0005]针对现有技术存在的上述问题，本专利技术提出一种基于多层次特征提取的多样化人体运动预测系统及方法，所述的多样化人体运动预测系统可以进一步同时提升多样化动作预测的多样性和准确率，优化多样性和预测精度之间存在一些相互约束，在整体上可以维持精度和多样性都处于一个较高的水平。
[0006]本专利技术的技术方案为：
[0007]一种基于多层次特征提取的多样化人体运动预测系统，包括预处理模块、训练模块和运动预测模块。
[0008]所述预处理模块是从Human3.6M的训练数据中，以原始帧速率(50Hz)提取出2.5秒的3D人体运动序列，划分25个3D人体运动序列前部的帧(0.5秒)的姿态数据作为过去时间序列，并划分100个3D人体运动序列后部的帧(2秒)的姿态数据作为预测未来运动姿态的标签，然后采用高斯分布的方式随机生成两组潜变量。
[0009]在Human3.6M公共数据集中，人体运动的位置数据是以17个人体3D关节点坐标形
式存在，分别是：根部(Hip)、左膝盖(Left Knee)、左脚踝(Left Ankle)、左脚尖(Left Foot)、右膝盖(Right Knee)、右脚踝(Right Ankle)、右脚尖(Right Foot)、脊柱(Spine)、颈部(Neck)、头部(Head)、左肩膀(Left Shoulder)、左肘(Left Elbow)、左手腕(Left Wrist)、左手(Left Hand)、右肩膀(Right Shoulder)、右肘(Right Elbow)和右手腕(Right Wrist)。
[0010]所述训练模块将预处理模块中处理好的过去时间序列的姿态数据和潜变量作为多样化人体运动预测深度神经网络的输入。所述多样化人体运动预测深度神经网络主要由三个生成器组成，分别是初始化生成器G1、二阶段生成器G2和双层Transformer生成器G3。其中，初始化生成器G1由多个图卷积层组成的图卷积模块构成，用于对过去的运动序列进行第一阶段的特征提取，并生成初始特征图X1。初始特征图X1与两组潜变量之和进行拼接，拼接后的特征图输入到二阶段生成器G2，G2由多个图卷积层构建，输出二阶段特征图X2。将17个关节点分为上半身和下半身两组，上半身关节点包括：脊柱(Spine)、颈部(Neck)、头部(Head)、左肩膀(Left Shoulder)、左肘(Left Elbow)、左手腕(Left Wrist)、左手(Left Hand)、右肩膀(Right Shoulder)、右肘(Right Elbow)和右手腕(Right Wrist)；下半身关节点包括：根部(Hip)、左膝盖(Left Knee)、左脚踝(Left Ankle)、左脚尖(Left Foot)、右膝盖(Right Knee)、右脚踝(Right Ankle)和右脚尖(Right Foot)。二阶段特征图X2输入到双层Transformer生成器G3，在双层Transformer生成器G3中，每层采用独立的生成器G3来提取对应关节点组中的个性化特征，每层独立生成器计算完之后，只会更新对应的关节点组的特征图，并将更新后的特征图进入下一层计算。最后一层输出的与二阶段特征图X2相加以合成最终的未来运动序列。多样化人体运动预测深度神经网络的输出是包含N种可能性的完整未来运动样本，其中N的数量可以自由设置。损失函数方面采用了定义的重建误差函数只是要求其中一个未来运动能够尽可能接近于Y
g
，Y
g
表示作为标签的训练数据中划分100个3D人体运动序列后部的帧(2秒)的姿态数据；重建的损失函数定义为：其中损失函数采用欧几里得距离作为距离度量D；k是一个变量，表示生成的N种可能的未来运动样本之一。为了更好地限制其他预测动作，针对其他的预测运动也要施加约束，并提出了基于距离阈值搜索相似的过去运动样本，一种基于距离阈值搜索类似过去运动样本，并且将拥有一定相似度过去运动的未来运动标签统计到作为伪标签，其中Q表示为伪标签的数量。其他预测运动的损失表示为：为了提高运动预测的多样性，重新制定了增强的多样性损失，使其成为每个身体部位特定的损失。增强的多样性损失可以表示为：总损失函数定义为：其中λ
d
、λ
r
和λ
mm
分别代表与损失函数相应的超参数。
[0011]所述运动预测模块用于加载训练模块训练完的多样化人体动作预测模型，将所需要过去时间序列的3D人体姿态数据输入到训练完的多样化人体动作预测模型网络模型中，
得到N种可能的未来一段时间序列的人体运动样本。
[0012]采用上述系统进行多样化人体运动预测的方法，包括以下步骤：
[0013]步骤1：对3D姿态估计的数据集进行预处理，获取作为训练数据的过去运动序列和坐标训练标签的未来运动序列，并通过高斯分布生成潜变量。
[0014]步骤2：将过去时间序列的3D人体姿态信息与潜变量共同输入到多样化人体运动预测深度神经网络，最后输出N种可能的未来运动序列。
[0015]步骤3：加载步骤2训练后保存的模型，将一段过去时间序列的姿态输入到训练的网络中，得到多种未来序列内的运动姿态数据。
[0016]进一步地，所述步骤1具体包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多层次特征提取的多样化人体运动预测系统，其特征在于，该系统包括预处理模块、训练模块和运动预测模块；所述预处理模块是从Human3.6M的训练数据中，以原始帧速率提取出2.5秒的3D人体运动序列，划分25个3D人体运动序列前部的帧的姿态数据作为过去时间序列，并划分100个3D人体运动序列后部的帧的姿态数据作为预测未来运动姿态的标签，然后采用高斯分布的方式随机生成两组潜变量；在Human3.6M公共数据集中，人体运动的位置数据是以17个人体3D关节点坐标形式存在，分别是：根部、左膝盖、左脚踝、左脚尖、右膝盖、右脚踝、右脚尖、脊柱、颈部、头部、左肩膀、左肘、左手腕、左手、右肩膀、右肘和右手腕；所述训练模块将预处理模块中处理好的过去时间序列的姿态数据和潜变量作为多样化人体运动预测深度神经网络的输入；所述多样化人体运动预测深度神经网络由初始化生成器G1、二阶段生成器G2和双层Transformer生成器G3组成；其中，初始化生成器G1由多个图卷积层组成的图卷积模块构成，用于对过去的运动序列进行第一阶段的特征提取，并生成初始特征图X1；初始特征图X1与两组潜变量之和进行拼接，拼接后的特征图输入到二阶段生成器G2，G2由多个图卷积层构建，输出二阶段特征图X2；将17个关节点分为上半身和下半身两组；二阶段特征图X2输入到双层Transformer生成器G3，在双层Transformer生成器G3中，每层采用独立的生成器G3来提取对应关节点组中的个性化特征，每层独立生成器计算完之后，只会更新对应的关节点组的特征图，并将更新后的特征图进入下一层计算；最后一层输出的与二阶段特征图X2相加以合成最终的未来运动序列；多样化人体运动预测深度神经网络的输出是包含N种可能性的完整未来运动样本，其中N的数量可以自由设置；损失函数采用了定义的重建误差函数只是要求其中一个未来运动能够尽可能接近于Y
g
，Y
g
表示作为标签的训练数据中划分100个3D人体运动序列后部的帧的姿态数据；重建的损失函数定义为：其中损失函数采用欧几里得距离作为距离度量D；k是一个变量，表示生成的N种可能的未来运动样本之一；并提出了基于距离阈值搜索相似的过去运动样本，一种基于距离阈值搜索类似过去运动样本，并且将拥有一定相似度过去运动的未来运动标签统计到作为伪标签，其中Q表示为伪标签的数量；其他预测运动的损失表示为：为了提高运动预测的多样性，重新制定了增强的多样性损失，使其成为每个身体部位特定的损失，增强的多样性损失表示为：总损失函数定义为：总损失函数定义为：其中λ
d
、λ
r
和λ
mm
分别代表与损失函数相应的超参数；所述运动预测模块用于加载训练模块训练完的多样化人体动作预测模型，将所需要过去时间序列的3D人体姿态数据输入到训练完的多样化人体动作预测模型网络模型中，得到N种可能的未来一段时间序列的人体运动样本。2.根据权利要求1所述的一种基于多层次特征提取的多样化人体运动预测系统，其特
征在于，上半身关节点包括：脊柱、颈部、头部、左肩膀、左肘、左手腕、左手、右肩膀、右肘和右手腕；下半身关节点包括：根部、左膝盖、左脚踝、左脚尖、右膝盖、右脚踝和右脚尖。3.一种采用如权利要求1或2所述的系统进行多样化人体运动预测的方法，其特征在于，该方法包括以下步骤：步骤1：对3D姿态估计的数据集进行预处理，获取作为训练数据的过去运动序列和坐标训练标签的未来运动序列，并通过高斯分布生成潜变量；步骤2：将过去时间序列的3D人体姿态信息与潜变量共同输入到多样化人体运动预测深度神经网络，最后输出N种可能的未来运动序列；步骤3：加载步骤2训练后保存的模型，将一段过去时间序列的姿态输入到训练的网络中，得到多种未来序列内的运...

【专利技术属性】
技术研发人员：周东生，陈麟伟，樊万姝，易鹏飞，刘瑞，候亚庆，张强，
申请(专利权)人：大连大学，
类型：发明
国别省市：