一种基于虚拟人物模型的人体运动姿态数据集生成方法技术

本发明专利技术提供了一种基于虚拟人物模型的人体运动姿态数据集生成方法，使用虚拟人物模型运动代替真实人体运动作为数据源，解决人体运动姿态数据集采集受到真实人体运动限制的问题，包括步骤：步骤1、人物模型播放符合人体解剖学的骨骼动画；步骤2、根据三维场景使用反向运动学算法修正模型动作；步骤3、设置虚拟IMU，记录虚拟人物模型动作序列数据；步骤4、将动作序列中虚拟坐标系数据转换为现实人体所在坐标系数据；步骤5、对现实人体所在坐标系数据进行时间平滑和数据整合，得到人体运动姿态数据集。本发明专利技术具有数据集采集难度低、不受环境干扰、采集精度高的优点。采集精度高的优点。采集精度高的优点。

【技术实现步骤摘要】
一种基于虚拟人物模型的人体运动姿态数据集生成方法


[0001]本专利技术属于惯性动作捕捉和人体动作姿态预测技术，具体涉及基于虚拟人物模型的人体运动姿态数据集生成技术。

技术介绍

[0002]人体运动姿态估计是指利用机械装置、光学、声学、电磁学或者惯性传感器等设备获取人体运动数据并将运动姿态重现的技术。依托于此技术的人体运动姿态与位置估算技术的开发是以传感器学、运动力学、导航、人体结构学和物理学等多学科理论研究为基础，结合体感网络、虚拟现实等多学科跨领域交叉问题，具有较高的科研价值和商业价值。
[0003]人体姿态预测网络作为深度学习在人体运动姿态估计领域的应用，可以根据人体骨骼动作序列旋转姿态、空间位置等信息实现无传感器绑定骨骼姿态预测、人体行为活动识别、用户身份认证等功能。获取用于训练人体姿态预测网络的人体动作数据是此领域研究的难点之一，如何获取拥有广泛动作特征的人体运动姿态数据集在人体运动姿态预测领域成为一个值得研究的课题。虚拟人物模型通过骨骼动画的方式驱动人物模型各骨骼动作，可以在一定程度上模拟出需要的现实人体动作。虚拟人物模型的骨骼动作可以替代真实人体动作成为人体运动姿态数据集的动作源，在降低人体运动姿态数据集的采集成本的同时提升了所采集运动姿态数据集的采集精度。
[0004]目前的人体运动姿态数据集采集方法通过传感器对真实的人体运动进行采集。使用传感器对真实人体运动进行采集受到采集设备和采集场地的限制，无法大规模地进行数据采集；另一方面，受限于动作采集人员的体能和技术水平，难以进行长时间复杂的动作采集。特别地，当需要采集攀岩、滑雪等户外才能进行的动作或者存在长距离位移的动作时，使用传统真实数据采集方法需要进行额外的适配增加了动作采集成本。由于单一采集人员存在运动习惯，使用单一真实人体进行采集所容易出现大量重复动作，因此需要不同采集人员进行动作采集，限制了所采数据集的动作广度。另外的，传统动作数据采集方法需要在采集前确定人体运动坐标系，在不同坐标系下使用此数据需要额外的坐标系转换，在无法知晓采集坐标时，数据坐标系对齐困难。最后，传统真实数据采集方法容易受到光照、电磁波、障碍物等因素的影响导致采集动作出现帧率下降、动作畸变等问题。综上，目前的人体运动数据集采集方法存在成本高、受采集人员动作限制、动作广度低、数据坐标对齐困难、易受干扰等问题。

技术实现思路

[0005]本专利技术所要解决的技术问题是，为减少人体运动姿态预测网络训练所需的真实人体动作数据规模，增强骨骼姿态预测网络适应性，提供一种从虚拟人物动作中提取人体姿态预测网络所需训练数据的方法。
[0006]本专利技术为解决上述技术问题所采用的技术方案是，一种基于虚拟人物动作数据的人体运动姿态数据集生成方法，包括步骤：
[0007]步骤1、从播放的骨骼动画中获取符合人体解剖学的人物模型；
[0008]步骤2、根据三维场景使用反向运动学算法修正虚拟人物模型动作；
[0009]步骤3、设置虚拟惯性测量单元，记录虚拟人物模型动作序列；
[0010]步骤4、将虚拟人物模型动作序列中虚拟坐标系数据转换为现实人体所在坐标系数据；
[0011]步骤5、对现实人体所在坐标系数据进行时间平滑和数据整合得到人体运动姿态数据集；
[0012]本发虚拟人物模型代替真实人体作为数据源，有效解决了传统动作数据采集方法受到采集人员动作限制、采集过程易受干扰的问题；并使用了反向运动学骨骼动作修正手段，使得人物模型骨骼动作在符合人体解剖学的前提下，能够根据虚拟场景环境的不同做出不同的修正，解决了传统动作数据采集方法采集数据动作广度不足的问题。
[0013]进一步的，本专利技术给出了一种虚拟现实坐标转换方法，通过将虚拟坐标系标准动作和现实人体所在坐标系标准动作进行对齐实现虚拟坐标系数据到任意现实人体所在坐标系数据的转换，解决了数据坐标灵活对齐的问题。
[0014]本专利技术的有益效果是，解决了人体动作姿态采集过程中成本高、受采集人员动作限制、动作广度低、数据坐标对齐困难、易受干扰等问题，具有良好的泛化能力，便于工程实现。
附图说明
[0015]图1为本专利技术的算法结构图；
[0016]图2为人体骨骼树模型；
[0017]图3为反向运动学修正人物模型动作流程图；
[0018]图4为虚拟坐标系数据转现实人体所在坐标系数据结构图；
[0019]图5为旋转四元数原理示意图。
具体实施方式
[0020]为了使本专利技术的目的、技术方案及效果更加清楚易懂，下面结合附图和实施例，对本专利技术的技术方案作进一步详细描述，以下的具体实施例用于解释本专利技术，不用于限制本专利技术范围。
[0021]如图1所示，为本专利技术的算法结构图，其中包括骨骼动画池、反向运动学修正、虚拟人物模型、虚拟坐标系映射现实人体所在坐标系等模块。
[0022]根据图1，归纳为5个主要部分：
[0023]步骤1、人物模型播放符合人体解剖学的骨骼动画A(i)；
[0024]步骤2、根据三维场景使用反向运动学算法修正模型动作；
[0025]步骤3、设置虚拟IMU，记录虚拟人物模型动作序列数据M(t)；
[0026]步骤4、将动作序列M(t)中虚拟坐标系数据转换为现实人体所在坐标系数据；
[0027]步骤5、对现实人体所在坐标系数据进行时间平滑和数据整合，得到人体运动姿态数据集Data。
[0028]详细流程如下所示：
[0029]步骤1：制作符合人体解剖学的骨骼动画，并在虚拟人物模型上播放。所述的符合人体解剖学的人物模型骨骼动画A(i)采用FBX格式存储，其描述的模型由相互连接的骨骼组成，如图2所示，每个骨骼都有着0个或多个子骨骼，各个骨骼之间的连接关系形成一棵骨骼树，通过改变骨骼相对父骨骼的旋转和位置来为模型生成动画。在向骨骼动画池加入所加入骨骼动画前，需验证骨骼动画符合人体解剖学约束：
[0030]使用基于自身坐标系旋转描述的欧拉角比基于静态坐标系旋转描述的欧拉角更适合描述人体解剖学约束，将骨骼基于静态坐标系旋转的欧拉角转换为基于自身坐标系旋转的欧拉角：
[0031][0032]其中roll
dyn
(k)、pitch
dyn
(k)、yaw
dyn
(k)分别表示所旋转的第k个骨骼以父骨骼姿态为初始姿态分别绕自身坐标系X轴、Y轴、Z轴所旋转的角度，roll
static
(k)、pitch
static
(k)、yaw
static
(k)分别表示所旋转的第k个骨骼以父骨骼姿态为初始姿态绕父骨骼坐标系X轴、Y轴、Z轴所旋转的角度。
[0033]需要对roll
dyn
(k)、pitch
dyn
(k)、yaw
dyn
(k)进行角度限制验证：
[0034][0035]其中roll
max...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟人物模型的人体运动姿态数据集生成方法，包括以下步骤：步骤1、从播放的骨骼动画中获取符合人体解剖学的人物模型；步骤2、根据三维场景使用反向运动学算法修正虚拟人物模型动作；步骤3、设置虚拟惯性测量单元，记录虚拟人物模型动作序列；步骤4、将虚拟人物模型动作序列中虚拟坐标系数据转换为现实人体所在坐标系数据；步骤5、对现实人体所在坐标系数据进行时间平滑和数据整合得到人体运动姿态数据集。2.根据权利要求1所述方法，其特征在于，步骤2具体包括：首先，将虚拟人物模型的四肢骨骼动作建模为存在旋转约束的骨骼链和关节集合；然后，将骨骼动画作为虚拟人物模型的预动作，计算当前骨骼链与虚拟场景的重叠点，如存在重叠点则将重叠点中距离根关节最近的点作为目标点；之后，以目标点为目标并以末端关节为末端效应器执行以下步骤：(1)设置骨骼链中末端骨骼为当前旋转骨骼；(2)设置关节集合中距当前旋转骨骼最近的根关节为当前关节；(3)计算目标点经当前关节到末端效应器的旋转角度Eular
bone
；(4)对当前旋转骨骼进行修正：判断旋转角度Eular
bone
是否满足当前旋转骨骼的骨骼旋转限制，如是，则对当前旋转骨骼应用旋转角度Eular
bone
进行修正，如否，对当前旋转骨骼应用在骨骼旋转限制内最接近旋转角度Eular
bone
的最大角度进行修正；(5)判断当前旋转骨骼是否为根骨骼，如否，则将当前旋转骨骼设置为其父骨骼并返回步骤(2)，如是，则判断末端效应器与目标点的欧氏距离是否满足误差限制，如不满足误差限制则将当前旋转骨骼设置为末端骨骼并返回步骤(2)，如满足误差限制则完成对四肢骨骼动作的修正，将修正后的四肢骨骼动作与预动作按骨骼分层进行混合得到修正后的虚拟人物模型动作。3.根据权利要求1所述方法，其特征在于，步骤3具体包括：首先，将虚拟人物模型的头部、躯干、左大臂、右大臂、左小臂、右小臂、左大腿、右大腿、左小腿和右小腿设置数据记录点，作为虚拟惯性测量单元附着点；然后，在虚拟人物模型运动过程中以时间间隔T记录采样时刻的虚拟人物模型动作数据形成虚拟人物模型动作序列，每一个虚拟人物模型动作数据由虚拟坐标系加速度和虚拟坐标系旋转四元数进行数据拼接得到。4.根据权利要求3所述方法，其特征在于，步骤4具体包括：4
‑
1)将旋转四元数从虚拟坐标系转换到现实人体所在的坐标系：首先，建立虚拟坐标系在现实人体所在坐标系中的投影。选择现实世界标准人体的正前方为Y轴正方向、头顶方向为Z轴正方向、左手指向方向为X轴正方向为投影坐标系，该坐标系的旋转、坐标和虚拟坐标系中旋转、坐标相同。然后，计算投影坐标系在现实人体所在坐标系中的旋转四元数q
trans
。对于一个虚拟坐标系下的四元数将该旋转四元数分解为旋转轴和旋转角的形式：θ
virtual
＝2arccos(w
virtual
)
其中，w
virtual
表示四元数的w轴分量，x
virtual
表示四元数的x轴分量，y
virtual
表示四元数的y轴分量，z
virtual
表示四元数的z轴分量，(x
virtual
,y
virtual
,z
virtual
)表示四元数在虚拟坐标系中的旋转轴，θ
virtual
表示四元数绕该旋转轴的旋转角，如图5所示。将虚拟坐标系中的旋转轴(x
virtual
,y
virtual
,z
...

【专利技术属性】
技术研发人员：王章静，刘陈浩，赵铖鑫，吴泽源，仇隆，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：