实时人体姿态逆向运动学求解方法及装置制造方法及图纸

本发明专利技术涉及计算机动画动作捕捉技术领域，实施例具体公开一种实时人体姿态逆向运动学求解方法及装置。本申请通过对当前帧人体姿态图像进行3D关键点检测获得各个关节点在绝对坐标系下的3D坐标值，将其减去Hips关节点的坐标值，获得各个关节点相对于Hips关节点的3D位置坐标值，根据预设的标准骨骼长度获得各个关节点的标准化3D空间坐标，将其输入预先构建的逆向运动学神经网络模型获得各个关节点的预测6D旋转向量，再将其转换为各个关节点的四元数发送到三维渲染引擎的方法，实现了人体动作的深度流形求解，使在3D渲染引擎上的动画人物效果更加自然、逼真。

【技术实现步骤摘要】
实时人体姿态逆向运动学求解方法及装置
本专利技术涉及计算机动画动作捕捉
，具体涉及一种实时人体姿态逆向运动学求解方法及装置。
技术介绍
人体姿态逆向运动学求解需要根据关节点位置坐标计算旋转量（如采用四元数表示）来实时驱动动画人体骨骼，实现动画、电影、游戏行业中的诸多实时交互性场景。现有技术有基于骨骼关键点及其向量关系直接解析求解的方法，虽然求解速度快，但是仅仅考虑光点及其向量关系的限制，特定动作不太自然；还有传统逆向运动学迭代算法，由于需要迭代优化求解，手动设计能量函数，难以保证实时性，并且对于求解加的限制条件是手工设计的，预测出来的人体姿态往往不太自然；此外动捕技术的拟合求解过程，需要围绕关节点表皮的多个光点拟合旋转量，并不适合于仅仅有骨骼内部关节点坐标的情况；综上亟需克服传统方法实时性、稳定性、真实性等问题。
技术实现思路
有鉴于此，本申请提供一种实时人体姿态逆向运动学求解方法及装置，能够通过算法估计出的关键点坐标，实时计算出该关节点对应的旋转量（如采用四元数表示），以实时驱动3D引擎中的动画虚拟人体骨骼，解决或者本文档来自技高网...

【技术保护点】
1.一种实时人体姿态逆向运动学求解方法，其特征在于，包括：/nS11：对当前帧人体姿态图像进行3D关键点检测，获得当前帧各个关节点在绝对坐标系下的3D坐标值，所述关节点包括Hips关节点；/nS12：将当前帧各个关节点在绝对坐标系下的3D坐标值减去Hips关节点的坐标值，获得当前帧各个关节点相对于Hips关节点的3D位置坐标值；/nS13：根据预设的标准骨骼长度和当前帧各个关节点相对于Hips关节点的3D位置坐标值计算获得当前帧各个关节点的标准化3D空间坐标；/nS14：将当前帧各个关节点的标准化3D空间坐标输入预先构建的逆向运动学神经网络模型，获得当前帧各个关节点的预测6D旋转向量；/nS1...

【技术特征摘要】
1.一种实时人体姿态逆向运动学求解方法，其特征在于，包括：
S11：对当前帧人体姿态图像进行3D关键点检测，获得当前帧各个关节点在绝对坐标系下的3D坐标值，所述关节点包括Hips关节点；
S12：将当前帧各个关节点在绝对坐标系下的3D坐标值减去Hips关节点的坐标值，获得当前帧各个关节点相对于Hips关节点的3D位置坐标值；
S13：根据预设的标准骨骼长度和当前帧各个关节点相对于Hips关节点的3D位置坐标值计算获得当前帧各个关节点的标准化3D空间坐标；
S14：将当前帧各个关节点的标准化3D空间坐标输入预先构建的逆向运动学神经网络模型，获得当前帧各个关节点的预测6D旋转向量；
S15：将当前帧各个关节点的预测6D旋转向量转换为当前帧各个关节点的旋转矩阵，再使用scipy数学库将当前帧各个关节点的旋转矩阵转换为当前帧各个关节点的四元数；
S16：将当前帧各个关节点的四元数发送到三维渲染引擎，用于实时高帧率驱动动画人物。


2.根据权利要求1所述的实时人体姿态逆向运动学求解方法，其特征在于，所述S13中根据预设的标准骨骼长度和当前帧各个关节点相对于Hips关节点的3D位置坐标值计算获得当前帧各个关节点的标准化3D空间坐标的方法包括：
S131：根据当前帧各个关节点相对于Hips关节点的3D位置坐标值，通过子节点减去父节点，得到每个骨骼的向量，对每个骨骼的向量进行标准化，得到每个骨骼的方向向量；
S132：对每个骨骼的方向向量乘以对应的预设的标准骨骼长度，得到标准化的骨骼向量；
S133：通过父节点的3D空间坐标加上子节点的标准化的骨骼向量，得到子节点的3D空间坐标，照此方法计算，得到该帧所有关节点的标准化的3D空间坐标。


3.根据权利要求1所述的实时人体姿态逆向运动学求解方法，其特征在于，所述S14中逆向运动学神经网络模型的构建方法包括：
S21：获取训练数据集和验证数据集；
S22：构建逆向运动学神经网络模型；
S23：采用训练数据集和验证数据集训练逆向运动学神经网络模型。


4.根据权利要求3所述的实时人体姿态逆向运动学求解方法，其特征在于，所述S21获取训练数据集和验证数据集的方法包括：
S211：通过动捕设备采集人体骨骼三维关节点的数据，包括每一帧人体姿态图像中每个关节点的指数、旋转轴和父节点；
S212：获取每一帧人体姿态图像中每个关节点的欧拉角数据，使用scipy数学工具库将欧拉角数据转换为旋转矩阵R，获得每一帧人体姿态图像中所有关节点的旋转矩阵R；
S213：在每一帧人体姿态图像中将Hips关节点的3D空间坐标置为(0，0，0)，已知所有关节点的旋转矩阵R及其子节点的初始偏移T，从Hips关节点开始，通过FK函数将父节点的3D空间坐标加上旋转矩阵R乘以初始偏移T的积，依次计算每个子节点的3D空间坐标值；
S214：定义标准骨骼偏移，获取所有非Hips关节点的标准偏移；
S215：根据定义的标准骨骼偏移，求2范数得到每个标准骨骼长度；
S216：根据S213获得的每个子节点的3D空间坐标值和S214获得的每个标准骨骼长度计算子节点的3D空间坐标，依次累加，得到所有关节点的标准化3D空间坐标，照此方式计算，获得所有帧每个关节点的3D空间坐标值；
S217：将所有帧每个关节点的3D空间坐标值作为数据集的输入特征X；
S218：将每一帧所有关节点的旋转矩阵R，保留前两个列向量，将其压缩为一个6维向量，作为6D旋转向量，将所有6D旋转向量作为数据集的输出标签Y；
S219：将包含输入特征X和输出标签Y的数据集按照预设比例划分为训练数据集和验证数据集。


5.根据权利要求3所述的实时人体姿态逆向运动学求解方法，其特征在于，所述S22构
建的逆向运动学神经网络模型包括：5个含参数的全连接层，其公式为：，其中矩阵和是模型参数；4个不含参数的激活
函数，其公式为：，其中；3个残差网络，其函数为。


6.根据权利要求3所述的实时人体姿态逆向运动学求解方法，其特征在于，所述S23采用训练数...

【专利技术属性】
技术研发人员：唐浩，何雨龙，
申请(专利权)人：成都市谛视科技有限公司，
类型：发明
国别省市：四川;51