骨骼动画顶点矫正方法及模型的学习方法、装置和设备制造方法及图纸

本申请提供一种骨骼动画顶点矫正方法及模型的学习方法、装置和设备，包括采集不同人的包括T型姿态的各种动作的全身影像和姿态数据获得模型训练数据：标准3D网格模型的姿态数据P和P

【技术实现步骤摘要】
骨骼动画顶点矫正方法及模型的学习方法、装置和设备


[0001]本申请涉及角色蒙皮制作
，特别涉及一种骨骼动画顶点矫正模型的学习方法、骨骼动画顶点矫正模型的学习装置、骨骼动画顶点矫正方法及计算机设备。

技术介绍

[0002]目前和AR智能技术正在飞速发展，互联网用户的内容摄取需求越来丰富，针对动画人物，AR等内容的需求越加强烈，在骨骼动画中，人物角色完成骨骼绑定后，需要对角色骨骼到网格顶点的映射刷权重，使得动画角色在运动过程中表面形成合理的形变，这就是角色蒙皮。传统的骨骼动画蒙皮的制作完全依赖于人工，不同的角色不同的部位需要手动的赋予不同的权重，这个过程被称为刷权重过程。
[0003]在角色蒙皮的过程中，对于不同的人物角色和不同的部位，动画师需要通过反复的观察角色运动过程中表面的形变而给于不同的权重，这个工作量不仅十分的繁杂，而且同时也难以保证最后的输出动画跟预期的表现一致，如线形混合蒙皮模型中的坍塌、关节连接处皮肤表面干瘪等问题。造成动画工程师反复进行角色蒙皮权重的重新设定，极大地降低了动画的质量和输出效率，使得动画的成本高居不下。当前已有的通过IK约束的方法解决皮肤塌陷问题，通过人体组织动力学求解权重，但是这些方法存在工作量大、计算时间长、结果不够精确、最终效果依赖于动画师经验等问题而不能得到广泛的应用。

技术实现思路

[0004]本申请的目的是提供一种骨骼动画顶点矫正模型的学习方法、骨骼动画顶点矫正模型的学习装置、骨骼动画顶点矫正方法及计算机设备，能够对人物角色在运动过程中原有的皮肤表面产生的不合理的形变进行补偿修正，避免人物角色在运动过程中某些姿态下出现皮肤表面塌陷，扭曲等问题。其具体方案如下：本申请提供一种骨骼动画顶点矫正模型的学习方法，包括：S11：采集不同人的包括T型姿态的各种动作的全身影像和姿态数据，生成具有N个顶点的标准3D网格模型和T型姿态3D网格模型，获取标准3D网格模型的姿态数据轴角形式P、标准3D网格模型的姿态数据旋转矩阵形式P
m
、标准3D网格模型的N个顶点坐标Gr、T型姿态3D网格模型的N个顶点坐标T，N为正整数；S12：将T型姿态3D网格模型进行关节骨骼绑定，得到T型姿态3D网格模型的n个关节点坐标J，n为正整数；S13：构建关节位置预测模型Joint_net，关节位置预测模型的输出维度与T型姿态3D模型的n个关节点坐标维度相同，将T型姿态3D网格模型的N个顶点坐标T作为关节位置预测模型的输入、T型姿态3D网格模型的n个关节点坐标J作为训练关节位置预测模型的标签对关节位置预测模型进行训练，得到训练好的关节位置预测模型；S14：构建姿态回归网络模型Pose_net，姿态回归网络模型的输出维度与标准3D网格模型的N个顶点坐标维度相同，姿态回归网络模型的输入为标准3D网格模型的姿态数据
旋转矩阵形式P
m
，结合标准蒙皮函数、训练好的关节位置预测模型Joint_net和姿态回归网络模型Pose_net构建骨骼动画顶点矫正模型，将标准3D网格模型的姿态数据轴角形式P、标准3D网格模型的姿态数据旋转矩阵形式P
m
和T型姿态3D网格模型的N个顶点坐标T作为骨骼动画顶点矫正模型的输入、标准3D网格模型的N个顶点坐标Gr作为训练骨骼动画顶点矫正模型的标签对骨骼动画顶点矫正模型进行训练，得到训练好的骨骼动画顶点矫正模型。
[0005]可选的，所述S11包括：S111：通过摄像头矩阵采集不同人的包括T型姿态的各种动作的全身影像，同时通过动捕设备同步采集姿态数据；S112：根据不同人的包括T型姿态的各种动作的全身影像，通过立体视觉匹配方法建立3D点云模型，结合几何约束和图像投影约束方法对得到的3D点云模型进行注册对齐生成拥有固定顶点数N的标准3D网格模型和T型姿态3D网格模型；S113：以人的骨盆点为坐标原点建立坐标系，对标准3D网格模型做数据归一化后得到标准3D网格模型的N个顶点坐标Gr，对T型姿态3D网格模型做数据归一化后得到T型姿态3D网格模型N个顶点坐标T；S114：将采集的姿态数据与标准3D网格模型建立一一匹配关系，得到标准3D网格模型的姿态数据轴角形式P，将标准3D网格模型的姿态数据轴角形式P转换为旋转矩阵形式P
m
。
[0006]可选的，所述S13包括：S131：构建关节位置预测模型Joint_net，关节位置预测模型的输入数据维度为N*3，输出数据维度为n*3；S132：将T型姿态3D网格模型的N个顶点坐标T转为N*3的张量作为关节位置预测模型的输入，将T型姿态3D网格模型的n个关节点坐标J转为n*3的张量作为训练关节位置预测模型的标签对关节位置预测模型进行训练；S133：采用均方损失函数优化关节位置预测模型，关节位置预测模型的输出为J
pre
, ，均方损失计算公式为：，其中loss表示均方损失，J[i]表示第i个关节点的真实坐标构成的向量，J
pre
[i]表示关节位置预测模型预测输出的第i个关节点的坐标构成的向量，最终得到训练好的关节位置预测模型J=Joint_net(T)。
[0007]可选的，所述S14包括：S141：构建姿态回归网络模型Pose_net，姿态回归网络模型的输入数据维度为n*3*3，输出数据维度为N*3；S142：结合标准蒙皮函数、训练好的关节位置预测模型Joint_net和姿态回归网络模型Pose_net构建骨骼动画顶点矫正模型，其中V表示骨骼动画顶点矫正模型预测输出的顶点坐标的集合，V=[v0, v1…
, v
N
‑1]，v
i
表示第i个顶点的坐标向量，LBS表示线形蒙皮函数，T表示T型姿态3D网格模型的顶点坐标，P、P
m
分别表示标准3D网格模型的姿态数据轴角形式和旋转矩阵形式，Pose_net(P
m
)表示对于每一个姿态P
m
预测一个顶点矫正值，Joint_net(T)表示对于每个T型姿态预测出该人T型姿态下的n个关节点坐标，W表示线形蒙
皮函数的权重，P*表示T型姿态的姿态数据，设置W为可导参数、Joint_net为不可导参数；S143：将T型姿态3D网格模型的N个顶点坐标T转为张量T
in
、标准3D网格模型的姿态数据P转为张量P
in
、P
m
转为张量P
min
作为骨骼动画顶点矫正模型的输入、标准3D网格模型的N个顶点坐标Gr作为训练骨骼动画顶点矫正模型的标签对骨骼动画顶点矫正模型进行训练；S144：采用包括计算标准3D网格模型顶点坐标差的损失和骨骼动画顶点矫正模型的权重W的损失的损失函数优化骨骼动画顶点矫正模型，计算标准3D网格模型顶点坐标差的损失的均方损失函数为：，其中loss_v表示计算顶点坐标差的损失值，G[i]表示标准3D模型第i个顶点的坐标向量，V[i]表示骨骼动画顶点矫正模型预测的第i个顶点的坐标向量；计算骨骼动画顶点矫正模型的权重W的损失本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种骨骼动画顶点矫正模型的学习方法，其特征在于，包括：S11：采集不同人的包括T型姿态的各种动作的全身影像和姿态数据，生成具有N个顶点的标准3D网格模型和T型姿态3D网格模型，获取标准3D网格模型的姿态数据轴角形式P、标准3D网格模型的姿态数据旋转矩阵形式P
m
、标准3D网格模型的N个顶点坐标Gr、T型姿态3D网格模型的N个顶点坐标T，N为正整数；S12：将T型姿态3D网格模型进行关节骨骼绑定，得到T型姿态3D网格模型的n个关节点坐标J，n为正整数；S13：构建关节位置预测模型Joint_net，关节位置预测模型的输出维度与T型姿态3D模型的n个关节点坐标维度相同，将T型姿态3D网格模型的N个顶点坐标T作为关节位置预测模型的输入、T型姿态3D网格模型的n个关节点坐标J作为训练关节位置预测模型的标签对关节位置预测模型进行训练，得到训练好的关节位置预测模型；S14：构建姿态回归网络模型Pose_net，姿态回归网络模型的输出维度与标准3D网格模型的N个顶点坐标维度相同，姿态回归网络模型的输入为标准3D网格模型的姿态数据旋转矩阵形式P
m
，结合标准蒙皮函数、训练好的关节位置预测模型Joint_net和姿态回归网络模型Pose_net构建骨骼动画顶点矫正模型，将标准3D网格模型的姿态数据轴角形式P、标准3D网格模型的姿态数据旋转矩阵形式P
m
和T型姿态3D网格模型的N个顶点坐标T作为骨骼动画顶点矫正模型的输入、标准3D网格模型的N个顶点坐标Gr作为训练骨骼动画顶点矫正模型的标签对骨骼动画顶点矫正模型进行训练，得到训练好的骨骼动画顶点矫正模型。2.根据权利要求1所述的骨骼动画顶点矫正模型的学习方法，其特征在于，所述S11包括：S111：通过摄像头矩阵采集不同人的包括T型姿态的各种动作的全身影像，同时通过动捕设备同步采集姿态数据；S112：根据不同人的包括T型姿态的各种动作的全身影像，通过立体视觉匹配方法建立3D点云模型，结合几何约束和图像投影约束方法对得到的3D点云模型进行注册对齐生成拥有固定顶点数N的标准3D网格模型和T型姿态3D网格模型；S113：以人的骨盆点为坐标原点建立坐标系，对标准3D网格模型做数据归一化后得到标准3D网格模型的N个顶点坐标Gr，对T型姿态3D网格模型做数据归一化后得到T型姿态3D网格模型N个顶点坐标T；S114：将采集的姿态数据与标准3D网格模型建立一一匹配关系，得到标准3D网格模型的姿态数据轴角形式P，将标准3D网格模型的姿态数据轴角形式P转换为旋转矩阵形式P
m
。3.根据权利要求1所述的骨骼动画顶点矫正模型的学习方法，其特征在于，所述S13包括：S131：构建关节位置预测模型Joint_net，关节位置预测模型的输入数据维度为N*3，输出数据维度为n*3；S132：将T型姿态3D网格模型的N个顶点坐标T转为N*3的张量作为关节位置预测模型的输入，将T型姿态3D网格模型的n个关节点坐标J转为n*3的张量作为训练关节位置预测模型的标签对关节位置预测模型进行训练；S133：采用均方损失函数优化关节位置预测模型，关节位置预测模型的输出为J
pre
, ，
均方损失计算公式为：，其中loss表示均方损失，J[i]表示第i个关节点的真实坐标构成的向量，J
pre
[i]表示关节位置预测模型预测输出的第i个关节点的坐标构成的向量，最终得到训练好的关节位置预测模型J=Joint_net(T)。4.根据权利要求1所述的所述的骨骼动画顶点矫正模型的学习方法，其特征在于，所述S14包括：S141：构建姿态回归网络模型Pose_net，姿态回归网络模型的输入数据维度为n*3*3，输出数据维度为N*3；S142：结合标准蒙皮函数、训练好的关节位置预测模型Joint_net和姿态回归网络模型Pose_net构建骨骼动画顶点矫正模型，其中V表示骨骼动画顶点矫正模型预测输出的顶点坐标的集合，V=[v0, v1…
, v
N
‑1]，v
i
表示第i个顶点的坐标向量，LBS表示线形蒙皮函数，T表示T型姿态3D网格模型的顶点坐标，P、P
m
分别表示标准3D网格模型的姿态数据轴角形式和旋转矩阵形式，Pose_net(P
m
)表示对于每一个姿态P
m
预测一个顶点矫正值，Joint_net(T)表示对于每个T型姿态预测出该人T型姿态下的n个关节点坐标，W表示线形蒙皮函数的权重，P*表示T型姿态的姿态数据，设置W为可导参数、Joint_net为不可导参数；S143：将T型姿态3D网格模型的N个顶点坐标T转为张量T
in
、标准3D网格模型的姿态数据P转为张量P
in
、P
m
转为张量P
min
作为骨骼动画顶点矫正模型的输入、标准3D网格模型的N个顶点坐标Gr作为训练骨骼动画顶点矫正模型的标签对骨骼动画顶点矫正模型进行训练；S144：采用包括计算标准3D网格模型顶点坐标差的损失和骨骼动画顶点矫正模型的权重W的损失的损失函数优化骨骼动画顶点矫正模型，计算标准3D网格模型顶点坐标差的损失的均方损失函数为：，其中loss_v表示计算顶点坐标差的损失值，G[i]表示标准3D模型第i个顶点的坐标向量，V[i]表示骨骼动画顶点矫正模型预测的第i个顶点的坐标向量；计算骨骼动画顶点矫正模型的权重W的损失的损失函数为，其中loss_w表示蒙皮权重损失值，w
i,j
表示蒙皮函数中第j个关节对第i个顶点的作用权重，合并后的损失函数为：，其中loss表示骨骼动画顶点矫正模型的总损失值，表示3D网格模型顶点坐标差的损失所占得权重，最终得到训练好的骨骼动画顶点矫正模型。5.一种骨骼动画顶点矫正方法，其特征在于，包括：获取人体的姿态数据和T型姿态3D网格模型；将人体的姿态数据和T型姿态3D网格模型输入训练好的骨骼动画顶点矫正模型，得到该姿态下人体的标准3D网格模型的N个顶点坐标；其中骨骼动画顶点矫正模型采用权利要求1
‑
4中任一项所述的骨骼动画顶点矫正模型的学习方法进行训练。
6.一种骨骼动画顶点矫正模型的学习装置，其特征在于，包括：训练数据获取模块(31)，用于采集不同人的包括T型姿态的各种动作的全身影像和姿态数据，生成具有N个顶点的标准3D网格模型和T型姿态3D网格模型，获取标准3D网格模型的姿态数据轴角形式P、标准3D网...

【专利技术属性】
技术研发人员：杨涛，唐浩，
申请(专利权)人：成都市谛视科技有限公司，
类型：发明
国别省市：