三维模型的构建方法技术

本申请公开了一种三维模型的构建方法

【技术实现步骤摘要】
三维模型的构建方法、三维构建模型的训练方法及装置


[0001]本申请实施例涉及人工智能
，特别涉及一种三维模型的构建方法
、
三维构建模型的训练方法及装置
。

技术介绍

[0002]随着人工智能技术的发展，神经网络模型可被用于三维模型的构建场景中，诸如三维全身模型
、
三维头部模型
、
三维脸部模型等构建场景
。
[0003]以三维头部模型为例，相关技术针对现实生活，通过神经网络模型学习面部姿势
、
光照和表情控制，以实现三维头部模型的构建
。
然而，在构建游戏角色的三维头部模型的情况下，由于游戏角色的面部表情夸张
、
特效多，因此相关技术训练得到的神经网络模型难以结合游戏特效，进行三维头部模型的夸张表情渲染
。

技术实现思路

[0004]本申请实施例提供了一种三维模型的构建方法
、
三维构建模型的训练方法及装置，能够提高三维头部模型的生成灵活性
。
所述技术方案包括如下内容
。
[0005]根据本申请实施例的一个方面，提供了一种三维模型的构建方法，所述方法包括：获取输入头部图像的初始三维头部模型，所述初始三维头部模型具有所述输入头部图像对应的头部姿势和面部表情；在形变空间中对所述初始三维头部模型进行点采样，得到形变点集，所述形变点集包括所述初始三维头部模型在所述形变空间中的多个形变点，所述形变点是待形变的点；获取所述形变点集对应的规范点集，所述规范点集中的规范点是指所述形变点被形变至规范空间中所对应的点；基于所述规范点集，构建所述输入头部图像对应的规范三维头部模型；对于所述规范点集中的各个规范点，基于所述规范点的三维位置和单位方向，预测得到所述规范点的预期颜色值；根据所述各个规范点的预期颜色值，对所述规范三维头部模型进行渲染，得到所述输入头部图像对应的最终三维头部模型
。
[0006]根据本申请实施例的一个方面，提供了一种三维构建模型的训练方法，所述方法包括：获取样本头部图像的初始三维头部模型，所述初始三维头部模型具有所述样本头部图像对应的头部姿势和面部表情；在形变空间中对所述初始三维头部模型进行点采样，得到形变点集，所述形变点集包括所述初始三维头部模型在所述形变空间中的多个形变点，所述形变点是待形变的点；通过三维构建模型获取所述形变点集对应的规范点集，所述规范点集中的规范点
是指所述形变点被形变至规范空间中所对应的点；通过所述三维构建模型基于所述头部姿势
、
所述面部表情和所述规范点的三维位置，预测得到所述规范点的预测占用率，所述预测占用率用于预测表示所述规范点的编码复杂程度；对于所述规范点集中的各个规范点，通过所述三维构建模型基于所述规范点的三维位置和单位方向，预测得到所述规范点的预期颜色值；基于所述各个规范点的预测占用率和预期颜色值，对所述三维构建模型进行训练，得到训练后的三维构建模型，所述训练后的三维构建模型用于构建并渲染得到输入头部图像的最终三维头部模型
。
[0007]根据本申请实施例的一个方面，提供了一种三维模型的构建装置，所述装置包括：初始模型获取模块，用于获取输入头部图像的初始三维头部模型，所述初始三维头部模型具有所述输入头部图像对应的头部姿势和面部表情；形变点集获取模块，用于在形变空间中对所述初始三维头部模型进行点采样，得到形变点集，所述形变点集包括所述初始三维头部模型在所述形变空间中的多个形变点，所述形变点是待形变的点；规范点集获取模块，用于获取所述形变点集对应的规范点集，所述规范点集中的规范点是指所述形变点被形变至规范空间中所对应的点；规范模型构建模块，用于基于所述规范点集，构建所述输入头部图像对应的规范三维头部模型；颜色值预测模块，用于对于所述规范点集中的各个规范点，基于所述规范点的三维位置和单位方向，预测得到所述规范点的预期颜色值；最终模型获取模块，用于根据所述各个规范点的预期颜色值，对所述规范三维头部模型进行渲染，得到所述输入头部图像对应的最终三维头部模型
。
[0008]根据本申请实施例的一个方面，提供了一种三维构建模型的训练装置，所述装置包括：初始模型获取模块，用于获取样本头部图像的初始三维头部模型，所述初始三维头部模型具有所述样本头部图像对应的头部姿势和面部表情；形变点集获取模块，用于在形变空间中对所述初始三维头部模型进行点采样，得到形变点集，所述形变点集包括所述初始三维头部模型在所述形变空间中的多个形变点，所述形变点是待形变的点；规范点集获取模块，用于通过三维构建模型获取所述形变点集对应的规范点集，所述规范点集中的规范点是指所述形变点被形变至规范空间中所对应的点；占用率预测模块，用于通过所述三维构建模型基于所述头部姿势
、
所述面部表情和所述规范点的三维位置，预测得到所述规范点的预测占用率，所述预测占用率用于预测表示所述规范点的编码复杂程度；颜色值预测模块，用于对于所述规范点集中的各个规范点，通过所述三维构建模型基于所述规范点的三维位置和单位方向，预测得到所述规范点的预期颜色值；构建模型训练模块，用于基于所述各个规范点的预测占用率和预期颜色值，对所述三维构建模型进行训练，得到训练后的三维构建模型，所述训练后的三维构建模型用于
构建并渲染得到输入头部图像的最终三维头部模型
。
[0009]根据本申请实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述三维模型的构建方法，或者实现上述三维构建模型的训练方法
。
[0010]根据本申请实施例的一个方面，提供了一种计算机可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述三维模型的构建方法，或者实现上述三维构建模型的训练方法
。
[0011]根据本申请实施例的一个方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中
。
计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述三维模型的构建方法，或者执行上述三维构建模型的训练方法
。
[0012]本申请实施例提供的技术方案可以包括如下有益效果
。
[0013]通过基于输入头部图像，构建具有输入头部图像对应的头部姿势和面部表情的初始三维头部模型，再将该初始三维头部模型形变至规范空间，得到规范三维头部模型，再结合预期颜色值对该规范三维头部模型进行渲染，即可得到头部姿势和面部表情完全可控的最终三维头部模型，也即通过调整输入头部图像即可灵活调整最终三维头部模型的头部姿势和面部表情，从而提高了三维头部模型的生成灵活性
。
附图说明
[0014]为了更清楚地说明本申请实施例中的技术方案，下面将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种三维模型的构建方法，其特征在于，所述方法包括：获取输入头部图像的初始三维头部模型，所述初始三维头部模型具有所述输入头部图像对应的头部姿势和面部表情；在形变空间中对所述初始三维头部模型进行点采样，得到形变点集，所述形变点集包括所述初始三维头部模型在所述形变空间中的多个形变点，所述形变点是待形变的点；获取所述形变点集对应的规范点集，所述规范点集中的规范点是指所述形变点被形变至规范空间中所对应的点；基于所述规范点集，构建所述输入头部图像对应的规范三维头部模型；对于所述规范点集中的各个规范点，基于所述规范点的三维位置和单位方向，预测得到所述规范点的预期颜色值；根据所述各个规范点的预期颜色值，对所述规范三维头部模型进行渲染，得到所述输入头部图像对应的最终三维头部模型
。2.
根据权利要求1所述的方法，其特征在于，所述在形变空间中对所述初始三维头部模型进行点采样，得到形变点集，包括：获取所述初始三维头部模型的表面上各个点的部位标签，所述部位标签与所述初始三维头部模型的不同部位对应的骨骼相关；根据所述部位标签对所述各个点进行划分，得到多个点集，不同的点集对应不同的部位标签；对于各个所述部位标签，按照所述部位标签对应的指定采样率，在所述形变空间中对所述部位标签对应的点集进行点采样，得到所述部位标签对应的形变点；对各个所述部位标签对应的形变点进行组合，得到所述形变点集
。3.
根据权利要求2所述的方法，其特征在于，所述获取所述初始三维头部模型的表面上各个点的部位标签，包括：获取所述各个点分别对应的网格，所述网格用于拼接成所述初始三维头部模型的表面；对于各个所述点，获取所述点对应的网格的部位标签；将所述点对应的网格的部位标签确定为所述点的部位标签
。4.
根据权利要求1所述的方法，其特征在于，所述获取所述形变点集对应的规范点集，包括：对于所述形变点集中的各个形变点，获取所述形变点在所述规范空间中对应的至少一个候选点；获取所述至少一个候选点的预测占用率，所述预测占用率用于预测表示所述候选点的编码复杂程度；根据所述预测占用率，从所述至少一个候选点中选择出所述形变点对应的规范点；对所述各个形变点对应的规范点进行组合，得到所述规范点集
。5.
根据权利要求4所述的方法，其特征在于，所述获取所述形变点在所述规范空间中对应的至少一个候选点，包括：获取所述候选点对应的蒙皮权重，所述蒙皮权重用于指示所述候选点对应的网格与骨骼之间的关联程度；
根据所述蒙皮权重和骨骼转换关系，构建所述形变点和所述候选点之间的形变表达式；其中，骨骼转换关系用于指示所述初始三维头部模型的各个骨骼的转换方式；在第一迭代条件的约束下，通过所述形变表达式查询得到所述形变点对应的至少一个候选点
。6.
根据权利要求5所述的方法，其特征在于，所述获取所述候选点对应的蒙皮权重，包括：基于所述规范空间和所述形变空间之间的联合数的逆变换矩阵，以及头发
、
耳朵和面部各自对应的骨骼数量，构建所述规范空间对应的蒙皮权重场；其中，所述蒙皮权重场用于指示各个所述候选点的蒙皮权重，所述逆变换矩阵用于指示所述候选点在所述规范空间中的三维位置与在所述形变空间中的位姿之间的转换关系；基于所述候选点的三维位置，从所述蒙皮权重场中确定出所述候选点对应的蒙皮权重
。7.
根据权利要求1所述的方法，其特征在于，所述基于所述规范点的三维位置和单位方向，预测得到所述规范点的预期颜色值，包括：基于所述规范点的三维位置和单位方向，预测得到所述规范点对应的体密度和初始颜色值；基于所述体密度
、
所述初始颜色值，以及相机射线，预测得到所述规范点的预期颜色值；其中，所述相机射线是指相机原点沿着所述单位方向穿过所述规范点的射线
。8.
根据权利要求1所述的方法，其特征在于，所述获取输入头部图像的初始三维头部模型，包括：对所述输入头部图像进行姿势扫描，得到所述头部姿势和所述面部表情；基于所述头部姿势和所述面部表情，以及形状参数，构建得到所述初始三维头部模型；其中，所述形状参数用于控制所述初始三维头部模型的形状
。9.
一种三维构建模型的训练方法，其特征在于，所述方法包括：获取样本头部图像的初始三维头部模型，所述初始三维头部模型具有所述样本头部图像对应的头部姿势和面部表情；在形变空间中对所述初始三维头部模型进行点采样，得到形变点集，所述形变点集包括所述初始三维头部模型在所述形变空间中的多个形变点，所述形变点是待形变的点；通过三维构建模型获取所述形变点集对应的规范点集，所述规范点集中的规范点是指所述形变点被形变至规范空间中所对应的点；通过所述三维构建模型基于所述头部姿势
、
所述面部表情和所述规范点的三维位置，预测得到所述规范点的预测占用率，所述预测占用率用于预测表示所述规范点的编码复杂程度；对于所述规范点集中的各个规范点，通过所述三维构建模型基于所述规范点的三维位置和单位方向，预测得到所述规范点的预期颜色值；基于所述各个规范点的预测占用率和预期颜色值，对所述三维构建模型进行训练，得到训练后的三维构建模型，所述训练后的三维构建模型用于构建并渲染得到输入头部图像的最终三维头部模型
。10.
根据权利要求9所述的方法，其特征在于，所述在形变空间中对所述初始三维头部
模型进行点采样，得到形变点集，包括：获取所述初始三维头部模型的表面上各个点的部位标签，所述部位标签与所述初始三维头部模型的不同部位对应的骨骼相关；根据所述部位标签对所述各个点进行划分，得到多个点集，不同的点集对应不同的部位标签；对于各个所述部位标签，按照所述部位标签对应的指定采样率，在所述形变空间中对所述部位标签对应的点集进行点采样，得到所述部位标签对应的形变点；对各个所述部位标签对应的形变点进行组合，得到所述形变点集
。11.
根据权利要求
10
所述的方法，其特征在于，所述获取所述初始三维头部模型的表面上各个点的部位标签，包括：获取所述各个点分别对应的网格，所述网格用于拼接成所述初始三维头部模型的表面；对于各个所述点，获取所述点对应的网格的部位标签；...

【专利技术属性】
技术研发人员：郑强，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：