虚拟对象的面部渲染方法及点云特征提取模型的训练方法技术

本申请公开了一种虚拟对象的面部渲染方法及点云特征提取模型的训练方法，属于计算机技术领域。本申请通过在虚拟对象的面部点云数据的基础上，依次将虚拟对象的面部特征点从点云空间投影到规范空间，得到规范点云特征，再将面部特征点从规范空间投影到偏移空间，得到偏移点云特征，再将面部特征点从偏移空间投影到形变空间，得到形变点云特征，这样利用形变点云特征能够预测出来面部特征点的深度值和颜色向量，进而对面部区域中的每个像素点进行着色，得到虚拟对象最终的面部区域，在着色阶段只需要很低的计算开销，从而能够降低渲染开销、提升渲染速度、避免动态表情卡顿，优化游戏性能。性能。性能。

【技术实现步骤摘要】
虚拟对象的面部渲染方法及点云特征提取模型的训练方法


[0001]本申请涉及计算机
，特别涉及一种虚拟对象的面部渲染方法及点云特征提取模型的训练方法。

技术介绍

[0002]随着计算机技术的发展，用户在终端上能够随时打开游戏客户端进行游戏。在3D（3 Dimension，三维）游戏中，虚拟对象的面部表情在动态渲染过程中经常会出现卡顿，导致渲染失败。
[0003]这是由于在游戏中通常虚拟对象种类繁琐，且需要搭配头饰、面饰、特效等，变量因素较多，使得渲染阶段的计算量很高，即，虚拟对象的面部表情其渲染开销大、易卡顿，影响游戏性能。

技术实现思路

[0004]本申请实施例提供了一种虚拟对象的面部渲染方法及点云特征提取模型的训练方法，能够降低渲染开销、提升渲染速度、避免动态表情卡顿，优化游戏性能。
[0005]一方面，提供了一种虚拟对象的面部渲染方法，所述方法包括：
[0006]基于虚拟对象的面部点云数据，提取所述虚拟对象的面部特征点的规范点云特征，所述规范点云特征表征所述面部特征点与表情姿态无关的规范特征；
[0007]基于所述规范点云特征进行特征变换，得到所述面部特征点的偏移点云特征，所述偏移点云特征表征所述面部特征点在设定表情姿态下的偏移特征；
[0008]基于所述偏移点云特征进行加权变换，得到所述面部特征点的形变点云特征，所述形变点云特征表征所述面部特征点在所述设定表情姿态下与所述虚拟对象的面部外观资源进行适配的形变特征；
[0009]基于所述形变点云特征，对所述虚拟对象进行面部渲染，得到所述虚拟对象呈现所述设定表情姿态的面部区域。
[0010]一方面，提供了一种点云特征提取模型的训练方法，所述方法包括：
[0011]将样本对象的面部点云数据输入点云特征提取模型，得到所述样本对象的面部特征点的形变点云特征，所述形变点云特征表征所述面部特征点在设定表情姿态下与所述样本对象的面部外观资源进行适配的形变特征；
[0012]基于所述形变点云特征，对所述样本对象进行面部渲染，得到所述样本对象呈现所述设定表情姿态的预测面部图像；
[0013]基于所述预测面部图像和所述样本对象呈现设定表情姿态的参考面部图像，获取所述点云特征提取模型的训练损失值；
[0014]基于所述训练损失值，对所述点云特征提取模型进行训练。
[0015]一方面，提供了一种虚拟对象的面部渲染装置，所述装置包括：
[0016]特征提取模块，用于基于虚拟对象的面部点云数据，提取所述虚拟对象的面部特
征点的规范点云特征，所述规范点云特征表征所述面部特征点与表情姿态无关的规范特征；
[0017]特征变换模块，用于基于所述规范点云特征进行特征变换，得到所述面部特征点的偏移点云特征，所述偏移点云特征表征所述面部特征点在设定表情姿态下的偏移特征；
[0018]加权变换模块，用于基于所述偏移点云特征进行加权变换，得到所述面部特征点的形变点云特征，所述形变点云特征表征所述面部特征点在所述设定表情姿态下与所述虚拟对象的面部外观资源进行适配的形变特征；
[0019]面部渲染模块，用于基于所述形变点云特征，对所述虚拟对象进行面部渲染，得到所述虚拟对象呈现所述设定表情姿态的面部区域。
[0020]在一些实施例中，所述规范点云特征包括所述虚拟对象的多个面部特征点在规范空间中的规范点云坐标；
[0021]所述特征提取模块用于：
[0022]对所述多个面部特征点中的任一面部特征点，基于所述面部点云数据，确定所述面部特征点的原始点云坐标；
[0023]将所述原始点云坐标输入规范特征提取模型，通过所述规范特征提取模型对所述原始点云坐标进行变换，得到所述面部特征点的规范点云坐标，所述规范特征提取模型用于将面部特征点从点云空间投影到所述规范空间。
[0024]在一些实施例中，所述偏移点云特征包括所述虚拟对象的多个面部特征点在偏移空间中的偏移点云坐标；
[0025]所述特征变换模块包括：
[0026]扭曲子模块，用于对所述多个面部特征点中的任一面部特征点，将所述面部特征点的规范点云坐标输入偏移特征提取模型，通过所述偏移特征提取模型对所述规范点云坐标按照所述设定表情姿态进行扭曲，得到所述面部特征点的偏移点云坐标，所述偏移特征提取模型用于将面部特征点从所述规范空间投影到所述偏移空间。
[0027]在一些实施例中，所述扭曲子模块用于：
[0028]基于所述设定表情姿态关联的面部偏移指示信息，确定所述面部特征点的面部偏移量，所述面部偏移指示信息表征所述虚拟对象在所述设定表情姿态下的面部偏移情况；
[0029]基于所述面部特征点的面部偏移量，对所述面部特征点的规范点云坐标施加偏移，得到所述面部特征点的偏移点云坐标。
[0030]在一些实施例中，所述形变点云特征包括所述虚拟对象的多个面部特征点在形变空间中的形变点云坐标；
[0031]所述加权变换模块包括：
[0032]提取子模块，用于基于所述虚拟对象的面部外观资源，提取所述面部外观资源的姿态指示信息，所述姿态指示信息指示按照所述面部外观资源对所述偏移点云特征的形变系数；
[0033]形变子模块，用于对所述多个面部特征点中的任一面部特征点，将所述面部特征点的偏移点云坐标输入形变特征提取模型，通过所述形变特征提取模型对所述偏移点云坐标按照所述姿态指示信息进行形变，得到所述面部特征点的形变点云坐标，所述形变特征提取模型用于将面部特征点从所述偏移空间投影到所述形变空间。
[0034]在一些实施例中，所述姿态指示信息包括所述面部外观资源的姿态修正向量和表情修正向量；
[0035]所述提取子模块用于：
[0036]基于所述面部外观资源的表情动画系数，确定所述面部外观资源的附加姿态信息、表情偏移信息、混合形状信息和转换混合形状信息；
[0037]基于所述附加姿态信息和所述混合形状信息，提取所述面部外观资源的姿态修正向量；
[0038]基于所述表情偏移信息和所述转换混合形状信息，提取所述面部外观资源的表情修正向量。
[0039]在一些实施例中，所述形变子模块用于：
[0040]基于所述姿态修正向量和所述表情修正向量，对所述偏移点云坐标进行修正，得到修正点云坐标；
[0041]将所述表情偏移信息输入所述形变特征提取模型中的第一线性回归器，得到表情回归信息，所述第一线性回归器用于对表情偏移信息进行线性回归；
[0042]将所述修正点云坐标、所述表情回归信息、所述附加姿态信息和蒙皮权重系数输入所述形变特征提取模型中的第二线性回归器，得到所述形变点云坐标，所述第二线性回归器用于对所述修正点云坐标按照蒙皮权重系数进行加权。
[0043]在一些实施例中，所述面部渲染模块包括：
[0044]确定子模块，用于对所述面部区域中的任一像素点，确定深度缓冲区中待绘制到所述像素点的多个按本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟对象的面部渲染方法，其特征在于，所述方法包括：基于虚拟对象的面部点云数据，提取所述虚拟对象的面部特征点的规范点云特征，所述规范点云特征表征所述面部特征点与表情姿态无关的规范特征；基于所述规范点云特征进行特征变换，得到所述面部特征点的偏移点云特征，所述偏移点云特征表征所述面部特征点在设定表情姿态下的偏移特征；基于所述偏移点云特征进行加权变换，得到所述面部特征点的形变点云特征，所述形变点云特征表征所述面部特征点在所述设定表情姿态下与所述虚拟对象的面部外观资源进行适配的形变特征；基于所述形变点云特征，对所述虚拟对象进行面部渲染，得到所述虚拟对象呈现所述设定表情姿态的面部区域。2.根据权利要求1所述的方法，其特征在于，所述规范点云特征包括所述虚拟对象的多个面部特征点在规范空间中的规范点云坐标；所述基于虚拟对象的面部点云数据，提取所述虚拟对象的面部特征点的规范点云特征包括：对所述多个面部特征点中的任一面部特征点，基于所述面部点云数据，确定所述面部特征点的原始点云坐标；将所述原始点云坐标输入规范特征提取模型，通过所述规范特征提取模型对所述原始点云坐标进行变换，得到所述面部特征点的规范点云坐标，所述规范特征提取模型用于将面部特征点从点云空间投影到所述规范空间。3.根据权利要求2所述的方法，其特征在于，所述偏移点云特征包括所述虚拟对象的多个面部特征点在偏移空间中的偏移点云坐标；所述基于所述规范点云特征进行特征变换，得到所述面部特征点的偏移点云特征包括：对所述多个面部特征点中的任一面部特征点，将所述面部特征点的规范点云坐标输入偏移特征提取模型，通过所述偏移特征提取模型对所述规范点云坐标按照所述设定表情姿态进行扭曲，得到所述面部特征点的偏移点云坐标，所述偏移特征提取模型用于将面部特征点从所述规范空间投影到所述偏移空间。4.根据权利要求3所述的方法，其特征在于，所述对所述规范点云坐标按照所述设定表情姿态进行扭曲，得到所述面部特征点的偏移点云坐标包括：基于所述设定表情姿态关联的面部偏移指示信息，确定所述面部特征点的面部偏移量，所述面部偏移指示信息表征所述虚拟对象在所述设定表情姿态下的面部偏移情况；基于所述面部特征点的面部偏移量，对所述面部特征点的规范点云坐标施加偏移，得到所述面部特征点的偏移点云坐标。5.根据权利要求3或4所述的方法，其特征在于，所述形变点云特征包括所述虚拟对象的多个面部特征点在形变空间中的形变点云坐标；所述基于所述偏移点云特征进行加权变换，得到所述面部特征点的形变点云特征包括：基于所述虚拟对象的面部外观资源，提取所述面部外观资源的姿态指示信息，所述姿态指示信息指示按照所述面部外观资源对所述偏移点云特征的形变系数；
对所述多个面部特征点中的任一面部特征点，将所述面部特征点的偏移点云坐标输入形变特征提取模型，通过所述形变特征提取模型对所述偏移点云坐标按照所述姿态指示信息进行形变，得到所述面部特征点的形变点云坐标，所述形变特征提取模型用于将面部特征点从所述偏移空间投影到所述形变空间。6.根据权利要求5所述的方法，其特征在于，所述姿态指示信息包括所述面部外观资源的姿态修正向量和表情修正向量；所述基于所述虚拟对象的面部外观资源，提取所述面部外观资源的姿态指示信息包括：基于所述面部外观资源的表情动画系数，确定所述面部外观资源的附加姿态信息、表情偏移信息、混合形状信息和转换混合形状信息；基于所述附加姿态信息和所述混合形状信息，提取所述面部外观资源的姿态修正向量；基于所述表情偏移信息和所述转换混合形状信息，提取所述面部外观资源的表情修正向量。7.根据权利要求6所述的方法，其特征在于，所述对所述偏移点云坐标按照所述姿态指示信息进行形变，得到所述面部特征点的形变点云坐标包括：基于所述姿态修正向量和所述表情修正向量，对所述偏移点云坐标进行修正，得到修正点云坐标；将所述表情偏移信息输入所述形变特征提取模型中的第一线性回归器，得到表情回归信息，所述第一线性回归器用于对表情偏移信息进行线性回归；将所述修正点云坐标、所述表情回归信息、所述附加姿态信息和蒙皮权重系数输入所述形变特征提取模型中的第二线性回归器，得到所述形变点云坐标，所述第二线性回归器用于对所述修正点云坐标按照蒙皮权重系数进行加权。8.根据权利要求1所述的方法，其特征在于，所述基于所述形变点云特征，对所述虚拟对象进行面部渲染，得到所述虚拟对象呈现所述设定表情姿态的面部区域包括：对所述面部区域中的任一像素点，确定深度缓冲区中待绘制到所述像素点的多个按照深度值排序的面部特征点；基于所述形变点云特征，预测每个所述面部特征点的颜色向量、透明度系数和透射率系数；基于所述透明度系数和所述透射率系数，对所述多个按照深度值排序的面部特征点的颜色向量进行积分，得到所述像素点的像素值；基于所述像素值对所述像素点进行颜色写入，以在所述面部区域中对所述像素点完成着色。9.根据权利要求8所述的方法，其特征在于，所述基于所述形变点云特征，预测每个所述面部特征点的颜色向量包括：基于所述面部外观资源的反照率贴图，获取所述面部特征点的反照率向量；基于所述面部特征点在所述形变点云特征中的形变点云坐标，预测所述面部特征点的阴影向量；基于所述反照率向量和所述阴影向量，预测所述面部特征点的颜色向量。
10.根据权利要求9所述的方法，其特征在于，所述基于所述面部特征点在所述形变点云特征中的形变点云坐标，预测所述面部特征点的阴影向量包括：基于所述面部特征点在所述规范点云特征中的规范点云坐标和所述形变点云坐标，预测所述面部特征点的点法线向量；将所述点法线向量输入阴影特征提取模型，通过所述阴影特征提取模型对所述点法线向量进行变换，得到所述面部特征点的阴...

【专利技术属性】
技术研发人员：郑强，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：