一种风格化人脸纹理建模方法及系统、设备、存储介质技术方案

本发明专利技术公开了一种风格化人脸纹理建模方法及系统、设备、存储介质，包括用真实人脸图像训练真实人脸域SIW

【技术实现步骤摘要】
一种风格化人脸纹理建模方法及系统、设备、存储介质


[0001]本专利技术属于视觉
，特别涉及一种风格化人脸纹理建模方法及系统、设备、存储介质。

技术介绍

[0002]风格化的人脸表达在日常生活中正受到人们越来越多的青睐。特别是在元宇宙等新型数字生活空间，人们喜欢用卡通、漫画等各种不同风格的三维数字虚拟形象来包装自己。随着图像风格迁移技术的飞速发展和普及，人们已经可以方便得从一些互联网或移动端应用中获得自己风格化的人脸图像。这为风格化人脸三维建模提供了一种经济便利的素材。然而，单张风格化人脸图像中的人脸只有部分可见，如何从中重建出完整的人脸纹理模型是一个很大的难题。

技术实现思路

[0003]针对上述的问题，本专利技术提供一种风格化人脸纹理建模方法及系统、设备、存储介质，其方法包括：
[0004]使用真实人脸图像训练真实人脸域SIW
‑
StyleGAN模型；
[0005]使用风格化人脸图像微调所述真实人脸域SIW
‑
StyleGAN模型，获得风格化人脸域SIW
‑
StyleGAN模型；
[0006]对所述风格化人脸域SIW
‑
StyleGAN模型进行逆映射训练，获得风格化人脸域SIW
‑
StyleGAN逆映射模型；
[0007]将风格化人脸图像输入所述风格化人脸域SIW
‑
StyleGAN逆映射模型中，获得风格化人脸图像的编码；
[0008]基于人脸三维模型的三角形网格，获得多视角人脸语义分割图；
[0009]将所述多视角人脸语义分割图和所述风格化人脸图像的编码输入所述风格化人脸域SIW
‑
StyleGAN模型，获得多视角风格化人脸图像集；
[0010]逐一拟合所述多视角风格化人脸图像集中的风格化人脸图像，获得对应视角的纹理贴图集合；
[0011]将所述纹理贴图集合融合得到最终的纹理贴图。
[0012]优选的是，所述SIW
‑
StyleGAN模型包括一个映射网络、18个仿射变换网络和一个合成网络，所述映射网络为一8层感知机，用于将满足正太分布的初始隐空间映射到中间隐空间，所述中间隐空间包括18个子隐空间，分别连接所述合成网络中的18个卷积层，所述仿射变换网络从隐空间中学习出18组缩放系数分别用于调制所述合成网络中18个卷积层的卷积核权重，所述合成网络通过接受一张语义分割图作为输入完成对人脸图像的生成。
[0013]优选的是，基于神经编码器方法pSp训练获得所述风格化人脸域SIW
‑
StyleGAN逆映射模型。
[0014]优选的是，所述语义分割图是一张尺寸为32x32xc的独热编码图像，它的像素按照
背景、人脸五官语义信息被划分成c个类别，设定某一像素的类别值为c，则所述像素的第c个通道值设为1，其余通道值设为0。
[0015]优选的是，所述人脸三维模型包括一三角形网格和一纹理贴图，所述三角形网格由一组三维空间中的三角形通过共享的边或顶点连接而成，用于表示人脸表面的三维几何形状，所述纹理贴图是一张RGB图像，存储了所述人脸三维模型的纹理信息，所述三角形网格的每个顶点均与所述纹理贴图平面上的一二维坐标相对应，基于所述二维坐标，在所述纹理贴图上进行像素插值获得所述三角形网格对应所述顶点的颜色值。
[0016]优选的是，基于人脸三维模型的三角形网格，获得多视角人脸语义分割图包括：
[0017]对所述三角形网格的顶点按照所述风格化人脸域SIW
‑
StyleGAN模型设定的人脸语义分割类别进行着色；
[0018]定义视角集合，每个视角对应一个由欧拉角定义的旋转矩阵；
[0019]基于所述三角形网格中相机内参矩阵、外参矩阵的平移向量和旋转矩阵集合，将着色后的所述三角形网格渲染成多视角图像；
[0020]基于所述语义分割图的像素值，将所述多视角图像转换成所述风格化人脸域SIW
‑
StyleGAN模型能接受的独热编码的人脸语义分割图。
[0021]优选的是，逐一拟合所述多视角风格化人脸图像集中的风格化人脸图像，获得对应视角的纹理贴图集合中：
[0022]每次拟合的目标函数为：
[0023][0024]其中，U为在人脸区域的图像像素集合；u
i
为其中一像素；为人脸三维模型在视角下通过可微分渲染得到的图像，为生成的对应视角的风格化人脸图像。
[0025]本专利技术实施例提供一种风格化人脸纹理建模的系统，包括：
[0026]训练模块，用于使用真实人脸图像训练真实人脸域SIW
‑
StyleGAN模型；
[0027]调整模块，用于使用风格化人脸图像微调所述真实人脸域SIW
‑
StyleGAN模型，获得风格化人脸域SIW
‑
StyleGAN模型；
[0028]逆映射模块，用于对所述风格化人脸域SIW
‑
StyleGAN模型进行逆映射训练，获得风格化人脸域SIW
‑
StyleGAN逆映射模型；
[0029]编码模块，用于将风格化人脸图像输入所述风格化人脸域SIW
‑
StyleGAN逆映射模型中，获得风格化人脸图像的编码；
[0030]语义分割图模块，用于基于人脸三维模型的三角形网格，获得多视角人脸语义分割图；
[0031]获得模块，用于将所述多视角人脸语义分割图和所述风格化人脸图像的编码输入所述风格化人脸域SIW
‑
StyleGAN模型，获得多视角风格化人脸图像集；
[0032]拟合模块，用于逐一拟合所述多视角风格化人脸图像集中的风格化人脸图像，获得对应视角的纹理贴图集合；
[0033]融合模块，用于将所述纹理贴图集合融合得到最终的纹理贴图。
[0034]本专利技术实施例提供的一种设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有程序，当所述程序被所述处理单元执行时，使得所述处理单元执行上述所述的方法。
[0035]本专利技术实施例提供的一种计算机可读存储介质，其存储有可由设备执行的计算机程序，当所述程序在所述设备上运行时，使得所述设备执行上述所述的方法。
[0036]与现有技术相比，本专利技术的有益效果为：
[0037]本专利技术利用SIW
‑
StyleGAN生成多视角的风格化人脸图像作为拟合目标，并用人脸三维模型依次拟合各个视角的风格化人脸图像，得到多张视角相关的纹理贴图，融合纹理贴图得到最终的风格化纹理贴图。
附图说明
[0038]图1是本专利技术实施例提供的风格化人脸纹理建模方法流程示意图。
具体实施方式
[0039]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种风格化人脸纹理建模方法，其特征在于，包括：使用真实人脸图像训练真实人脸域SIW
‑
StyleGAN模型；使用风格化人脸图像微调所述真实人脸域SIW
‑
StyleGAN模型，获得风格化人脸域SIW
‑
StyleGAN模型；对所述风格化人脸域SIW
‑
StyleGAN模型进行逆映射训练，获得风格化人脸域SIW
‑
StyleGAN逆映射模型；将风格化人脸图像输入所述风格化人脸域SIW
‑
StyleGAN逆映射模型中，获得风格化人脸图像的编码；基于人脸三维模型的三角形网格，获得多视角人脸语义分割图；将所述多视角人脸语义分割图和所述风格化人脸图像的编码输入所述风格化人脸域SIW
‑
StyleGAN模型，获得多视角风格化人脸图像集；逐一拟合所述多视角风格化人脸图像集中的风格化人脸图像，获得对应视角的纹理贴图集合；将所述纹理贴图集合融合得到最终的纹理贴图。2.如权利要求1所述的风格化人脸纹理建模方法，其特征在于，所述SIW
‑
StyleGAN模型包括一个映射网络、18个仿射变换网络和一个合成网络，所述映射网络为一8层感知机，用于将满足正太分布的初始隐空间映射到中间隐空间，所述中间隐空间包括18个子隐空间，分别连接所述合成网络中的18个卷积层，所述仿射变换网络从隐空间中学习出18组缩放系数分别用于调制所述合成网络中18个卷积层的卷积核权重，所述合成网络通过接受一张语义分割图作为输入完成对人脸图像的生成。3.如权利要求1所述的风格化人脸纹理建模方法，其特征在于，基于神经编码器方法pSp训练获得所述风格化人脸域SIW
‑
StyleGAN逆映射模型。4.如权利要求2所述的风格化人脸纹理建模方法，其特征在于，所述语义分割图是一张尺寸为32x32xC的独热编码图像，它的像素按照背景、人脸五官语义信息被划分成C个类别，设定某一像素的类别值为c，则所述像素的第c个通道值设为1，其余通道值设为0。5.如权利要求1所述的风格化人脸纹理建模方法，其特征在于，所述人脸三维模型包括一三角形网格和一纹理贴图，所述三角形网格由一组三维空间中的三角形通过共享的边或顶点连接而成，用于表示人脸表面的三维几何形状，所述纹理贴图是一张RGB图像，存储了所述人脸三维模型的纹理信息，所述三角形网格的每个顶点均与所述纹理贴图平面上的一二维坐标相对应，基于所述二维坐标，在所述纹理贴图上进行像素插值获得所述三角形网格对应所述顶点的颜色值。6.如权利要求5所述的风格化人脸纹...

【专利技术属性】
技术研发人员：李冬平，楼建文，黄彪，
申请(专利权)人：杭州相芯科技有限公司，
类型：发明
国别省市：