【技术实现步骤摘要】
一种结合神经纹理的可操控3D人脸重建方法及系统
[0001]本专利技术涉及3D人脸重建
，具体涉及一种结合神经纹理的可操控 3D人脸重建方法及系统。
技术介绍
[0002]3D人脸重建是一个非常重要的计算机视觉任务，得到了广泛研究和应用。 数字化身生成包含众多技术环节，包括人脸重建、身体重建、声音重建等等， 其中人脸重建的发展较为成熟，人脸重建任务的重点，除了制作外形逼真的 3D模型之外，还包括非刚性运动的参数化建模，以控制和模拟面部的复杂表 情。市面已有的方法包括，借助采集系统(包括单目相机、深度相机、相机阵 列等)完成3D人脸模型的自动化、半自动化重建，但需要人工介入进行所谓 的RIG操作，也即骨骼/控制点绑定，以便于在后续的3D处理和渲染软件中 通过线性蒙皮算法(简称LBS)，进行参数化控制，整个过程还无法实现全自 动化，因而限制了该服务的产能；还有一些基于统计的AI模型，例如BFM、 FLAME、FaceScape等，通过构建大规模人脸3D扫描数据，训练了可用的 3DMM模型，可以通过单张或多张图片进行参数估计，可以实现人脸的自动 化3D建模，但是一方面，重建后渲染输出的逼真度有限，另一方面，这些 AI化的参数与主流的渲染引擎，例如U3D、UE4无法实现兼容，难以被程序 化自动操控。
技术实现思路
[0003]为此，本专利技术提供一种结合神经纹理的可操控3D人脸重建方法及系统， 以解决现有3D人脸重建存在的无法与主流的渲染引擎兼容、渲染输出的逼真 度有限、无法实现全自动化的问题。>[0004]为了实现上述目的，本专利技术提供如下技术方案：
[0005]根据本专利技术实施例的第一方面，提出了一种结合神经纹理的可操控3D人 脸重建方法，所述方法包括：
[0006]采集用户面部视频，所述视频包含自然的头部运动和面部表情变化，对所 述视频进行抽帧获取多张图片，构建训练集；
[0007]将获取的多张图片输入至预先构建的深度神经网络模型对模型进行训练， 并利用训练后的深度神经网络模型预测得到线性人脸模型参数，所述线性人脸 模型参数包括3D人脸几何形状参数和3D人脸贴图参数；
[0008]将得到的线性人脸模型参数输入至预先构建的人脸线性参数化模型，所述 人脸线性参数化模型包括3D人脸几何形状和3D人脸贴图，得到重建的人脸 3D几何形状模型以及对应的人脸贴图。
[0009]进一步地，所述方法还包括：基于人脸线性参数化表示，将人脸的形状、 表情、外观分别表示为100维、50维、50维子空间，构建人脸线性参数化模 型：
[0010]分别用S和A表示人脸的3D几何形状和外观：
[0011][0012]其中，S代表目标3D人脸的顶点位置，对应3DMM数据集计算得到的 顶点位置的平均值；S
i
、E
i
分别代表通过PCA算法得到的个体和表情的主分量； 参数β
i
、δ
i
分别代表S
i
和E
i
的权重；
[0013]A代表目标3D人脸的贴图像素值，对应3DMM数据集计算得到的贴图 像素值的平均值；A
i
代表通过PCA算法得到的3D人脸贴图像素值；参数α
i
代表A
i
的权重。
[0014]进一步地，所述方法还包括：构建深度神经网络模型，具体为：
[0015]所述深度神经网络模型包括第一编码器、解码器、神经纹理编码器以及渲 染器；
[0016]所述第一编码器的输入为图像{I
i，i＝1～N
}，N为抽帧的图像数，输出为线 性人脸模型参数{β
i,i＝1～100
}、{δ
i,i＝1～50
}、{α
i,i＝1～50
}；
[0017]所述解码器包括第一解码器和第二解码器，所述第一解码器的输入为参数 β
i,i＝1～100
}、{δ
i,i＝1～50
}，输出为3D人脸几何形状S，第二解码器的输入为参 数{α
i,i＝1～50
}，输出为3D人脸贴图A；
[0018]所述神经纹理编码器输入为3D人脸贴图A，输出为神经纹理{T
i,i＝1～M
}， 共计M个神经纹理；
[0019]所述渲染器包括第一渲染器和第二渲染器，所述第一渲染器为神经渲染器， 输入为神经纹理T，输出为RGB图像所述第二渲染器为可微分渲 染器，输入为S和A，输出为渲染图像
[0020]进一步地，所述方法还包括：
[0021]定义目标损失函数如下：
[0022]L＝L1+εL2[0023]其中，ε为权重系数；
[0024]根据所述目标损失函数对深度神经网络模型进行训练直至模型收敛。
[0025]进一步地，所述方法还包括：
[0026]制作中性表情模型M0，对应δ
i,i＝1～50
＝0；选择M
i,i＝1～15
，对应δ
i,i＝1～15
＝ 4；以及M
i,i＝16～30
，对应δ
i,i＝1～15
＝
‑
4；将M1～M
30
共计30个3D模型，通过 FBX SDK分别绑定到M0的30个变形通道上，输出为FBX文件，其中表情模 型M是对S和A中的权重系数取特定的值，将贴图A绑定到顶点S上后获得 的一个3D模型。
[0027]根据本专利技术实施例的第二方面，提出了一种结合神经纹理的可操控3D人 脸重建系统，所述系统包括：
[0028]图片获取模块，用于采集用户面部视频，所述视频包含自然的头部运动和 面部表情变化，对所述视频进行抽帧获取多张图片；
[0029]人脸重建模块，用于将获取的多张图片输入至预先构建的深度神经网络模 型对模型进行训练，并利用训练后的深度神经网络模型预测得到线性人脸模型 参数，所述线性人脸模型参数包括3D人脸几何形状参数和3D人脸贴图参数；
[0030]将得到的线性人脸模型参数输入至预先构建的人脸线性参数化模型，所述 人脸线性参数化模型包括3D人脸几何形状和3D人脸贴图，得到重建的人脸 3D模型以及对应的人脸贴图。
[0031]本专利技术具有如下优点：
[0032]本专利技术提出的一种结合神经纹理的可操控3D人脸重建方法及系统，采集 用户面部视频，所述视频包含自然的头部运动和面部表情变化，对所述视频进 行抽帧获取多张图片，构建训练集；将获取的多张图片输入至预先构建的深度 神经网络模型对模型进行训练，并利用训练后的深度神经网络模型预测得到线 性人脸模型参数，所述线性人脸模型参数包括3D人脸几何形状参数和3D人 脸贴图参数；将得到的线性人脸模型参数输入至预先构建的人脸线性参数化模 型，所述人脸线性参数化模型包括3D人脸几何形状和3D人脸贴图，得到重 建的人脸3D几何形状模型以及对应的人脸贴图。本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种结合神经纹理的可操控3D人脸重建方法，其特征在于，所述方法包括：采集用户面部视频，所述视频包含自然的头部运动和面部表情变化，对所述视频进行抽帧获取多张图片，构建训练集；将获取的多张图片输入至预先构建的深度神经网络模型对模型进行训练，并利用训练后的深度神经网络模型预测得到线性人脸模型参数，所述线性人脸模型参数包括3D人脸几何形状参数和3D人脸贴图参数；将得到的线性人脸模型参数输入至预先构建的人脸线性参数化模型，所述人脸线性参数化模型包括3D人脸几何形状和3D人脸贴图，得到重建的人脸3D几何形状模型以及对应的人脸贴图。2.根据权利要求1所述的一种结合神经纹理的可操控3D人脸重建方法，其特征在于，所述方法还包括：基于人脸线性参数化表示，将人脸的形状、表情、外观分别表示为100维、50维、50维子空间，构建人脸线性参数化模型：分别用S和A表示人脸的3D几何形状和外观：其中，S代表目标3D人脸的顶点位置，对应3DMM数据集计算得到的顶点位置的平均值；S
i
、E
i
分别代表通过PCA算法得到的个体和表情的主分量；参数β
i
、δ
i
分别代表S
i
和E
i
的权重；A代表目标3D人脸的贴图像素值，对应3DMM数据集计算得到的贴图像素值的平均值；A
i
代表通过PCA算法得到的3D人脸贴图像素值；参数α
i
代表A
i
的权重。3.根据权利要求1所述的一种结合神经纹理的可操控3D人脸重建方法，其特征在于，所述方法还包括：构建深度神经网络模型，具体为：所述深度神经网络模型包括第一编码器、解码器、神经纹理编码器以及渲染器；所述第一编码器的输入为图像{I
i，i＝1～N
}，N为抽帧的图像数，输出为线性人脸模型参数{β
i，i＝1～100
}、{δ
i，i＝1～50
}、{α
i，i＝1～50
}；所述解码器包括第一解码器和第二解...
【专利技术属性】
技术研发人员：吉长江，
申请(专利权)人：北京影数科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。