一种3D人脸构建方法技术

本发明专利技术公开了一种3D人脸构建方法，涉及仿生技术领域。具体包括以下步骤：获取人脸的多个视角图像的特征向量并进行融合后生成融合特征向量；根据所述融合特征向量生成三维人脸形状模型；对所述三维形状模型进行纹理填充，生成人脸模型。旨在提高数字人人脸的构建精度。度。度。

【技术实现步骤摘要】
一种3D人脸构建方法


[0001]本专利技术涉及仿生
，特别涉及一种3D人脸构建方法。

技术介绍

[0002]3D建模是计算机图形处理领域中的一个基础研究，涉及的典型应用如3D游戏、可视通信系统、虚拟现实增强和医学仿真等，其可以称为数字人。尤其是随着如今网络带宽提升、实时、超低码率可视应用的MPEG
‑
4人脸编码系统的出现，3D人脸建模已成为视频电话和虚拟网络会议应用领域中的研究热点。然而，快速3D人脸建模始终是一个极具挑战性的课题。由于其广泛的应用场景，引起越来越多的研究学者对3D人脸建模做了大量的研究，取得了丰硕的研究成果。例如文献“Rapid and Automatic 3D Face Modeling Using Active AppearanceModels”中作者提出了在人脸特征提取过程中利用初始位置和实例模型选择的主动外观模型改进办法，同时利用特征脸和空间仿射变换法则对人脸模型调节，实现对应人脸的位置和形状的匹配。这种成像方法简单，但是成像精度不高，有局部虚影出现，仅仅适合对成像要求不高的应用。
[0003]因此如何提高数字人的人脸构建的精度，称为了亟待解决的技术难题。

技术实现思路

[0004]本专利技术的主要目的是提供一种3D人脸构建方法，旨在提高数字人人脸的构建精度。
[0005]为了实现上述目的，本专利技术提出一种3D人脸构建方法，包括以下步骤：
[0006]获取人脸的多个视角图像的特征向量并进行融合后生成融合特征向量；
[0007]根据所述融合特征向量生成三维人脸形状模型；
[0008]对所述三维形状模型进行纹理填充，生成人脸模型。
[0009]在本申请的一实施例中，获取人脸的多个视角图像的特征向量并进行融合后生成融合特征向量包括：
[0010]获取同一人脸多个不同视角的人脸数据；
[0011]通过共享权重的深度卷积神经网络对各个所述人脸数据进行编码，获得各个视角的人脸特征向量；
[0012]将多个所述人脸特征向量进行拼接后并通过多层感知器网络进行特征融合，生成融合特征向量。
[0013]在本申请的一实施例中，根据所述融合特征向量生成三维人脸形状模型包括：
[0014]获取所述融合特征向量；
[0015]通过多层感知网络对所述融合特征向量进行解码，获得三维模型头部姿态向量；
[0016]通过图卷积神经网络对所述融合特征向量进行解码，获得三维顶点向量；以及
[0017]根据所述三维模型头部姿态向量和三维顶点向量生成三维人脸形状模型。
[0018]在本申请的一实施例中，头部姿态向量包括：
[0019]人脸的俯仰角、人脸的偏航角、人脸的侧倾角、以及三维空间的位移向量中的至少一个。
[0020]在本申请的一实施例中，对所述三维形状模型进行纹理填充包括：
[0021]获取所述融合特征向量；
[0022]通过大型生成对抗网络对所述融合特征向量进行解码，获得人脸纹理参数，并根据获得的人脸纹理参数对所述三维形状模型进行填充。
[0023]在本申请的一实施例中，还包括计算人脸的多个视角图像中任意两个视角图像之间的相似度；当任意两个视角图像之间的相似度不满足预设条件时，将该两个视角图像的特征向量不进行融合。
[0024]在本申请的一实施例中，任意两个人脸图像之间相似度的计算公式如下：
[0025][0026][0027]，
[0028]其中，l(x,y)表示样本x和样本y在亮度上的相似度；c(x,y)表示样本x和样本y在对比度上的相似度；s(x,y)表示样本x和样本y在结构上的相似度；一般取c3＝c2/2；
[0029]其中，μ
x
μ
y
分别为样本x与样本y的均值，σ
x
σ
y
分别为样本x与样本y的方差，σ
xy
样本x与样本y的协方差；常数c1和c2计算公式如下：
[0030]c1＝(k1L)2[0031]c2＝(k2L)2[0032]其中，k1默认为0.01，k2默认为0.03，L为像素值的范围；
[0033]结构相似度(SSIM)公式如下：
[0034]SSIM(x,y)＝f[l(x,y)
·
c(x,y)
·
s(x,y)]。
[0035]采用上述技术方案，通过获取人脸的多个视角图像的特征向量，然后将多个视角图像的特征向量进行融合，以减少视角差异所带来的误差，提高了人脸纹理和形状重建的精度。
附图说明
[0036]下面结合具体实施例和附图对本专利技术进行详细的说明，其中：
[0037]图1为本专利技术第一种实施例的结构示意图。
具体实施方式
[0038]为了使本专利技术的目的、技术方案及优点更加清楚，以下结合附图和实施例对本专利技术进行详细的说明。应当理解，以下具体实施例仅用以解释本专利技术，并不对本专利技术构成限制。
[0039]如图1所示，为了实现上述目的，本专利技术提出一种3D人脸构建方法，包括以下步骤：
[0040]获取人脸的多个视角图像的特征向量并进行融合后生成融合特征向量；
[0041]根据所述融合特征向量生成三维人脸形状模型；
[0042]对所述三维形状模型进行纹理填充，生成人脸模型。
[0043]具体的，一种3D人脸构建方法，包括以下步骤，获取人脸的多个视角图像，可采用VR3D瞬时三维成像系统获得，瞬时获得同一时刻同一对象的全方位照片信息，可以减小人脸的多个视角图像之间的误差，对应的提高人脸的多个视角图像相似度，从而方便后期的人脸模型的构建。
[0044]当然可以想到的是，人脸的多个视角图像也可以采用普通光学相机分时拍摄。
[0045]获取人脸的多个视角图像的特征向量，可以采用神经卷积网络，或者采用共享权重的深度卷积神经网络。
[0046]神经卷积网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类。卷积神经网络仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，例如像素和音频的学习，有稳定的效果且对数据没有额外的特征工程要求。
[0047]神经卷级网络的输入层可以处理多维数据，常见地，一维卷积神经网络的输入层接收一维或二维数组，其中一维数组通常为时间或频谱采样；二维数组可能包含多个通道；二维卷积神经网络的输入层接收二维或三维数组；三维卷积神经网络的输入层接收四维数组。
[0048]神经网络的隐含层包含卷积层、池化层和全连接层，卷积层中的卷积核包含权重系数。其中，卷积层的功能是对输入数据进行特征提取，其内部包含多个卷积核，组成卷积核的每个元素都对应一个权重系数和一个偏差量。卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种3D人脸构建方法，其特征在于，包括以下步骤：获取人脸的多个视角图像的特征向量并进行融合后生成融合特征向量；根据所述融合特征向量生成三维人脸形状模型；对所述三维形状模型进行纹理填充，生成人脸模型。2.如权利要求1所述的3D人脸构建方法，其特征在于，获取人脸的多个视角图像的特征向量并进行融合后生成融合特征向量包括：获取同一人脸多个不同视角的人脸数据；通过共享权重的深度卷积神经网络对各个所述人脸数据进行编码，获得各个视角的人脸特征向量；将多个所述人脸特征向量进行拼接后并通过多层感知器网络进行特征融合，生成融合特征向量。3.如权利要求2所述的3D人脸构建方法，其特征在于，根据所述融合特征向量生成三维人脸形状模型包括：获取所述融合特征向量；通过多层感知网络对所述融合特征向量进行解码，获得三维模型头部姿态向量；通过图卷积神经网络对所述融合特征向量进行解码，获得三维顶点向量；以及根据所述三维模型头部姿态向量和三维顶点向量生成三维人脸形状模型。4.如权利要求2所述的3D人脸构建方法，其特征在于，头部姿态向量包括：人脸的俯仰角、人脸的偏航角、人脸的侧倾角、以及三维空间的位移向量中的至少一个。5.如权利要求2所述的3D人脸构建方法，其特征在于，对所述三维形状模型进行纹理填充包括：获取所述融合特征向量；通过大型生成对抗网络对所述融合特征...

【专利技术属性】
技术研发人员：杜兰，陈彬，杜轶锋，周国华，叶国伟，廖森平，曾文君，蒋仕坚，
申请(专利权)人：科大讯飞华南有限公司，
类型：发明
国别省市：