【技术实现步骤摘要】
一种基于生成对抗网络的无监督重建三维人脸方法
本专利技术涉及人工智能三维人脸重建领域，尤其涉及一种基于生成对抗网络的无监督重建三维人脸方法。
技术介绍
随着互联网的快速发展，人脸身份验证几乎渗入人们的生活，如刷脸支付、刷脸门禁、刷脸验票等涉及隐私、财产安全的场合。而三维人脸数据能够更精确的空间辅助信息来提高人脸身份识别系统精确性、安全性及可靠性。目前对于三维人脸重建，已经有一些解决方案，例如CN111354077A提出一种基于双目视觉的三维人脸重建方法，这类方法大多需要借助三维相机、三维深度扫描仪等价格高昂的特殊设备，在实践中难以普及。又如CN111027350A提出一种基于人脸三维重建的改进PCA算法，通过反复调整三维形变模型的基向量参数，使得三维人脸渲染后提取的人脸关键点与输入图片的人脸关键点接近，但这类方法较为依赖人脸关键点的检测结果，在人脸偏离正面角度较大或有遮挡物时，效果较差，且迭代过程耗时也较长。而基于神经网络来回归三维形变模型参数是最近被提出用于三维人脸重建任务。然而，针对神经网络的训练过程中三维人脸训...
【技术保护点】
1.一种基于生成对抗网络的无监督重建三维人脸方法，其特征在于，包括如下步骤：/n步骤(1)、利用生成对抗网络GANs的对抗过程，使得生成器生成符合真实感人脸顶点分布的三维形变模型3DMM参数；/n步骤(2)、利用3DMM提供的PCA正交基向量与生成器回归得到的3DMM参数进行线性组合，得到三维人脸网格；/n步骤(3)、利用可微分渲染器将三维人脸网格渲染至二维图片，神经网络反向传播需要导数的传递，所述可微分渲染器使用一种基于延迟阴影模型的可微光栅化器；/n步骤(4)、利用身份编码器计算人脸身份特征损失。/n
【技术特征摘要】
1.一种基于生成对抗网络的无监督重建三维人脸方法，其特征在于，包括如下步骤：
步骤(1)、利用生成对抗网络GANs的对抗过程，使得生成器生成符合真实感人脸顶点分布的三维形变模型3DMM参数；
步骤(2)、利用3DMM提供的PCA正交基向量与生成器回归得到的3DMM参数进行线性组合，得到三维人脸网格；
步骤(3)、利用可微分渲染器将三维人脸网格渲染至二维图片，神经网络反向传播需要导数的传递，所述可微分渲染器使用一种基于延迟阴影模型的可微光栅化器；
步骤(4)、利用身份编码器计算人脸身份特征损失。
2.根据权利要求1所述的一种基于生成对抗网络的无监督重建三维人脸方法，其特征在于，所述步骤(1)具体包括：
(1.1)利用生成器从人脸图片中学习回归3DMM参数；
(1.2)利用判别器对3DMM的真实感人脸参数分布进行学习；
(1.3)利用生成器和判别器进行对抗生成学习。
3.根据权利要求1所述的一种基于生成对抗网络的无监督重建三维人脸方法，其特征在于，所述步骤(2)具体包括：
一张新的人脸由两组基向量线性组合表示，表示公式如下：
S、T分别表示最终形成的三维网格中N个顶点的位置属性及颜色属性；其中，分别是200个实验对象对N个顶点的位置属性及颜色属性求平均值si，分别是PCA作用后形成的存储了N个顶点位置属性及颜色属性的位置基向量及颜色基向量,通过公开的3DMM数据库BaselFaceModel获得；αi，βi分别是位置基向量si及颜色基向量ti的系数；故而，利用生成器生成的3DMM参数α＝(α1，α2，…，α199)，β＝(β1，β2，...，β199)，得到神经网络依据输入图片预测的三维人脸网格。
4.根据权利要求1所述的一种基于生成对抗网络的无监督重建三维人脸方法，其特征在于，所述步骤(3)具体包括：
3.1)使用Phong光照模型对每个顶点的颜色做处理，训练过程中随机地将不同强度的两个点光源从离脸几米远的地方开始照射，并从普通室内和室外光源的近似中选择每个训练图像的随机色温，并扰动颜色以避免过度拟合；最后，由于Basel模型不包含镜面颜色信息，使用启发式方法从预测模型的漫反射颜色Kd中定义镜面颜色Ks：Ks＝c-cKd,常数c在0到1之间；
3....
【专利技术属性】
技术研发人员：李金龙，张星星，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽;34
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。