一种基于深度神经网络的端到端三维人脸重建方法技术

本发明专利技术中提出的一种基于深度神经网络的端到端三维人脸重建方法，其主要内容包括：3D面部形状子空间模型、深度神经网络(DNN)架构和端到端训练，其过程为，采用3D面部形状子空间模型，并将3D面部作为一组形状和混合形状基线的线性组合，基于VGG网络的脸部模型添加了子卷积神经网络(融合CNN)用于回归表达参数，以及用于身份参数预测和表达参数预测的多任务学习损失函数，端到端训练中深度神经网络的输入是一个二维图像，输出由身份参数向量和表达式参数向量组成。本发明专利技术解决面部图像中的姿态、表情和照明变化带来的影响，避免了图像采集过程中深度信息的损失；同时简化了框架，降低计算成本，提高了重建精度和识别的鲁棒性。

A method of end to end 3D face reconstruction based on depth neural network

A 3D face reconstruction method to end the end of the depth of the neural network is proposed based on the invention, its main contents include: 3D facial shape space model, the depth of the neural network (DNN) architecture and end-to-end training, the process, using 3D facial shape space model, and will face as a linear combination of 3D a group of shapes and mixed shapes of the baseline, the face model of VGG network with sub convolution based on neural network (CNN fusion) for regression expression parameters, as well as for the identity parameter prediction and expression of multi task learning loss function parameter prediction, neural network training end to end in the depth of the input is a two-dimensional image, the output. From the identity parameter vector and expression vector of parameters. The invention solves the influence of face image in pose, expression and illumination changes, to avoid the depth information of the image acquisition process of loss; while simplifying the framework, reduce the computational cost, improves the robustness of the reconstruction accuracy and recognition.

【技术实现步骤摘要】
一种基于深度神经网络的端到端三维人脸重建方法
本专利技术涉及人脸重建领域，尤其是涉及了一种基于深度神经网络的端到端三维人脸重建方法。
技术介绍
人脸是人类最重要的生物特征之一，反映了很多重要的生物信息，如身份、性别、种族、年龄、表情等。三维人脸重建技术有着广泛的用途和前景，一直以来都是计算机视觉和计算机图形学研究的热点和难点。人脸建模在人脸识别系统、医学、电影电视剧、广告、计算机动画、游戏、视频会议以及可视电话、人机交互等许多领域都具有广泛的应用前景。特别是在人脸识别方面，其可以应用在公共安全防范、逃犯追捕、网络安全、金融安全商场安全等诸多领域。但是，人脸建模技术存在计算成本较高的问题，面部图像中的姿态、表情和照明变化也会给识别和重建带来影响。本专利技术提出了一种基于深度神经网络的端到端三维人脸重建方法，采用3D面部形状子空间模型，并将3D面部作为一组形状和混合形状基线的线性组合，基于VGG网络的脸部模型添加了子卷积神经网络(融合CNN)用于回归表达参数，以及用于身份参数预测和表达参数预测的多任务学习损失函数，端到端训练中深度神经网络的输入是一个二维图像，输出由身份参数向量和表达式参本文档来自技高网...

【技术保护点】
一种基于深度神经网络的端到端三维人脸重建方法，其特征在于，主要包括3D面部形状子空间模型(一)；深度神经网络(DNN)架构(二)；端到端训练(三)。

【技术特征摘要】
1.一种基于深度神经网络的端到端三维人脸重建方法，其特征在于，主要包括3D面部形状子空间模型(一)；深度神经网络(DNN)架构(二)；端到端训练(三)。2.基于权利要求书1所述的3D脸部重建，其特征在于，可分为两个子任务，即重建3D面部形状和重建面部表情，并结合多任务学习损失函数训练不同的层次，分别预测身份和表达参数。3.基于权利要求书1所述的3D面部形状子空间模型(一)，其特征在于，采用3D面部形状子空间模型，并将3D面部作为一组形状和混合形状基线的线性组合：其中，S是目标3D面部，是平均面部形状，Ud是在3D面部扫描中训练的主要成分αd是身份参数向量，Ue是偏移训练的主要组成部分αe是表达式参数向量；给定2D面部图像，目标是预测最佳身份和表达参数，最小化重建的3D面部和标定的真实数据之间的差异。4.基于权利要求书1所述的深度神经网络(DNN)架构(二)，其特征在于，基于VGG网络的脸部模型由13个卷积层和5个池层组成，并且添加了两个关键组件：子卷积神经网络(融合CNN)，融合了基于VGG网络的脸部模型中间层的特征，用于回归表达参数，以及用于身份参数预测和表达参数预测的多任务学习损失函数。5.基于权利要求书4所述的两个关键组件，其特征在于，通过多任务损失函数，3D脸部重建被分为中性3D面部形状重建和表达3D面部形状重建；使用融合CNN，融合和变换不同中间层的特征，以预测3D面部形状。6.基于权利要求书4所述的训练神经层，其特征在于，通过这两个组件，可以在单个DNN架构中训练三种类型的神经层；第一种类型的神经层包括第四池层以下的部分，其学习对应于低级面部结构(例如边缘和角落)的通用特征；这些层...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44