一种基于深度神经网络的面部三维重建方法技术

本发明专利技术公开了一种基于深度神经网络的面部三维重建方法，涉及人脸图像技术领域；它的重建方法如下：步骤一：采集一张二维人脸图像；步骤二：通过人脸矫正模块获得矫正后的人脸图像；步骤三：将人脸矫正图像通过三维重建模块得到人脸3D数据；本发明专利技术采用基于CNN模型的人脸图像矫正算法，然后输入人脸图片通过Encoder

【技术实现步骤摘要】
一种基于深度神经网络的面部三维重建方法
[0001]

[0002]本专利技术属于人脸图像
，具体涉及一种基于深度神经网络的面部三维重建方法。

技术介绍

[0003]人脸图像在现实生活中有很多广泛的应用，包括人机交互，人脸动画，人脸美化，整容手术，以及与安全相关的应用，访问控制，刷脸支付，基于人脸识别的门禁系统等；随着人们日益增长的对于更加完善和鲁棒的人脸处理系统的需求，促使着科研工作者和工程师们积极地开发二维与三维相结合的人脸数据处理系统。从而产生了与三维人脸形状相关的新兴应用，包括人脸合成，基于三维辅助的人脸识别等。
[0004]通常三维人脸形状会配上一张二维的人脸纹理图，为几何模型补充颜色信息。相比于二维人脸图像，三维人脸形状可以提供不受光照，设备噪声等因素影响的几何图形表示和具有可控的姿态信息，这对与人脸相关的应用有着潜在的帮助。而且三维人脸形状还可以提供更丰富和更可靠的人脸面部结构信息，使用二维与三维相结合的人脸处理系统要比单独使用二维人脸图像的处理系统具有更显著的优势。因此，近年来，与三维人脸形状相关的研究受到越来越多的关注。但是由于在一些领域还是无法实现面部重建。

技术实现思路

[0005]为解决
技术介绍
中的问题；本专利技术的目的在于提供一种基于深度神经网络的面部三维重建方法。
[0006]本专利技术的一种基于深度神经网络的面部三维重建方法，它的重建方法如下：步骤一：采集一张二维人脸图像；步骤二：通过人脸矫正模块获得矫正后的人脸图像；步骤三：将人脸矫正图像通过三维重建模块得到人脸3D数据。
[0007]作为优选，所述人脸矫正模块使用的人脸关键点检测算法架构，设计了级联卷积神经网络结构；整个级联卷积神经网络结构分为如下几层：（1）输入层：负责接受图片输入；（2）人脸检测层：检测输入层图片中所有人脸，粗略估计每张人脸位置和大小：将左上和右下坐标位置{，}输出至后继级联卷积网络中；（3）人脸内部点边界框估计：与人脸检测层相连；对于输入的人脸，利用CNN检测出一个精确的人脸内部关键点的矩形框IR；将框IR出的图片传入下一级CNN中；（4）人脸内部点关键点检测：与人脸内部点边界框层相连，根据框IR，检测人脸内部特征点并将结果输出。
[0008]作为优选，所述人脸检测层：人脸检测层的目的是给出输入图片I中每张人脸的粗
略位置；由于输入图片大小不固定，而且可能存在许多张人脸，毎个人脸大小也不固定，需要一个人脸检测模块作为所有模块的前置模块；本层输入为原始图片I；对于检测到得每张人脸，输出为其粗略位置{，}；其中表示左上坐标，表示右下坐标。
[0009]作为优选，所述人脸内部点边界框估计：内部点边界框估计层给出一个可包含所有脸部内部点的矩形框；本层输入为原始图片，本层输出为包含所有脸部轮廓点的矩形框{，}；将新检测框所框出的图片，输入轮廓框估计卷积网络CNN中。
[0010]作为优选，所述人脸内部点关键点检测：内部关键点检测层的输出，本层输入为内部点检测输出。
[0011]作为优选，所述三维重建模块：采用编码
‑
解码结构，将输入的二维人脸RGB图像回归为包含三维人脸几何结构的UV位置映射图像来实现人脸重建；引入参数更少的瓶颈模块ResNet网络；在编码
‑
解码网络基础上引入参数更少的瓶颈模块ResNet网络，得到改进的encoder
‑
decoder网络；使用编码器网络将原始二维像素输入映射到特征表示，解码器网络以该特征表示作为输入，经过学习后输出UV位置图。
[0012]与现有技术相比，本专利技术的有益效果为：一、采用基于CNN模型的人脸图像矫正算法，然后输入人脸图片通过Encoder
‑
Decoder网络得到三维人脸模型，Encoder
‑
Decoder网络中采用ResNet模块，使得网络参数减少，降低网络计算消耗。
[0013]二、根据简单相机获取的人脸图像，快速便捷地得到相对高精度的面部模型。
附图说明
[0014]为了易于说明，本专利技术由下述的具体实施及附图作以详细描述。
[0015]图1为本专利技术的流程图；图2为本专利技术中人脸检测CNN模型示意图；图3为本专利技术中三维重建流程图；图4为本专利技术中Res Net瓶颈残差模块的示意图。
具体实施方式
[0016]为使本专利技术的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本专利技术。但是应该理解，这些描述只是示例性的，而并非要限制本专利技术的范围。本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
能涵盖的范围内。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本专利技术的概念。
[0017]在此，还需要说明的是，为了避免因不必要的细节而模糊了本专利技术，在附图中仅仅示出了与根据本专利技术的方案密切相关的结构和/或处理步骤，而省略了与本专利技术关系不大的其他细节。
[0018]如图1所示，本具体实施方式采用以下技术方案：它的重建方法如下：步骤一：采集一张二维人脸图像；
步骤二：通过人脸矫正模块获得矫正后的人脸图像；步骤三：将人脸矫正图像通过三维重建模块得到人脸3D数据。
[0019]作为优选，所述人脸矫正模块使用的人脸关键点检测算法架构，设计了级联卷积神经网络结构；整个级联卷积神经网络结构分为如下几层：（1）输入层：负责接受图片输入；（2）人脸检测层：检测输入层图片中所有人脸，粗略估计每张人脸位置和大小：将左上和右下坐标位置{，}输出至后继级联卷积网络中；（3）人脸内部点边界框估计：与人脸检测层相连；对于输入的人脸，利用CNN检测出一个精确的人脸内部关键点的矩形框IR；将框IR出的图片传入下一级CNN中；（4）人脸内部点关键点检测：与人脸内部点边界框层相连。根据框IR，检测人脸内部特征点并将结果输出。
[0020]所述人脸检测层：人脸检测层的目的是给出输入图片I中每张人脸的粗略位置；由于输入图片大小不固定，而且可能存在许多张人脸，毎个人脸大小也不固定，所以需要一个人脸检测模块作为所有模块的前置模块；本层输入为原始图片I；对于检测到得每张人脸，输出为其粗略位置{，}；其中表示左上坐标，表示右下坐标。
[0021]所述内部点边界框估计层：内部点边界框估计层设计是为了可以给出一个可包含所有脸部内部点的矩形框。本层输入为原始图片，本层输出为包含所有脸部轮廓点的矩形框{，}。将新检测框所框出的图片，输入轮廓框估计卷积网络CNN中，如图2所示。
[0022]本具体实施方式使用3通道的彩色图片作为输入，相对使用单通道灰度图图片信息更为丰富；同时使用CNN参数更多，CNN模型更为复杂，以达到更好的检测结果。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度神经网络的面部三维重建方法，其特征在于：它的重建方法如下：步骤一：采集一张二维人脸图像；步骤二：通过人脸矫正模块获得矫正后的人脸图像；步骤三：将人脸矫正图像通过三维重建模块得到人脸3D数据。2.根据权利要求1所述的一种基于深度神经网络的面部三维重建方法，其特征在于：所述人脸矫正模块使用的人脸关键点检测算法架构，设计了级联卷积神经网络结构；整个级联卷积神经网络结构分为如下几层：（1）输入层：负责接受图片输入；（2）人脸检测层：检测输入层图片中所有人脸，粗略估计每张人脸位置和大小：将左上和右下坐标位置{，}输出至后继级联卷积网络中；（3）人脸内部点边界框估计：与人脸检测层相连；对于输入的人脸，利用CNN检测出一个精确的人脸内部关键点的矩形框IR；将框IR出的图片传入下一级CNN中；（4）人脸内部点关键点检测：与人脸内部点边界框层相连，根据框IR，检测人脸内部特征点并将结果输出。3.根据权利要求2所述的一种基于深度神经网络的面部三维重建方法，其特征在于：所述人脸检测层：人脸检测层的目的是给出输入图片I中每张人脸的粗略位置；由于输入图片大小不固定，而且可能存在许多张人脸，毎个人脸大小也不固定，需要一个人脸检测模块作为所有模块的前置模块；本层输入为...

【专利技术属性】
技术研发人员：杨东亮，
申请(专利权)人：黑龙江省科学院智能制造研究所，
类型：发明
国别省市：