基于多尺度图卷积神经网络的3D人脸表示与重建方法技术

本发明专利技术属于计算机视觉和计算机图形学领域，为实现对3D人脸数据进行有效的高维特征表示，以及具备从高维特征进行有效重建的能力，本发明专利技术采用的技术方案是，基于多尺度图卷积神经网络的3D人脸表示与重建方法，构建基于深度卷积的变分生成网络，利用变分编码器神经网络学习3D人脸的高维表示以及重建；利用变分编码器的生成能力来生成更多类型的3D人脸数据；然后使用变分解码器将高维特征解析成面部三角网络模型Mesh，实现人脸3D重建。本发明专利技术主要应用于3D人脸重建、身份识别等场合。

3D Face Representation and Reconstruction Based on Multiscale Graph Convolution Neural Network

【技术实现步骤摘要】
基于多尺度图卷积神经网络的3D人脸表示与重建方法
本专利技术属于计算机视觉和计算机图形学领域，特别涉及使用深度学习的方法去表示3D人脸与重建。
技术介绍
人脸在身份识别，信息传递和情感表达中起着关键作用。特定面部的有效表示和重建对于创建个性化人物形象，3D打印和面部动画非常重要，其在电影，计算机游戏，增强现实(AR)和虚拟现实(VR)中具有广泛的应用。然而，由于受到年龄、性别、种族等诸多因素的影响，人脸形状变化很大，并且表情变形显着。因此，难以有效地表示和重建这种非线性变形。传统方法使用激光扫描仪或深度相机来使用基于融合的方法重建3D面部(R.A.Newcombeetal.,“KinectFusion:Real-timedensesurfacemappingandtracking，”inProc.IEEEInternationalSymposiumonMixedandAugmentedReality,2011,pp.127–136.)，但它们无法实现动画，编辑和生成。为了解决这个问题，许多工作提出了参数化人脸模型(VolkerBlanzandThomasVetter,“Amorphablemodelforthesynthesisof3Dfaces,”inCGIT，1999,pp.187–194.)和混合形状(JohnPLewis,KenAnjyo,TaehyunRhee，MengjieZhang,FredericHPighin,andZhigangDeng,“Practiceandtheoryofblendshapefacialmodels,”inEurographics(StateoftheArtReports),2014.)来表示面部形状和表情，并且有几种方法使用这些模型从扫描的深度网格中成功地重建了面部形状(Pei-LunHsieh,ChongyangMa,JihunYu，andHaoLi,“Unconstrainedrealtimefacialperformancecapture，”inCVPR，2015，pp.1675–1683.)。然而，使用线性表示的重建形状通常是平滑的而没有丰富的细节。综上，对3D面部进行高效且准确的表示以及重建是比较重要的，将为面部识别、身份验证等方向提供技术支持。
技术实现思路
为克服现有技术地不足，实现对3D人脸数据进行有效的高维特征表示，以及具备从高维特征进行有效重建的能力，本专利技术采用的技术方案是，基于多尺度图卷积神经网络的3D人脸表示与重建方法，构建基于深度卷积的变分生成网络，利用变分编码器神经网络学习3D人脸的高维表示以及重建；利用变分编码器的生成能力来生成更多类型的3D人脸数据；然后使用变分解码器将高维特征解析成面部三角网络模型Mesh，实现人脸3D重建。深度卷积的变分生成网络采用了图卷积算法和mesh采样算法，其编码器里每层包括了图卷积、批规范化、ReLU激活函数和mesh下采样，解码器里每层包括了mesh上采样、图卷积、批规范化和ReLU激活函数。变分生成网络是一个深度卷积网络，包含三个部分，图卷积算法、Mesh下采样算法以及网络结构，具体如下：1)图卷积算法使用动态滤波卷积层来处理网格数据，学习从邻域到滤波器权重的映射，并考虑网格固有特征，具体地，网络层输入是一个特征向量xi对应于一个顶点i∈{1,…,n}，输出也是矢量yi：公式解析：Ni是Mesh中顶点的邻居顶点集合i，是算法中的正边缘权重，会将m个特征值归一化为1，这会使得特征空间中权重的平移不变性，当使用原始空间3D坐标作为形状网格的输入特征时，平移不变性的特征具有更好的训练效果，b，Wm，tm和cm都是可训练参数，M是人工设定的超参数；2-2)Mesh下采样算法使用使用置换矩阵Pd∈{0,1}k×n来进行快速的下采样，将一个具有n个顶点的Mesh下采样到k个顶点(n＜k)。Pd(p,q)表示的是第q个顶点是否在下采样中保留，为1的话就保留，为0就舍弃，下采样算法使用二次矩阵来迭代收缩顶点对；上采样就是下采样的逆过程，将一个具有k个顶点的Mesh上采样到n个顶点，n＜k，使用上采样置换矩阵Pu∈Rn×k，上采样的过程是将在下采样过程中丢弃的顶点vq重新添加到下采样网格中，即将Vq映射到下采样网格中的最接近的三角形(h，i，j)，并计算重心坐标使用v＝whvh+wivi+wjvj，vhvivj∈Vd顶点集合，并且wh+wi+wj＝1，Pu中权重设置是Pu(q,h)＝wh，Pu(q,i)＝wi，Pu(q,j)＝wj；2-3)网络结构网络分为编码器和解码器部分，编码器由6个图卷积组成，特征数量设定为(16,32,64,96,128,256)，每层都是用了批规范化以及ReLU激活函数，每层卷积都采用下采样，倍率分别为[2,2,2,4，4,4]，编码器的每层输特征维度为2512×16,1256×32,628×64，157×96,40×128,and10×256，最后一层将特征映射到128维度的潜层空间；解码器首先使用一个全连接层将128维度的特征映射到Mesh空间，接着是6层的图卷积，每层图卷积都是用了批规范化和ReLU激活函数，上采样倍率为[4，4，4，2，2，2]，整个解码器部分相当于编码器的逆过程；每层的输出特征维度为40×128,157×96，628×64，1256×32,2512×16,and5023×3，编码器生成的128维度特征会和高斯分布的数据进行Kullback-Leibler变分损失函数的计算，以使得编码器生成的数据尽可能逼近高斯分布空间。与已有技术相比，本专利技术的技术特点与效果：首先，我们的专利技术是在三维Mesh的基础上，相比传统的重建方法，本专利技术方法主要具有以下特点：1、我们提出了一种新的图卷积变分编码器，它具有用于面部Mesh的分层多尺度表示。我们的模型依赖于卷积的网格的顶点连接关系，并且还可以通过有效地对网格的顶点进行采样来生成分层网格表示。2、我们的变分编码器使用Mesh原始数据而无需复杂的数据嵌入过程，易于训练，并且重建精度很高。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本专利技术实施例是网络结构模型示意。图2为本专利技术实施例是基于Coma数据集(AnuragRanjan，TimoBolkart,SoubhikSanyal，andMichaelJBlack，“Generating3Dfacesusingconvolutionalmeshautoencoders,”inECCV.Springer,2018,pp.725–741.)上获得的重建结果与其它方法的对比示意图。从上至下依次是输入的Mesh的真值，Anurag等人(AnuragRanjan，TimoBolkart，SoubhikSanyal，andMichaelJBlack，“Generating3Dfacesusingconvolutionalmeshautoencoders，”inECCV.Springer，2018，pp.725–741.)重建出来的结果，本专利技术所估计重建的结果，Anurag等人的方法的误差可视化图，本专利技术的误差可视化图。图3为所提出的本文档来自技高网...

【技术保护点】
1.一种基于多尺度图卷积神经网络的3D人脸表示与重建方法，其特征是，构建基于深度卷积的变分生成网络，利用变分编码器神经网络学习3D人脸的高维表示以及重建；利用变分编码器的生成能力来生成更多类型的3D人脸数据；然后使用变分解码器将高维特征解析成面部三角网络模型Mesh，实现人脸3D重建。

【技术特征摘要】
1.一种基于多尺度图卷积神经网络的3D人脸表示与重建方法，其特征是，构建基于深度卷积的变分生成网络，利用变分编码器神经网络学习3D人脸的高维表示以及重建；利用变分编码器的生成能力来生成更多类型的3D人脸数据；然后使用变分解码器将高维特征解析成面部三角网络模型Mesh，实现人脸3D重建。2.如权利要求1所述的基于多尺度图卷积神经网络的3D人脸表示与重建方法，其特征是，深度卷积的变分生成网络采用了图卷积算法和mesh采样算法，其编码器里每层包括了图卷积、批规范化、ReLU激活函数和mesh下采样，解码器里每层包括了mesh上采样、图卷积、批规范化和ReLU激活函数。3.如权利要求1所述的基于多尺度图卷积神经网络的3D人脸表示与重建方法，其特征是，变分生成网络是一个深度卷积网络，包含图卷积算法、Mesh下采样算法以及网络结构，具体如下：1)图卷积算法使用动态滤波卷积层来处理网格数据，学习从邻域到滤波器权重的映射，并考虑网格固有特征，具体地，网络层输入是一个特征向量xi对应于一个顶点i∈{1,…,n}，输出也是矢量yi：公式解析：Ni是Mesh中顶点的邻居顶点集合i，是算法中的正边缘权重，会将m个特征值归一化为1，这会使得特征空间中权重的平移不变性，当使用原始空间3D坐标作为形状网格的输入特征时，平移不变性的特征具有更好的训练效果，b，Wm，tm和cm都是可训练参数，M是人工设定的超参数；2-2)Mesh下采样算法使用使用置换矩阵Pd∈{0,1}k×n来进行快速的下采样，将一个具有n个顶点的Mesh下采样到k个顶点，n<k，Pd(p，q)表示的是第q个顶点...

【专利技术属性】
技术研发人员：李坤，袁存款，杨敬钰，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12