人脸校准方法及设备技术

本发明专利技术的目的是提供一种人脸校准方法及设备，本发明专利技术的聚合体系结构与分层和迭代融合功能密切相关。本发明专利技术提出了一种新颖的聚合回归网络，该网络可以更好地提取跨渠道和分辨率的语义和空间信息的全谱。本发明专利技术的网络由一个编码器和一个解码器组成，它们通过一系列嵌套的残差卷积块相连。本发明专利技术门设计了解码器中每个降采样操作之后剩余的顶点数，以及编码器中每个卷积块之后的特征图大小，以使它们彼此相等。因此，本发明专利技术通过不同的特征级别实现了从2D图像特征到3D网格特征的体积回归。

【技术实现步骤摘要】
人脸校准方法及设备
本专利技术涉及计算机领域，尤其涉及一种人脸校准方法及设备。
技术介绍
在多年的研究中，人脸对齐和3D人脸重建是计算机视觉和图形学中两个开放的相关问题。面部对齐通常用作大多数面部图像任务(例如面部识别和面部表情或姿势分析)的重要先决步骤，目的是定位某些2D面部关键点。但是，诸如遮挡，大姿势和极端照明之类的问题使得很难检测到脸部界标。研究人员开始探索过去几十年来2D界标与3D形状之间的强相关性，从而通过3D人脸重建来协助人脸对齐。自3D变形模型(3DMM)于1999年问世以来，提出了基于该模型从2D面部图像恢复3D面部网格的方法，该方法可提供3D面部重建和密集的面部对齐结果。3DMM是从高质量人脸扫描中学到的人脸几何形状和纹理的仿射参数模型。它是基于PCA的实现，可以通过线性基础的组合来生成新的形状实例。在过去的两年中，人们开始使用卷积神经网络(CNN)从图像中回归3DMM的参数。其他研究人员通过训练CNN来学习变换参数，该参数在变换后的2D图像和输入图像之间以可区分的渲染层和自监督策略进行协作。诸如之类的方法将3D人脸坐标与2D表示(投影坐标码(PNCC)，量化共形)进行回归映射，或者用保形贴图UV位置图来表示3D人脸信息。尽管这些方法可以通过2D表示回归3D几何信息，但是它们仍然将噪声引入到原始样本中，因此这些方法取决于2D表示的能力。图卷积网络(GCN)可以处理非网格状数据，例如3D面网格，并且可以直接在网格上进行卷积而无需2D表示，这可以减少信息损失。CoMA提出了一种网格自动编码器，以学习3D面部表面上的非线性表示并通过GCN重建3D面部网格。CoMA提出了一种自动编码器结构网络，该网络将图像编码为潜在的嵌入向量，然后通过GCN解码为3D人脸网格。但是，在编码的下采样过程中，人脸图像的某些内容信息将丢失，并且只通过潜在的嵌入向量并不能充分体现高级语义信息和2D人脸的低层特征。
技术实现思路
本专利技术的一个目的是提供一种人脸校准方法及设备。根据本专利技术的一个方面，提供了一种人脸校准方法，该方法包括：获取2D人脸照片；对所述2D人脸照片进行正常卷积操作，得到中间层的特征图；对所述中间层的特征图进行图卷积操作，得到3D人脸的顶点坐标。进一步的，上述方法中，对所述2D人脸照片进行正常卷积操作，得到中间层的特征图，包括：采用编码器对所述2D人脸照片进行正常卷积操作，得到中间层的特征图，所述编码器的结构包括6个聚合块和两个完全连接层，其中，每个聚合块包含一系列残差卷积块，其中，每个残差卷机块有3个具有残差连接的卷积层，将BatchNormalization层和LeakyRelu作为激活函数，每个残差卷机层的滤波器的内核大小为3且跨度为1，输入的2D人脸照片经过每个聚合块之后，特征图的大小将减小一半；然后应用两个完全连接层来构造256×1尺寸的嵌入向量。进一步的，上述方法中，对所述中间层的特征图进行图卷积操作，得到3D人脸的顶点坐标，包括：采用解码器对所述中间层的特征图进行图卷积操作，得到3D人脸的顶点坐标，其中，所述解码器从图卷积聚合块中进行嵌入和多级输出，然后使用6个密集图卷积块进行解码，每个密集图卷积块由4个图卷积层组成，每个图卷积层之后是批处理规范化层和LeakyRelu作为激活函数，在每个密集图卷积块之后，将顶点的数量从16升采样到16384，并且每个顶点由矢量表示，最后，添加两个图卷积层以生成3D面网格，从而对3D面网格进行升采样顶点到53215，并将顶点特征图通道减少到3。进一步的，上述方法中，对所述中间层的特征图进行图卷积操作，得到3D人脸的顶点坐标，包括：对所述中间层的特征图进行预处理，得到预处理后的数据；对所述预处理后的数据进行图卷积操作，得到图卷积操作结果；对所述图卷积操作结果实现图聚合块，得到3D人脸的顶点坐标。进一步的，上述方法中，对所述中间层的特征图进行预处理，得到预处理后的数据，包括：用顶点和边表示3D人脸面部网格，F＝(V，A)，其中，V表示3D人脸顶点的集合，V＝3D欧氏空间中的N个顶点，V∈RN×3，顶点之间的边连接由稀疏邻接矩阵A∈{0，1}N×N表示，其中，Ai，j＝1表示顶点i和顶点j由边连接，否则Ai，j＝0。进一步的，上述方法中，对所述预处理后的数据进行图卷积操作，得到图卷积操作结果，包括：通过使用递归切比雪夫多项式进行卷积运算，用内核滤波器gθ表示网格滤波在傅立叶空间中的定义，内核滤波器gθ参数化为K阶的切比雪夫多项式展开:其中，L^代表新拉普拉斯算子,参数θk是切比雪夫系数的一个向量，Tk是K阶的切比雪夫多项式，所述K阶的切比雪夫多项式可以递归地计算为TK(x)＝2xTk-1(x)Tk-2(x)，T0＝1,T1＝x，因此，频谱卷积定义为：其中，输入x∈RN×Fin具有Fin个特征，且Fin＝3，由于顶点的面网格是3D且y∈RN×Fout，Fout是输出。进一步的，上述方法中，对所述图卷积操作结果实现图聚合块，得到3D人脸的顶点坐标，包括：用置换矩阵Qd∈{0,1}m×n向下采样,使得最终得到具有m个顶点的网格，n为初始顶点个数，其中，Qd(i,j)＝1表示保留第j个顶点，否则，Qd(i,j)＝0；使用另一个变换矩阵Qu∈Rm×n进行上采样。根据本专利技术的另一方面，还提供一种人脸校准设备，该设备包括：第一装置，用于获取2D人脸照片；第二装置，用于对所述2D人脸照片进行正常卷积操作，得到中间层的特征图；第三装置，用于对所述中间层的特征图进行图卷积操作，得到3D人脸的顶点坐标。根据本专利技术的另一方面，还提供一种基于计算的设备，其中，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：获取2D人脸照片；对所述2D人脸照片进行正常卷积操作，得到中间层的特征图；对所述中间层的特征图进行图卷积操作，得到3D人脸的顶点坐标。根据本专利技术的另一面方面，还提供一种计算机可读存储介质，其上存储有计算机可执行指令，其中，该计算机可执行指令被处理器执行时使得该处理器：获取2D人脸照片；对所述2D人脸照片进行正常卷积操作，得到中间层的特征图；对所述中间层的特征图进行图卷积操作，得到3D人脸的顶点坐标。根据本专利技术的另一方面，还提供了一种人脸校准设备，该设备包括：与现有技术相比，本专利技术的聚合体系结构与分层和迭代融合功能密切相关。本专利技术提出了一种新颖的聚合回归网络(AR-GCN)，该网络可以更好地提取跨渠道和分辨率的语义和空间信息的全谱。本专利技术的网络由一个编码器和一个解码器组成，它们通过一系列嵌套的残差卷积块(聚合块)相连。本专利技术门设计了解码器中每个降采样操作之后剩余的顶点数，以及编码器中每个卷积块之后的特征图大小，以使它们彼此相等。因本文档来自技高网...

【技术保护点】
1.一种人脸校准方法，其中，该方法包括：/n获取2D人脸照片；/n对所述2D人脸照片进行正常卷积操作，得到中间层的特征图；/n对所述中间层的特征图进行图卷积操作，得到3D人脸的顶点坐标。/n

【技术特征摘要】
1.一种人脸校准方法，其中，该方法包括：
获取2D人脸照片；
对所述2D人脸照片进行正常卷积操作，得到中间层的特征图；
对所述中间层的特征图进行图卷积操作，得到3D人脸的顶点坐标。


2.根据权利要求1所述的方法，其中，对所述2D人脸照片进行正常卷积操作，得到中间层的特征图，包括：
采用编码器对所述2D人脸照片进行正常卷积操作，得到中间层的特征图，所述编码器的结构包括6个聚合块和两个完全连接层，其中，
每个聚合块包含一系列残差卷积块，其中，每个残差卷机块有3个具有残差连接的卷积层，将BatchNormalization层和LeakyRelu作为激活函数，每个残差卷机层的滤波器的内核大小为3且跨度为1，输入的2D人脸照片经过每个聚合块之后，特征图的大小将减小一半；然后应用两个完全连接层来构造256×1尺寸的嵌入向量。


3.根据权利要求1所述的方法，其中，对所述中间层的特征图进行图卷积操作，得到3D人脸的顶点坐标，包括：
采用解码器对所述中间层的特征图进行图卷积操作，得到3D人脸的顶点坐标，其中，所述解码器从图卷积聚合块中进行嵌入和多级输出，然后使用6个密集图卷积块进行解码，每个密集图卷积块由4个图卷积层组成，每个图卷积层之后是批处理规范化层和LeakyRelu作为激活函数，在每个密集图卷积块之后，将顶点的数量从16升采样到16384，并且每个顶点由矢量表示，最后，添加两个图卷积层以生成3D面网格，从而对3D面网格进行升采样顶点到53215，并将顶点特征图通道减少到3。


4.根据权利要求1所述的方法，其中，对所述中间层的特征图进行图卷积操作，得到3D人脸的顶点坐标，包括：
对所述中间层的特征图进行预处理，得到预处理后的数据；
对所述预处理后的数据进行图卷积操作，得到图卷积操作结果；
对所述图卷积操作结果实现图聚合块，得到3D人脸的顶点坐标。


5.根据权利要求4所述的方法，其中，对所述中间层的特征图进行预处理，得到预处理后的数据，包括：
用顶点和边表示3D人脸面部网格，F＝(V，A)，其中，V表示3D人脸顶点的集合，V＝3D欧氏空间中的N个顶点，V∈RN×3，顶点之间的边连接由稀疏邻接矩阵A∈{0，1...

【专利技术属性】
技术研发人员：孟彦达，杨晓云，
申请(专利权)人：中科智云科技有限公司，上海点泽智能科技有限公司，
类型：发明
国别省市：安徽;34