一种三维人脸模型自动调整方法技术

本发明专利技术公开了一种三维人脸模型的自动调整方法，包括以下步骤：三维扫描仪获取三维人脸模型，从三个角度获取三维人脸带纹理的投影图；对投影图进行二维特征点检测；将二维特征点反投影到三维中获取三维特征点；使用PCA脸部模型拟合原始三维人脸模型；对初始对齐网格进行3D配准，求解能量方程；对最终对齐网格重新计算纹理坐标；对配准后的三维人脸进行调整，得到调整后的三维人脸模型。本发明专利技术采用了一套自动识别三维人脸特征点技术并在此基础上对人脸进行调整的技术，能够对通过三维扫描仪采集到的三维人脸实施一键美化，简单方便，且算法明确，界面友好，结果鲁棒，可用于虚拟人脸整容、计算机动画和计算机游戏等领域。

【技术实现步骤摘要】
一种三维人脸模型自动调整方法
本专利技术涉及计算机图形与图像处理领域，特别是一种涉及三维网格人脸的自动调整方法。
技术介绍
人们都希望拥有一个漂亮的脸蛋，整容也变得越来越流行。通过三维扫描仪获取三维的人脸模型，然后对扫描出的人脸模型进行模拟整容也成为一些美容机构的吸引客户的主要方式。但是通过手工对三维人脸模型进行整容需要大量的操作，不能够很快的给客户展示整容结果。现有的三维人脸调整方法主要有两种观点。一种是观点是认为不存在唯一的美丽面部特征（例如嘴、鼻子、下巴），只有当面部特征和其余特征搭配的好才会具有吸引力，因此他们提出了一种对整形手术的规划系统，根据患者脸部特征自动提供推荐的整形方案，参见BottinoA,DeSimoneM,LaurentiniA,etal.Anew3-Dtoolforplanningplasticsurgery.IEEETransactionsonBiomedicalEngineering,2012,59(12):3439-3449。另一种观点是认为一个人是否漂亮是与对称性、古典主义准则和黄金分割率这三个因素密切相关，因此提出了一套能够调整三维人脸模型的系统，该系统会在保细节特征的情况下通过调整人脸的对称性和比例提升人脸的吸引力，参见LiaoQ,JinX,ZengW.Enhancingthesymmetryandproportionof3Dfacegeometry.IEEEtransactionsonvisualizationandcomputergraphics,2012,18(10):1704-1716。然而这两个方法都需要手动地在三维人脸模型上手动标注特征点，并无法直接地对通过三维扫描仪获取到的人脸模型进行调整。
技术实现思路
针对现有技术上的不足，本专利技术提供了一种三维人脸模型自动调整方法，能够自动检测三维人脸模型中的特征点并对三维人脸模型进行美化调整。为了达到上述目的，本专利技术采用以下技术方案：一种三维人脸模型的自动调整方法，其特征在于：包括以下七个步骤：(1)三维扫描仪获取三维人脸模型后，从三个角度获取三维人脸带纹理的投影图，方法如下：先将三维扫描仪获取的三维人脸模型放置于指定的空间坐标系中，使z轴正方向与人脸的正面方向一致，y轴正方向与人脸的头顶方向一致，提取正方向人脸带纹理的投影图；将人脸以y轴为旋转轴，视线沿着y轴正方向顺时针旋转15度，提取右侧人脸带纹理的投影图；将人脸以y轴为旋转轴，视线沿着y轴正方向逆时针旋转30度，提取左侧人脸带纹理的投影图。(2)利用OpenFace的API对步骤(1)中获取的人脸投影图进行特征点检测，获取二维图像上眼睛、鼻子、嘴、眉毛和脸部轮廓的共68个特征点，方法如下：使用OpenFace的API对步骤(1)中获取的三个角度人脸投影图分别识别出人脸68个特征点，包括脸部轮廓17个，左眉毛5个，右眉毛5个，鼻梁4个，鼻孔底部5个，左眼6个，右眼6个，上嘴唇外缘7个，下嘴唇外缘5个，嘴唇内侧8个。其中左眉毛5个特征点、右眉毛5个特征点、鼻梁4个特征点、鼻孔底部5个特征点、左眼6个特征点、右眼6个特征点、上嘴唇外缘7个特征点、下嘴唇外缘5个特征点、嘴唇内侧8个特征点和下颌1个特征点从人脸正脸投影图获取，左侧脸颊的8个特征点从左侧人脸投影图获取，右侧脸颊的8个特征点从右侧人脸投影图获取。(3)对步骤(2)中获取的二维图像中的特征点反投影到三维模型上，获取三维模型的特征点，方法如下。根据眼睛、鼻子、嘴、眉毛、脸部轮廓特征点在二维投影中的位置，获取当前角度下投影到当前像素点对应的三维网格上的点，并计算在三维人脸上离该点最近的三维顶点，将这个顶点作为二维特征点对应的三维特征点。(4)使用PCA脸部模型拟合原始的三维人脸模型，利用PCA脸部模型特征点与步骤(3)中获取的三维特征点对应来增加拟合精度，得到初始对齐网格，方法如下：这里采用PCA(PrincipalComponentsAnalysis)脸部模型方法(参见BlanzV,VetterT.Amorphablemodelforthesynthesisof3Dfaces.Proceedingsofthe26thannualconferenceonComputergraphicsandinteractivetechniques.ACMPress/Addison-WesleyPublishingCo.,1999,PP.187-194.)，这里PCA模型使用PaysanP,KnotheR,AmbergB,etal.A3Dfacemodelforposeandilluminationinvariantfacerecognition,AdvancedVideoandSignalBasedSurveillance,2009.AVSS'09.SixthIEEEInternationalConferenceon.IEEE,2009:296-301.提供的开源人脸数据库。使用PCA方法对200张3D扫描的人脸模型训练得到PCA脸部模型；在PCA脸部模型上标记好68个用于三维配准的特征点和55个用于人脸美化的特征点；用PCA模型拟合原始的三维人脸模型(参见CaoC,WengY,ZhouS,etal.Facewarehouse:A3dfacialexpressiondatabaseforvisualcomputing.IEEETransactionsonVisualizationandComputerGraphics,2014,20(3):413-425.)，并利用PCA脸部模型的三维配准特征点与步骤(3)中获取的三维特征点对应来增加拟合精度。这里利用PCA进行拟合的能量方程式设置如下：其中：表示原始人脸68个特征点到PCA平均人脸上68个特征点的距离平方和，用来进行特征点对齐，为特征点的个数，表示第个特征点坐标，表示在步骤(3)中获取的对应于的脸部特征点的坐标。表示原始人脸上的三维点到平均人脸上的对应点之间的距离平方和，表示对应点的个数，是原始人脸三维点的坐标，表示原始人脸上的三维点在平均人脸上的对应点。表示Tikhonov正则化能量项，是最后要求解的PCA系数，，是PCA人脸第个特征向量对应的特征值。求解能量方程得到拟合的PCA系数。最后通过PCA系数计算初始网格顶点坐标。初始网格顶点坐标计算公式如下：其中：表示平均人脸，表示PCA人脸模型第个特征向量，这里是199。(5)对步骤(4)中生成的初始对齐网格进行3D配准，通过求解能量方程得到最终对齐网格，方法如下：为获取更高精度，对步骤(4)中生成的初始对齐网格进行3D配准得到最终对齐网格。3D配准设置的能量方程式如下：其中：表示最终网格上的点到原始网格上的对应点距离的平方和；表示最终网格上的点到根据PCA拟合出的人脸模型对应点的距离平方和，其中表示PCA矩阵基底的第到行，表示各个主元的权值，表示平均人脸的第个顶点的坐标；表示最终网格上每条边到初始网格经过局部刚性变换后边的距离平方和，其中表示第个顶点的旋转矩阵。求解能量方程式得到最终网格上的点。(6)对步骤(5)中得到的最终对齐网格重新计算纹理坐标，得到配准后的三维人脸模型，方法如下：计算最终对齐网格上点到原始三本文档来自技高网...

【技术保护点】
1.一种三维人脸模型的自动调整方法，其特征在于：包括以下步骤：(1)三维扫描仪获取三维人脸模型后，从三个角度获取三维人脸带纹理的投影图；(2)利用OpenFace的API对步骤(1)中获取的人脸投影图进行特征点检测，获取二维图像上眼睛、鼻子、嘴、眉毛和脸部轮廓的共68个特征点；(3)对步骤(2)中获取的二维图像中的特征点反投影到三维模型上，获取三维模型的特征点；(4)使用PCA脸部模型拟合原始的三维人脸模型，利用PCA脸部模型特征点与步骤(3)中获取的三维特征点对应来增加拟合精度，得到初始对齐网格；(5)对步骤(4)中生成的初始对齐网格进行3D配准，通过求解能量方程得到最终对齐网格；(6)对步骤(5)中得到的最终对齐网格重新计算纹理坐标，得到配准后的三维人脸模型；(7)对步骤(6)中得到的配准后的三维人脸模型进行美化调整，得到调整后的三维人脸模型。

【技术特征摘要】
1.一种三维人脸模型的自动调整方法，其特征在于：包括以下步骤：(1)三维扫描仪获取三维人脸模型后，从三个角度获取三维人脸带纹理的投影图；(2)利用OpenFace的API对步骤(1)中获取的人脸投影图进行特征点检测，获取二维图像上眼睛、鼻子、嘴、眉毛和脸部轮廓的共68个特征点；(3)对步骤(2)中获取的二维图像中的特征点反投影到三维模型上，获取三维模型的特征点；(4)使用PCA脸部模型拟合原始的三维人脸模型，利用PCA脸部模型特征点与步骤(3)中获取的三维特征点对应来增加拟合精度，得到初始对齐网格；(5)对步骤(4)中生成的初始对齐网格进行3D配准，通过求解能量方程得到最终对齐网格；(6)对步骤(5)中得到的最终对齐网格重新计算纹理坐标，得到配准后的三维人脸模型；(7)对步骤(6)中得到的配准后的三维人脸模型进行美化调整，得到调整后的三维人脸模型。2.如权利要求1所述的三维人脸模型的自动调整方法，其特征在于：步骤(1)中获取三个角度投影图的方法如下：(2-1)先将三维扫描仪获取的三维人脸模型放置于指定的空间坐标系中，使z轴正方向与人脸的正面方向一致，y轴正方向与人脸的头顶方向一致，提取正方向人脸带纹理的投影图；(2-2)将人脸以y轴为旋转轴，视线沿着y轴正方向顺时针旋转15度，提取右侧人脸带纹理的投影图；(2-3)将人脸以y轴为旋转轴，视线沿着y轴正方向逆时针旋转30度，提取左侧人脸带纹理的投影图。3.如权利要求1所述的三维人脸模型的自动调整方法，其特征在于：步骤(2)中使用OpenFace的API对步骤(1)中获取的三个角度人脸投影图分别识别出人脸68个特征点，其中眉毛区域特征点、鼻子区域特征点、嘴唇区域特征点和下颌特征点从人脸正脸投影图中检测出的特征点获取，左侧脸颊区域的特征点从左侧人脸投影图中检测出的特征点获取，右侧脸颊区域的特征点从右侧人脸投影图中检测出的特征点获取。4.如权利要求1所述的三维人脸模型的自动调整方法，其特征在于：步骤(3)中将二维特征点反投影到三维特征点的方法如下：根据眼睛、鼻子、嘴、眉毛、脸部轮廓特征点在二维投影中的位置，获取当前角度下投影到当前像素点对应的三维网格上的点，并计算在三维人脸上离该点最近的三维顶点，将这个顶点作为二维特征点对应的三维特征点。5.如权利要求1所述的三维人脸模型的自动调整方法，其特征在于：步骤(4)中使用P...

【专利技术属性】
技术研发人员：张德峰，
申请(专利权)人：上海影子智能科技有限公司，
类型：发明
国别省市：上海,31