一种自动分割三维人脸模型区域的方法技术

本发明专利技术公开一种自动分割三维人脸模型区域的方法。输入数据为带纹理的个性化真实感三维人脸模型，一般采用激光扫描仪获取。首先，对三维人脸模型进行正向方位校正，使人脸摆放正面向前；然后对方位校正的三维人脸模型，用预设定的空间参数生成人脸二维图像，对人脸图像进行二维人脸特征点检测；根据图像检测出的二维人脸特征点和预设定的空间参数，逆向计算三维人脸特征点；接下来，利用对应特征将标准的人脸解剖分割模板与三维人脸进行配准对齐，利用对齐的人脸解剖分割模板对三维人脸进行自动分区。本发明专利技术实现过程简单、自动化程度高，发明专利技术对三维人脸识别、人脸模型娱乐、美容化妆设计以及整形术前预测有重要意义。

【技术实现步骤摘要】

本专利技术涉及三维网格分割领域，具体地，涉及一种自动分割三维人脸模型区域的方法。可以应用到三维人脸识别、人脸模型娱乐、美容化妆设计以及美容整形术前预测等领域。
技术介绍
近年来，计算机面部美容整形手术模拟系统逐步推广应用。其输入数据一般为激光扫描仪获取的带纹理的个性化真实感三维人脸模型。模拟软件可以帮助医生进行手术前的规划，选择最优手术方案和手术步骤，训练手术中的判断与决策能力，同时方便医患沟通交流。这些手术模拟系统的第一步往往是确定需要美容整形的人脸局部区域，通常需要手工编辑确定，增加了操作的难度。需要一种更加自动的方法分割三维人脸模型区域。三维人脸分割与三维人脸识别是密切相关的研究领域，常用于人脸识别的预处理。如鼻子区域匹配的基础往往与人脸姿势矫正有关，鼻子的定位经常作为三维人脸识别的重要步骤。大多数现有的三维人脸正向检测方法，主要是针对正面或侧面姿势。然而，在实际应用中输入三维人脸模型的鼻尖位置不一定是正向的，可能是任意朝向的姿势，虽然使用姿态不变的微分曲面特征分析可以解决这个问题，但是计算量较大。另一方面，二维人脸图像的识别研究相对比较成熟，但是直接的三维人脸模型的识别研究较难，并且计算量比二维人脸图像识别大很多。
技术实现思路
本专利技术通所要解决的问题是，针对上述现有技术的不足，提供一种自动分割三维人脸模型区域方法。输入数据为激光扫描仪获取的带
纹理的个性化真实感三维人脸模型(由于激光扫描仪一般获取头发模型有问题，人脸模型只包含前面部)。本专利技术所采用的技术方案为：一种自动分割三维人脸模型区域方法，包括以下步骤：1)对三维人脸模型进行正向方位校正，使人脸摆放正面向前；2)对方位校正的三维人脸模型，用预设定的空间参数生成人脸二维图像，对人脸图像进行二维人脸特征点检测；3)根据图像检测出的二维人脸特征点和预设定的空间参数，逆向计算三维人脸特征点；4)利用对应特征将标准的人脸解剖分割模板与三维人脸进行配准对齐；5)利用对齐的人脸解剖分割模板对三维人脸进行自动分区。所述步骤1)，首先采用多分辨率网格和主成分析法确定三维人脸模型的前向、水平和垂直方向，再根据人脸鼻子和嘴巴区域的特征分析确定人脸模型的鼻尖点和正面向上方向。由于输入三维人脸模型的初始方向是任意的，因此首先需要将人脸模型校正为正向朝向。对于这个问题，以往的研究通常采用一些姿态不变的表面特征来检测一些关键点，例如，眼睛角和鼻子等，这种方法需要大量计算。基于以下观察：对于缺少背面数据的三维扫描人脸模型，基本形状为半椭球，并且正面是凸出的一面，这个特征可以用来计算三维人脸模型正面的基本方向。但是，直接使用原始三维人脸模型进行计算，结果可能不稳定。本专利技术具体计算方法如下：首先，采用多分辨率网格技术，分别用45毫米平均边长、和90毫米平均边长生成两个层次的简化人脸网格模型；对45毫米边长人脸模型，采用经典的网格主成分分析法(PCI)分析3个主方向，即确定三维人脸的前后、水平和垂直方向；对90毫米边长人脸模型，计算模型中
部中心点和边界点平均中心点，边界点平均中心点指向中部中心点的方向进一步确定人脸模型由后向前的方向。对于前后方向已校正的人脸模型，可以方便的确定鼻子尖点。鼻子尖是脸上突出的一部分，可以观察到前后方向的人脸深度信息图中最突出点即为人脸模型的鼻尖点。从而可以进一步根据人脸鼻子和嘴巴区域的特征分析确定人脸模型正面向上方向。具体来说，用经过鼻尖点的局部水平面与人脸模型相交得到1条轮廓曲线；再向上下两侧分别以5毫米为间隔平移水平面4次，得到两组各4条轮廓线。采用典型的曲线特征分析方法，与经鼻尖点的中间轮廓线相似度较高的一组轮廓线认为分布在鼻部区域，相似度较低的一组轮廓线分布在嘴部区域，即可确定人脸正面向上方向。从而将三维人脸模型放置在一个标准的正面和垂直位置。所述步骤2)，对方位校正的三维人脸模型，用预设定的空间参数生成人脸二维图像，对人脸图像进行二维人脸特征点检测。首先，对三维人脸模型的三维渲染输入预设定的空间参数，包括视图窗口大小、相机位置和方向等，生成背景为纯色的二维人脸图像。二维图像上的人脸特征识别，例如眼睛、眉毛、鼻子、嘴角点等面部标志，是计算机视觉和图形学研究的一个经典问题。近年来，基于图像特征的显式线性回归人脸识别技术具有先进性和准确性，通过从图像上直接研究矢量回归函数来推断整个面部形状(一套面部标志点)，从而减少实验时的对齐误差，并且回归计算高效。本专利技术利用现有的显式回归方法检测二维人脸图像得到一组68个面部特征点。正前方向生成的人脸图像，可以准确检测脸中侧的人脸特征点。为了提高侧面标志点的检测精度，分别向左侧旋转30°和向右侧旋转30°生成其它2幅人脸图像，可以更准确的检测人脸两侧面的特征点。所述步骤3)，根据图像检测出的二维人脸特征点和预设定的空间参数，逆向计算三维人脸特征点。从二维人脸特征点计算三维人脸特征点位置的过程，类似于计算机图形中的拾取操作,即实现二维屏幕到三维图形空间的变换,也就
是三维图形显示的逆过程。由于保留了生成人脸图像时预设定的空间参数(视图窗口大小、相机位置和方向等)。具体来说，对于要处理的二维人脸特征点，计算其在生成的人脸图像时的屏幕坐标,并将其转换为客户区坐标,实现视区反变换；然后,通过投影矩阵和观察矩阵把该坐标转换为通过视点和屏幕坐标点的一条射入场景的射线,该射线与三维人脸模型进行求交计算，即可得到对应的三维人脸特征点的位置。当计算三维人脸标志点时，没有必要计算所有的二维人脸标志点，只需要计算一些与标准的人脸解剖分割模板相对应的解剖标志点。脸中侧的人脸特征点根据前方向生成的人脸图像进行计算，人脸两侧面的特征点根据左右侧旋转30°生成的人脸图像进行计算。所述步骤4),利用对应特征将标准的人脸解剖分割模板与三维人脸进行配准对齐。标准的人脸解剖分割模板是根据人脸解剖知识和美容整形手术需求，由专业建模软件制作，由一组关键点和曲线进行构建，将三维人脸分成18个区域，包括额头区、左右眉毛区，左右颞部区，左右眼部区，左右脸颊区域，左右鼻唇沟区，左右下颌区，鼻部区，鼻下区、上唇区、下唇区和下巴区。标准模板中的部分关键点与步骤3)中计算的三维人脸特征点具有对应关系，用于引导和三维人脸模型配准对齐。先进行基于对应标志点的刚性变换进行配准对齐，然后再进行局部自适应调整进一步改善配准结果。所述步骤5)利用对齐的人脸解剖分割模板对三维人脸进行自动分区。对配准对齐的人脸解剖分割模板中的网格边向个性化三维人脸进行投影，将这些投影的分割模板网格边作为人脸区域分割的边界轮廓线，即可自动进行三维人脸的区域分割操作。一共可以将将输入的三维人脸模型分割成18个区域，其中每一个区域涉及一种类型的美容整形外科手术的模拟操作。在真正的美容整形外科手术模拟中，不需要提取每一个子区域，而仅仅需要提取模拟手术中感兴趣的子区域。与现有技术相比，本专利技术所具的有益效果为：本专利技术无需用户交互，所有操作都能够实现自动化；本专利技术提出自动三维人脸区域分割，减少了以往计算机面部手术模拟系统中确定兴趣区域分割需要多次手动点击，操作复杂的问题；专利技术对三维人脸识别、人脸模型娱乐、美容化妆设计以及整形术前预测有重要意义。附图说明为了更清楚地本文档来自技高网...

【技术保护点】
一种自动分割三维人脸模型区域的方法，其特征在于，包括以下步骤：1)对三维人脸模型进行正向方位校正，使人脸摆放正面向前；2)对正向方位校正的三维人脸模型，用预设定的空间参数生成人脸二维图像，对人脸图像进行二维人脸特征点检测；3)根据图像检测出的二维人脸特征点和预设定的空间参数，逆向计算三维人脸特征点；4)利用对应特征将标准的人脸解剖分割模板与三维人脸进行配准对齐；5)利用对齐的人脸解剖分割模板对三维人脸进行自动分区。

【技术特征摘要】
1.一种自动分割三维人脸模型区域的方法，其特征在于，包括以下步骤：1)对三维人脸模型进行正向方位校正，使人脸摆放正面向前；2)对正向方位校正的三维人脸模型，用预设定的空间参数生成人脸二维图像，对人脸图像进行二维人脸特征点检测；3)根据图像检测出的二维人脸特征点和预设定的空间参数，逆向计算三维人脸特征点；4)利用对应特征将标准的人脸解剖分割模板与三维人脸进行配准对齐；5)利用对齐的人脸解剖分割模板对三维人脸进行自动分区。2.根据权利要求1所述的自动分割三维人脸模型区域方法，其特征在于，所述步骤1)中，首先采用多分辨率网格和主成分析法确定三维人脸模型的前向、水平和垂直方向，再根据人脸鼻子和嘴巴区域的特征分析确定人脸模型的鼻尖点和正面向上方向。3.根据权利要求2所述自动分割三维人脸模型区域方法，其特征在于，对于确定了前向、水平和垂直方向的三维人脸模型，利用前...

【专利技术属性】
技术研发人员：廖胜辉，罗雄，夏佳志，梁毅雄，邹北骥，王磊，陈再良，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南;43