一种三维人脸模型的调整方法技术

本发明专利技术公开了一种三维人脸模型的调整方法，包括以下步骤：在三维人脸模型上指定至少５５个初始特征点并划分为６个特征区域；对初始特征点进行局部性和全局性的对称化调整；再将对称调整后的三维特征点进行全局的比例调整；将比例调整后的三维特征点进行非线性最小二乘优化进行侧脸调节，再采用拉普拉斯变形算法，将初始特征点与侧脸调整后的三维特征点进行线性方程组求解，得到调整后的三维人脸模型。本发明专利技术采用保细节特征的拉普拉斯变形技术，调整美化的同时保留住了人脸上的大部分细节特征信息，且算法明确，界面友好，结果鲁棒，可用于虚拟人脸整容、网络视频聊天、计算机游戏、视频会议和计算机动画等领域。

【技术实现步骤摘要】

本专利技术涉及计算机图形与图像处理领域，特别是涉及一种三维人脸网格模型的调整方法。
技术介绍
毋庸置疑，在日常生活中人们很在乎一个人的脸蛋是否漂亮。比如，女孩会喜欢通 过化妆来使自己变得更漂亮些，越来越多的人愿意花钱去美容院做整形手术。近年来，很多 研究人员对怎样的人脸才是漂亮的以及如何让人脸变得更漂亮做了大量的研究。有些研 究人员通过前人的理论与真实的实验数据验证了一个人是否漂亮是与对称性、古典主义准 则和黄金分割率这三个因素密切相关的，并提出了一套如何计算二维人脸图像美丽值的方 法，参见K. Schmid， D.Mark and A. Samal. Computation of a faceattractiveness index based on neoclassical canons, symmetry, and golden ratios. Pattern Recognition, 2008， pp. 2710-2717。 一些韩国研究人员通过大量的人脸美容临床实验，提出通过使侧 脸特征点之间的某些角度符合一些经验标准值来使人脸变得漂亮的理论，参见H. Park, S. Rhee， S. Kang and J丄ee. Harmonized profiloplasty using balanced angular profile analysis. AestheticPlastic Surgery, 2004， pp.89_97。 最近，一些研究人员提出了一种人脸图像自动化妆的方法。该方法通过对化妆实 例对进行学习，即学习化妆前与化妆后二张图像的差别信息，然后将实例对的化妆效果真 实地转移到未化妆的图像上来，参见W. Tong， C.Tang， M.Brown and Y. Xu. Example-based cosmetic transfer. InProceedings of 15th Pacific Conference on Computer Graphics andA卯lications，2007， pp. 211-218。还有一些研究人员提出了另一种人脸图像自动化 妆方法，该方法无需化妆实例对，只需要一张化过妆的实例，就可以将其效果高效的移植到 未化妆的图像上来，参见D. Guo and T. Sim. Digital face makeup by example. In CVPR， 2009.然而，这两种方法均只是简单地改变人脸图像的颜色与细节信息，并没有改变人脸 图像的任何几何特征信息，因而没有根本性的提高人脸的吸引力。最近，一些研究人员提 出了一种基于数据驱动的二维人脸图像的美化方法。该方法通过机器学习的方法对一些 比较漂亮的人脸图像库进行学习，然后将学习得到的特征转移到未美化的图像上来，并对 整张图像进行非线性变换，在只对原始图像进行微小改动的情况下，得到效果突出的美 化后的人脸图像，参见T. Ley丽d， D. Cohen-0r， G. Dror and D. Lischinski. Date-driven enhancementof facial attractiveness. ACM Transactions on Graphics, 2008.然而，这 个方法只适用于二维人脸图像的美化，它并无法直接对三维人脸网格模型进行调整美化。
技术实现思路
本专利技术提供了一种既能保留人脸细节特征又能提高人脸吸引力的三维人脸模型 的调整方法。 为了达到上述目的，本专利技术采用以下技术方案 —种三维人脸模型的调整方法，包括以下五个步骤 (1)三维扫描仪获取三维人脸模型后，交互地在三维人脸模型上指定人脸的至少 55个初始特征点并将三维人脸模型划分为6个特征区域；多于55个初始特征点可以进行 更细致地调整，但会增加计算量。 (2)采用最小二乘变换技术，对三维人脸模型上的6个特征区域的初始特征点进 行局部性和全局性的对称化调整，得到对称调整后的三维特征点； (3)依据人脸的古典主义法则和黄金分割率法则，将对称调整后的三维特征点进 行全局的比例调整，得到比例调整后的三维特征点； (4)采用侧脸纠正方法，将比例调整后的三维特征点进行非线性最小二乘优化，得 到侧脸调整后的三维特征点； (5)采用拉普拉斯变形算法，将初始特征点与侧脸调整后的三维特征点进行线性 方程组求解，得到调整后的三维人脸模型。 步骤(1)中，三维扫描仪获取三维人脸模型后，交互地在三维人脸模型上指定人脸的55个初始特征点并将三维人脸模型划分为6个特征区域的方法如下 先将三维扫描仪获取的三维人脸模型放于指定的空间坐标系中，使z轴正方向与人脸的正面方向一致，y轴正方向与人脸的头顶方向一致。根据国际标准中关于人脸特征点位置的相关说明与自己定义的19个特征点位置，利用人机交互技术，手工地在三维人脸模 型上指定55个初始特征点。大部分特征点的空间坐标位置分布可参见J. Shi，A. Samal and D. Marx. How effective are landmarks and their geometry for face recognition Computer Vision and Image Understanding, pp. 117-133以及H. Park, S. Rhee， S. Kang and J.Lee. Harmonized profiloplasty using balanced angular profileanalysis. Aesthetic Plastic Surgery, pp. 89_97。 初始特征点的序号从零开始，其中，第零初始特征点直至第三十初始特征点与第 三十六，第三十七，第五十四初始特征点将用于比例性与对称性的调整操作，第二初始特征 点，第十七初始特征点，第十八初始特征点，第十九，第二十二，第二十七，第三十一初始特 征点，第三十二初始特征点，第三十三初始特征点，第三十四初始特征点，第三十五初始特 征点，第三十六初始特征点，第三十七初始特征点将用于侧脸调整操作，除这些点之外的其 它初始特征点将用于三维人脸外形轮廓的控制。 根据人脸上关键特征的分布，将人脸划分成以下6个特征区域眉毛特征区域、眼 睛特征区域、鼻子特征区域、嘴唇特征区域、耳朵特征区域、脸颊特征区域。这些特征区域 的初始特征点以特征点对的形式出现。其中，眉毛特征区域包含第一特征点对和第二特征 点对，其中第一特征点对由第一初始特征点和第三初始特征点组成，第二特征点对由第六 初始特征点和第七初始特征点组成；眼睛特征区域包含第三特征点对、第四特征点对和第 五特征点对，其中，第三特征点对由第十初始特征点和第十三初始特征点组成，第四特征点 对由第十一初始特征点和第十二初始特征点组成，第五特征点对由第十四初始特征点和第 十五初始特征点组成；鼻子特征区域包含第六特征点对，第六特征点对由第十七初始特征 点和第十九初始特征点组成；嘴唇特征区域包含第七特征点对和第八特征点对，其中第七 特征点对由第二十一初始特征点和第二十三初始特征点组成，第八特征点对由第二十四初 始特征点和第二十六初始特征点组成，耳朵特征区第十一特征点对，其中，第九特征点本文档来自技高网...

【技术保护点】
一种三维人脸模型的调整方法，其特征在于：包括以下步骤：（１）三维扫描仪获取三维人脸模型后，在三维人脸模型上指定人脸的至少５５个初始特征点并将三维人脸模型划分为６个特征区域；（２）采用最小二乘变换技术，对三维人脸模型上的６个特征区域的初始特征点进行局部性和全局性的对称化调整，得到对称调整后的三维特征点；（３）将对称调整后的三维特征点进行全局的比例调整，得到比例调整后的三维特征点；（４）采用侧脸纠正方法，将比例调整后的三维特征点进行非线性最小二乘优化，得到侧脸调整后的三维特征点；（５）采用拉普拉斯变形算法，将初始特征点与侧脸调整后的三维特征点进行线性方程组求解，得到调整后的三维人脸模型。

【技术特征摘要】

【专利技术属性】
技术研发人员：廖绮绮，金小刚，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]