一种三维京剧脸谱自动化妆方法技术

本发明专利技术公开了一种三维京剧脸谱自动化妆方法，包括步骤：从输入源获取图像输入，进行人脸检测和人脸特征点定位并将特征点标注在图像上；对特征点进行人脸归一化处理；计算归一化后的人脸图像的深度信息，并根据深度信息重建三维点云；根据特征点信息对人脸图像进行三角分块操作；在准备好的京剧脸谱图片上，手工标注特征点，并对京剧脸谱进行相同的三角分块操作；将所述京剧脸谱上的每个三角块着色到人脸图像上；使用京剧脸谱将所述三维点云进行重新着色，并展现给用户。本发明专利技术自动计算出人脸特征点的坐标和人脸三维模型，运用计算机视觉和图像处理相关的技术，将事先手工标定好特征点的京剧脸谱描绘到目标人脸的三维模型上。

【技术实现步骤摘要】
一种三维京剧脸谱自动化妆方法
本专利技术涉及计算机视觉
和图像处理
，尤其涉及一种三维京剧脸谱自动化妆方法。
技术介绍
摄像头已经被广泛的运用于视频会议、视频监控等日常生活中。普通的人也可以非常简单地通过摄像头在互联网上进行视频聊天，使得沟通更为高效和有趣。VahidKazemi和JosephineSullivan在2014年的CVPR上发表了题为《OneMillisecondFaceAlignmentwithanEnsembleofRegressionTrees》的文章。这篇文章公开了一种人脸特征点定位的方法。通过基于回归树的方法，实现了对人脸特征点的自动标定，并且速度极快，处理一张图只需1ms的时间。特征点包括了眉毛、眼睛、鼻子、嘴巴以及下巴轮廓等68个点。MinsikLee和Chong-HoChoi在2014年的CVIU上发布了文章《Real-timefacialshaperecoveryfromasingleimageundergeneral，unknownlightingbyrankrelaxation》。文章中公开了一种重建人脸三维模型的方法。文中利用张量相乘，SVD分解，秩松弛等方法，实现了一般场景，未知光照条件下的人脸深度图重建，并且算法能够达到实时性要求。上述技术仅仅是标出人脸的68个特征点的坐标，以及重建了人脸的三维模型，但是没有对这些信息进行再一步的处理。
技术实现思路
本专利技术为实现三维京剧脸谱的自动化妆，提出一种三维京剧脸谱自动化妆方法，自动计算出人脸特征点的坐标和人脸三维模型，然后运用计算机视觉和图像处理相关的技术，将事先手工标定好特征点的京剧脸谱描绘到目标人脸的三维模型上。本专利技术的技术方案是这样实现的：一种三维京剧脸谱自动化妆方法，包括步骤S1：从输入源获取图像输入，进行人脸检测和人脸特征点定位，如果输入图像中存在人脸，则将特征点标注在图像上；S2：对所述特征点进行人脸归一化处理；S3：计算归一化后的人脸图像的深度信息，并根据所述深度信息重建三维点云；S4：根据所述特征点信息对人脸图像进行三角分块操作；S5：在准备好的京剧脸谱图片上，手工标注特征点，并对京剧脸谱进行和所述人脸图像相同的三角分块操作；S6：将所述京剧脸谱上的每个三角块进行仿射变化，着色到人脸图像上；S7：根据人脸图像和三维点云的坐标对应关系，使用京剧脸谱将所述三维点云进行重新着色，并展现给用户。进一步地，步骤S1中所述人脸特征点包括人脸轮廓边缘和五官位置。进一步地，步骤S2中所述归一化处理包括步骤：以两个眼球以及鼻尖的坐标为基准，进行仿射变换。进一步地，步骤S3中计算归一化后的人脸图像的深度信息的方法包括步骤：归一化后的人脸图像与事先训练好的张量进行相乘，进行SVD分解操作，输出图像中每个像素点的深度信息。进一步地，步骤S4中所述三角分块操作包括步骤：采用delaunay三角剖分算法，将人脸分为互不重叠的112个三角形。进一步地，步骤S6中人脸图像着色包括步骤：S61：根据脸谱中三角形顶点的坐标、以及真实人脸图像中特征点的位置计算出合适的仿射变换矩阵；S62：将仿射变换矩阵应用于脸谱图像，计算出人脸中每个点对应的RGB颜色值，RGB值为脸谱图像中的颜色值；S63：如果变换后的坐标点不在整点上，则采用双线性插值计算估计值。更进一步地，步骤S7中所述将所述三维点云进行重新着色包括步骤：S71：计算归一化变换所使用的仿射变换矩阵的逆变换矩阵；S72：将逆变换矩阵用于点云中每个点的坐标上，获取每个点对应人脸图像的坐标，从而得到对应的RGB颜色值；S73：如果变换后的坐标点不在整点上，则采用双线性插值计算估计值。本专利技术的有益效果在于，现有的方法都只是针对二维的平面图像，而本方法所输出的结果为化妆后的三维点云模型，具有展现效果好，更加贴近现实等优势；本方法采用的人脸特征点定位、人脸三维重建和自动贴图技术，降低了常规进行此操作时繁琐的步骤，并其方法的速度快，实时性好，能够将其运用到摄像头实时视频处理中，设备硬件要求简单，易普及，易使用等特点，方便了京剧脸谱的化妆。附图说明图1是本专利技术一种三维京剧脸谱自动化妆方法流程图；图2是本专利技术中对图片进行人脸识别并标注了特征点的人脸图像示意图；图3是本专利技术中人脸归一化操作后的人脸图片示意图；图4是本专利技术中三维点云模型图片；图5是京剧脸谱进行三角分块后的图片示意图；图6是本专利技术中用京剧脸谱上的颜色块对分块后的人脸进行着色示意图；图7是对图4的三维点云图片进行着色后的图片。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参见图1，本专利技术一种三维京剧脸谱自动化妆方法，包括步骤S1：从输入源获取图像输入，进行人脸检测和人脸特征点定位，如果输入图像中存在人脸，则将特征点标注在图像上，标注了特征点的人脸图像如图2所示；S2：对所述特征点进行人脸归一化处理，人脸归一化操作后的人脸图片如图3所示；S3：计算归一化后的人脸图像的深度信息，并根据所述深度信息重建三维点云，三维点云模型图片如图4所示；S4：根据所述特征点信息对人脸图像进行三角分块操作；S5：在准备好的京剧脸谱图片上，手工标注特征点，并对京剧脸谱进行和所述人脸图像相同的三角分块操作，京剧脸谱进行三角分块后的图片如图5所示；S6：将所述京剧脸谱上的每个三角块进行仿射变化，着色到人脸图像上，用京剧脸谱上的颜色块对分块后的人脸进行着色后的图片如图6所示；S7：根据人脸图像和三维点云的坐标对应关系，使用京剧脸谱将所述三维点云进行重新着色，并展现给用户，对三维点云图片进行着色后的图片如图7所示。其中，步骤S1中所述人脸特征点包括人脸轮廓边缘和五官位置，所述五官为两个眼球、鼻尖、两个嘴角。步骤S2中所述归一化处理包括步骤：以两个眼球以及鼻尖的坐标为基准，进行仿射变换，变换后的人脸大小为120*100像素。步骤S3中计算归一化后的人脸图像的深度信息的方法包括步骤：归一化后的人脸图像与事先训练好的张量进行相乘，进行SVD分解操作，输出图像中每个像素点的深度信息，可参考MinsikLee,和Chong-HoChoi在2014年发表在CVIU上的文章《Real-timefacialshaperecoveryfromasingleimageundergeneral,unknownlightingbyrankrelaxation》。步骤S4中所述三角分块操作包括步骤：采用delaunay三角剖分算法，将人脸分为互不重叠的112个三角形。步骤S6中人脸图像着色包括步骤：S61：根据脸谱中三角形顶点的坐标、以及真实人脸图像中特征点的位置计算出合适的仿射变换矩阵；S62：将仿射变换矩阵应用于脸谱图像，计算出人脸中每个点对应的RGB颜色值，RGB值为脸谱图像中的颜色值；S63：如果变换后的坐标点不在整点上，则采用双线性插值计算估计值。更进一步地，步骤S7中所述将所述三维点云进行重新着色包括步骤：S71：计算归一化变换所使用的仿射变换矩本文档来自技高网...

【技术保护点】
一种三维京剧脸谱自动化妆方法，其特征在于，包括步骤S1：从输入源获取图像输入，进行人脸检测和人脸特征点定位，如果输入图像中存在人脸，则将特征点标注在图像上；S2：对所述特征点进行人脸归一化处理；S3：计算归一化后的人脸图像的深度信息，并根据所述深度信息重建三维点云；S4：根据所述特征点信息对人脸图像进行三角分块操作；S5：在准备好的京剧脸谱图片上，手工标注特征点，并对京剧脸谱进行和所述人脸图像相同的三角分块操作；S6：将所述京剧脸谱上的每个三角块进行仿射变化，着色到人脸图像上；S7：根据人脸图像和三维点云的坐标对应关系，使用京剧脸谱将所述三维点云进行重新着色，并展现给用户。

【技术特征摘要】
1.一种三维京剧脸谱自动化妆方法，其特征在于，包括步骤S1：从输入源获取图像输入，进行人脸检测和人脸特征点定位，如果输入图像中存在人脸，则将特征点标注在图像上；S2：对所述特征点进行人脸归一化处理；S3：计算归一化后的人脸图像的深度信息，并根据所述深度信息重建三维点云；S4：根据所述特征点信息对人脸图像进行三角分块操作；S5：在准备好的京剧脸谱图片上，手工标注特征点，并对京剧脸谱进行和所述人脸图像相同的三角分块操作；S6：将所述京剧脸谱上的每个三角块进行仿射变化，着色到人脸图像上；S7：根据人脸图像和三维点云的坐标对应关系，使用京剧脸谱将所述三维点云进行重新着色，并展现给用户。2.如权利要求1所述的三维京剧脸谱自动化妆方法，其特征在于，步骤S1中所述人脸特征点包括人脸轮廓边缘和五官位置。3.如权利要求1所述的三维京剧脸谱自动化妆方法，其特征在于，步骤S2中所述归一化处理包括步骤：以两个眼球以及鼻尖的坐标为基准，进行仿射变换。4.如权利要求1所述的三维京剧脸谱自动化妆方法，其特征在于，步骤S3中计算归一化后的人脸图像的深度信息的方法包括步骤：...

【专利技术属性】
技术研发人员：赖剑煌，杨君，谢晓华，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44