一种基于仿射变换的人脸贴图方法和系统技术方案

本发明专利技术公开了一种基于仿射变换的人脸贴图方法和系统，其通过对标准人脸图进行特征点定位和特征点提取，并利用拉格朗日插值法对提取的标准人脸图的特征点进行曲线拟合，得到标准纹理坐标，然后对待处理人脸图进行特征点定位，并根据所述待处理人脸图的实际特征点，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标，最后利用所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特征点位置，得到效果人脸图；从而能够自适应各种形状的人脸部位，使得处理后的效果人脸图更自然，解决了自动装饰的鲁棒性问题。

【技术实现步骤摘要】

本专利技术涉及图像处理
，特别是一种基于仿射变换的人脸贴图方法及其应用该方法的系统。
技术介绍
近期，人脸识别技术的成熟使得一些装扮类APP得到了快速的发展。APP可以利用人脸识别和人脸检测技术为图片做特殊的人脸处理，例如自动化妆和自动加装饰。由于这类APP大多是使用设计师设计的内置素材，通过一定的转化将妆容叠加到人脸对应的位置上，从而达到化妆和装饰的效果，因此，精确匹配人脸各个部位理所当然成为这类APP的技术难点。要实现素材与人脸部位的精确匹配，除了需要精确的人脸关键点识别外，还需要一种自适应的素材纹理变形方案。目前市面上的APP大多是通过人脸识别定位人脸关键点位置，然后将通过某些拉伸/旋转/平移将一些妆容素材贴到目标图的目标位置。这种方法的的缺陷在于图像只能做单一的变换，而实际人脸眉毛形状多种多样，这样的变换比较难以适应各种眉毛，而且简单的拉伸/旋转/平移等操作容易产生效果失真。
技术实现思路
本专利技术为解决上述问题，提供了一种基于仿射变换的人脸贴图方法和系统，解决了自动装饰的鲁棒性问题，实现自适应各种不同形状的人脸部位。为实现上述目的，本专利技术采用的技术方案为：一种基于仿射变换的人脸贴图方法，其特征在于，包括以下步骤：10.获取标准人脸图，并对标准人脸图进行特征点定位和特征点提取；20.利用拉格朗日插值法对提取的标准人脸图的特征点进行曲线拟合，得到标准纹理坐标；30.获取待处理人脸图，并对待处理人脸图进行特征点定位；40.根据所述待处理人脸图的实际特征点，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标；50.利用将所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特征点位置，得到效果人脸图。优选的，所述的步骤10和步骤30中，对标准人脸图或待处理人脸图进行特征点定位，该特征点主要是指人脸的关键位置的离散的特征点，所述的步骤20中对标准人脸图的特征点进行曲线拟合，主要是利用拉格朗日插值法将各个离散的特征点根据所属人脸部位进行曲线拟合，得到该部位的轮廓形状。优选的，所述的步骤20中，通过曲线拟合得到标准纹理坐标，主要是对人脸部位的轮廓特征点进行补充，得到标准纹理坐标。优选的，所述的人脸部位主要是指人脸轮廓、眉毛、眼睛、鼻子、嘴唇，所述的特征点定位，主要是指人脸轮廓的高度位置、宽度位置、倾斜位置；眉毛最内侧位置、最外侧位置、中部最上方位置、中部最下方位置；眼睛的内侧眼角位置、外侧眼角位置、中部最上方位置、中部最下方位置、眼珠中心位置；鼻子的鼻尖最高点位置、鼻尖最低点位置、鼻翼最左侧位置、鼻翼最右侧位置；嘴唇的左侧嘴角位置、右侧嘴角位置、上嘴唇中部最上方位置、上嘴唇中部最下方位置、下嘴唇中部最上方位置、下嘴唇中部最下方位置。优选的，所述的步骤40中，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标，进一步包括以下步骤：41.预设人脸标准图中提取的特征点至少包括a,b,c三个点及对应的插值点d，待处理人脸图中对应部位的特征点至少包括a',b',c'三个点；42.通过所述的三角形△abc和△a'b'c'计算出仿射变换矩阵M；43.将所述的人类标准图中的插值点d乘以所述的仿射变换矩阵M，得到待处理人脸图中的对应插值点d'，从而得到待处理人脸图的对应部位的实际轮廓形状；44.将所述的标准纹理坐标根据所述的实际轮廓形状进行自适应匹配，得到变换纹理坐标。优选的，所述的步骤50中，利用所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特征点位置，主要是通过OpenGL绘制待处理人脸图的对应部位的三角形，从而利用所述的变换纹理坐标将贴图素材绘制到该部位对应位置，得到效果人脸图。另外，本专利技术还提供了一种基于仿射变换的人脸贴图系统，其特征在于，其包括：标准人脸特征定位模块，用于获取标准人脸图，并对标准人脸图进行特征点定位和特征点提取；标准纹理坐标生成模块，其利用拉格朗日插值法对提取的标准人脸图的特征点进行曲线拟合，得到标准纹理坐标；待处理人脸特征定位模块，用于获取待处理人脸图，并对待处理人脸图进行特征点定位；变换纹理坐标生成模块，其根据所述待处理人脸图的实际特征点，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标；效果合成模块，其利用所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特征点位置，得到效果人脸图。优选的，所述的变换纹理坐标生成模块进一步包括：特征点提取单元，用于提取人脸标准图和待处理人脸图的对应部位的特征点，其中，人脸标准图中提取的特征点至少包括a,b,c三个点及对应的插值点d，待处理人脸图中对应部位的特征点至少包括a',b',c'三个点；仿射变换矩阵计算单元，其通过所述的三角形△abc和△a'b'c'计算出仿射变换矩阵M；实际轮廓形状计算单元，其将所述的人类标准图中的插值点d乘以所述的仿射变换矩阵M，得到待处理人脸图中的对应插值点d'，从而得到待处理人脸图的对应部位的实际轮廓形状；纹理坐标匹配单元，其将所述的标准纹理坐标根据所述的实际轮廓形状进行自适应匹配，得到变换纹理坐标。本专利技术的有益效果是：本专利技术的一种基于仿射变换的人脸贴图方法和系统，其通过对标准人脸图进行特征点定位和特征点提取，并利用拉格朗日插值法对提取的标准人脸图的特征点进行曲线拟合，得到标准纹理坐标，然后对待处理人脸图进行特征点定位，并根据所述待处理人脸图的实际特征点，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标，最后利用所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特征点位置，得到效果人脸图；从而能够自适应各种形状的人脸部位，使得处理后的效果人脸图更自然，解决了自动装饰的鲁棒性问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本专利技术的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术一种基于仿射变换的人脸贴图方法的流程简图；图2为本专利技术一种基于仿射变换的人脸贴图系统的结构示意图；图3为本专利技术一具体实施例的标准人脸图的眉毛轮廓示意图；图4为本专利技术一具体实施例的待处理本文档来自技高网...

【技术保护点】
一种基于仿射变换的人脸贴图方法，其特征在于，包括以下步骤：10.获取标准人脸图，并对标准人脸图进行特征点定位和特征点提取；20.利用拉格朗日插值法对提取的标准人脸图的特征点进行曲线拟合，得到标准纹理坐标；30.获取待处理人脸图，并对待处理人脸图进行特征点定位；40.根据所述待处理人脸图的实际特征点，利用仿射变换将所述的标准纹理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理坐标；50.利用所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特征点位置，得到效果人脸图。

【技术特征摘要】
1.一种基于仿射变换的人脸贴图方法，其特征在于，包括以下步骤：
10.获取标准人脸图，并对标准人脸图进行特征点定位和特征点提取；
20.利用拉格朗日插值法对提取的标准人脸图的特征点进行曲线拟合，得
到标准纹理坐标；
30.获取待处理人脸图，并对待处理人脸图进行特征点定位；
40.根据所述待处理人脸图的实际特征点，利用仿射变换将所述的标准纹
理坐标与所述的待处理人脸图的对应特征点进行自适应匹配，得到变换纹理
坐标；
50.利用所述的变换纹理坐标将贴图素材绘制在待处理人脸图的对应特
征点位置，得到效果人脸图。
2.根据权利要求1所述的一种基于仿射变换的人脸贴图方法，其特征在
于：所述的步骤10和步骤30中，对标准人脸图或待处理人脸图进行特征点
定位，该特征点主要是指人脸的关键位置的离散的特征点，所述的步骤20
中对标准人脸图的特征点进行曲线拟合，主要是利用拉格朗日插值法将各个
离散的特征点根据所属人脸部位进行曲线拟合，得到该部位的轮廓形状。
3.根据权利要求2所述的一种基于仿射变换的人脸贴图方法，其特征在
于：所述的步骤20中，通过曲线拟合得到标准纹理坐标，主要是对人脸轮廓
特征点进行补充，得到标准纹理坐标。
4.根据权利要求2或3所述的一种基于仿射变换的人脸贴图方法，其特
征在于：所述的人脸部位主要是指人脸轮廓、眉毛、眼睛、鼻子、嘴唇，所
述的特征点定位，主要是指人脸轮廓的高度位置、宽度位置、倾斜位置；眉
毛最内侧位置、最外侧位置、中部最上方位置、中部最下方位置；眼睛的内
侧眼角位置、外侧眼角位置、中部最上方位置、中部最下方位置、眼珠中心

\t位置；鼻子的鼻尖最高点位置、鼻尖最低点位置、鼻翼最左侧位置、鼻翼最
右侧位置；嘴唇的左侧嘴角位置、右侧嘴角位置、上嘴唇中部最上方位置、
上嘴唇中部最下方位置、下嘴唇中部最上方位置、下嘴唇中部最下方位置。
5.根据权利要求1所述的一种基于仿射变换的人脸贴图方法，其特征在
于：所述的步骤40中，利用仿射变换将所述的标准纹理坐标与所述的待处理
人脸图的对应特征点进行自适应匹配，得到变换纹理坐标，进一步包括以下
步骤：
41.预设人脸标准图中提取的特征点至少包括a,b,c三个点及对应的插
值点d，待处理人脸图中对应部位的特征点至少包括a',b',c...

【专利技术属性】
技术研发人员：张伟，叶志鸿，张长定，傅松林，
申请(专利权)人：厦门美图之家科技有限公司，
类型：发明
国别省市：福建;35