一种基于面部特征的脸谱的人脸投影方法技术

本发明专利技术公开了一种基于面部特征的脸谱的人脸投影方法，建立脸谱纹样数据库；获取含有人脸的视频帧，进行灰度处理；获取灰度图像上各个位置的所有Haar特征，并求出其特征值；利用Adaboost算法对特征值进行训练，得到每个位置最优的特征点；将特征点加入到主动外观模型中，计算人脸的鼻尖坐标、人脸平面偏转角及侧面深度偏转角，建立人脸模型；选取所需脸谱纹样并选取脸谱纹样控制点，对脸谱纹样进行拟合，得到拟合曲线；对拟合曲线进行变形并组合得到脸谱模型；根据鼻尖坐标、人脸平面偏转角及侧面深度偏转角来调整投影角度；将脸谱模型投影到人脸模型上。本发明专利技术公开的方法灵活多变，简单快捷，实时准确的将脸谱投影到人脸上。

【技术实现步骤摘要】

本专利技术涉及人脸识别及异形投影领域，尤其涉及一种基于面部特征的脸谱的人脸投影方法。
技术介绍
脸谱依附于人脸，因此对脸谱应用的研究必然离不开人脸检测、跟踪。将处理后得到的融合性较好的脸谱投影在运动中的人脸部，则是文化传承的方面的一个新应用，是异形投影的一个新范畴。异形投影，是将投影投射在异面体上，本文就是把人脸作为异面体。一般来说就是对所追踪到的人脸进行投影覆盖。2015年，日本艺术家专利技术了面部全息投影技术(Face Hacking)。FaceHacking集合了3D扫描、实时脸部追踪和投影映射三大功能，先将模特的面部轮廓扫描定位，再借助投影仪将处理过的妆容投射到模特的脸部。投影先在他们的脸上勾勒出轮廓和纹理，接着通过技术分析调整到二人合适的脸部比例，然后在脸部的关键位置添加动作追踪器，开始加入动画、变换造型。年轻女子、钢铁侠、非洲猎豹、机器人等等各种形象惟妙惟肖的展现在他们的脸上，并且还可以选择面部表情切换、变脸。现有的人脸投影存在以下几个问题：1、当面部不是正向位置时，会出现较大误差，使得到的映射后的脸谱出现抖动现象，并且没有注意到实时性；2、现有的人脸定位是根据模特脸上人工的投影定位点的位置来判定人脸方位，而投影角度则是通过多点之间的角度变化来定位；3、被投影的人头部运动幅度不能太大，并且要缓慢运动，而且面部不能有明显的表情变化。
技术实现思路
针对上述问题中存在的不足之处，本专利技术提供一种基于面部特征的脸谱的人脸投影方法。为实现上述目的，本专利技术提供一种基于面部特征的脸谱的人脸投影方法，包括：步骤1、对脸谱进行分析，用Bezier曲线拟合脸谱各纹样的轮廓，将脸谱转化为可缩放的矢量图形，根据脸谱的纹样进行填充色彩，建立脸谱纹样数据库；步骤2、获取含有人脸图像的视频帧，对所述视频帧进行灰度处理，形成灰度图像；步骤3、获取灰度图像上各个位置的所有Haar特征，并对每个Haar特征求出其特征值；步骤4、利用Adaboost算法对步骤3中每个位置所有Haar特征的特征值进行训练，得到每个位置最优的特征点；步骤5、将步骤4得到的每个位置最优的特征点加入到主动外观模型中，计算灰度图像中人脸的鼻尖坐标、人脸平面偏转角及侧面深度偏转角，建立包含人脸特征点、人脸的鼻尖坐标、人脸平面偏转角及侧面深度偏转角的人脸模型；步骤6、从步骤1所述的脸谱纹样数据库中选取所需脸谱纹样，基于步骤5得到的人脸模型选取脸谱纹样控制点，按照偏差平方和最小值原则对脸谱纹样进行拟合，得到拟合曲线；步骤7、结合二项式对拟合曲线进行变形得到对应人脸模型的脸谱纹样，并将脸谱纹样组合成脸谱模型；步骤8、根据步骤5得到的鼻尖坐标、人脸平面偏转角及侧面深度偏转角来调整投影角度；步骤9、基于步骤8得到的投影角度，将步骤7中的脸谱模型投影到人脸模型上。作为本专利技术的进一步改进，所述步骤1中，基于脸谱的基本造型、局部造型、色彩、勾画方式对脸谱进行分析。作为本专利技术的进一步改进，所述步骤2中，每秒获取含有人脸图像的视频帧的数目为25帧；所述视频帧灰度化处理的方法为根据加权平均法对视频帧进行灰度化处理。作为本专利技术的进一步改进，所述步骤3中，灰度图像上的各个位置包括眼睛、鼻子、嘴和面部轮廓；所述步骤3中，每个Haar特征的特征值为Haar特征中白色矩阵像素和与黑色矩阵像素和的差值。作为本专利技术的进一步改进，所述步骤4包括：步骤41、设定所有Haar特征为N个训练样本，每个训练样本对应一个弱分类器，其中M个反例，L个正例，N＝M+L；步骤42、对N个训练样本赋予相同的权值；步骤43、利用Adaboost算法进行t＝1,2,…,T次迭代，对每个Haar特征，训练一个弱分类器，并计算所有Haar特征的加权错误率；步骤44、每次迭代完成后进行调整权值，更新每个训练样本的权值，被分类错误的训练样本的权值提高；步骤45、经过T次迭代后得到一个具有最小加权错误率的弱分类器，加权得到强分类器，得到每个位置最优的特征点。作为本专利技术的进一步改进，所述步骤6中对脸谱纹样进行拟合的方法为：在脸谱纹样的边缘选取多个控制点pi(xi,yi)，其中i＝1,2,3,…,m，并得到近似曲线近似曲线在点pi(xi,yi)处的偏差值δi为按着偏差值平方和最小的原则选取拟合曲线；所述偏差值平方和最小的原则为：作为本专利技术的进一步改进，所述步骤7中结合二项式对拟合曲线p(x)进行变形的公式为：p(x)＝a0+a1x…+amxm，其中m为控制点个数，a0～am为待定系数。与现有技术相比，本专利技术的有益效果为：本专利技术公开的基于面部特征的脸谱的人脸投影方法，通过Bezier曲线对脸谱进行分析并建立脸谱纹样数据库，通过Adaboost算法获取人脸面部的特征点，将上述特征点代入到主动外观模型获取人脸的鼻尖坐标、人脸平面偏转角及侧面深度偏转角，并根据上述坐标及角度来实现投影角度的实时变动；在投影仪的辅助下，将脸谱模型投影到人脸上；为了使脸谱和人脸更贴合，我们通过对脸谱纹样进行变形，而曲线可以很好拟合图像中的形状拓扑关系或轮廓信息，利用曲线优势控制变形操作；与现有人脸投影技术相比，本专利技术脸谱的人脸投影方法是基于人脸的轮廓和特征点，并实现实时追踪，其更
加灵活多变，更加简单快捷，脸谱的人脸投影，开拓了脸谱艺术传播的新途径。附图说明图1为本专利技术一种实施例公开的基于面部特征的脸谱的人脸投影方法的流程图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术根据传统京剧脸谱，用Bezier曲线拟合各纹样轮廓进行脸谱模型建模；使用基于Haar特征的AdaBoost算法对AAM模型改进，从而识别检测出运动的人脸和其特征点；选取前人研究中的变形效果比较好的一些变形技术，将其用于试验中比较试验结果，并将效率较高的技术进行最小二乘优化，运用到异面投影中，使投影结果更加生动融合。本专利技术在检测人脸时用到Adaboost算法：使用基于矩形特征(Haar特征)与AdaBoost算法的方法对运动中的人脸进行检测及特征点提取，提取出来的特征点不再单独处理，而是把提取出来的特征点运用到三维人脸模型中，以此来构建新的AAM模型；此外，本专利技术还使用并以最小二乘优化技术改进曲线拟合技术对绘制的脸谱模型进行变形投影，从而提高异面投影的实时性和融合性。区别于现有的人脸投影，本专利技术具体创新点在于投影是基于人脸的轮廓和特征点，并实现实时追踪。通过对人脸的轮廓和特征点的定位，从而形成鲁棒的人脸图像特征向量；并利用Bezier曲线对京剧脸谱纹样进行模拟建模，在投影仪的辅助下，将脸谱模型投影到人脸上。为了使投影和人脸更贴合，我们需要对脸谱模型进行变形，而曲线可以很好拟合图像中的形状拓扑关系或轮廓信息，所以我们利用曲线优势控制变形操作。下面结合附图对本专利技术做进一步的详细描述：如图1所示，本专利技术公开了一种基于面部特征的脸谱的人脸投影方法，包括：S1、基于脸谱的基本造型、局部造型、色彩、勾画方式对脸谱进本文档来自技高网...

【技术保护点】
一种基于面部特征的脸谱的人脸投影方法，其特征在于，包括：步骤1、对脸谱进行分析，用Bezier曲线拟合脸谱各纹样的轮廓，将脸谱转化为可缩放的矢量图形，根据脸谱的纹样进行填充色彩，建立脸谱纹样数据库；步骤2、获取含有人脸图像的视频帧，对所述视频帧进行灰度处理，形成灰度图像；步骤3、获取灰度图像上各个位置的所有Haar特征，并对每个Haar特征求出其特征值；步骤4、利用Adaboost算法对步骤3中每个位置所有Haar特征的特征值进行训练，得到每个位置最优的特征点；步骤5、将步骤4得到的每个位置最优的特征点加入到主动外观模型中，计算灰度图像中人脸的鼻尖坐标、人脸平面偏转角及侧面深度偏转角，建立包含人脸特征点、人脸的鼻尖坐标、人脸平面偏转角及侧面深度偏转角的人脸模型；步骤6、从步骤1所述的脸谱纹样数据库中选取所需脸谱纹样，基于步骤5得到的人脸模型选取脸谱纹样控制点，按照偏差平方和最小值原则对脸谱纹样进行拟合，得到拟合曲线；步骤7、结合二项式对拟合曲线进行变形得到对应人脸模型的脸谱纹样，并将脸谱纹样组合成脸谱模型；步骤8、根据步骤5得到的鼻尖坐标、人脸平面偏转角及侧面深度偏转角来调整投影角度；步骤9、基于步骤8得到的投影角度，将步骤7中的脸谱模型投影到人脸模型上。...

【技术特征摘要】
1.一种基于面部特征的脸谱的人脸投影方法，其特征在于，包括：步骤1、对脸谱进行分析，用Bezier曲线拟合脸谱各纹样的轮廓，将脸谱转化为可缩放的矢量图形，根据脸谱的纹样进行填充色彩，建立脸谱纹样数据库；步骤2、获取含有人脸图像的视频帧，对所述视频帧进行灰度处理，形成灰度图像；步骤3、获取灰度图像上各个位置的所有Haar特征，并对每个Haar特征求出其特征值；步骤4、利用Adaboost算法对步骤3中每个位置所有Haar特征的特征值进行训练，得到每个位置最优的特征点；步骤5、将步骤4得到的每个位置最优的特征点加入到主动外观模型中，计算灰度图像中人脸的鼻尖坐标、人脸平面偏转角及侧面深度偏转角，建立包含人脸特征点、人脸的鼻尖坐标、人脸平面偏转角及侧面深度偏转角的人脸模型；步骤6、从步骤1所述的脸谱纹样数据库中选取所需脸谱纹样，基于步骤5得到的人脸模型选取脸谱纹样控制点，按照偏差平方和最小值原则对脸谱纹样进行拟合，得到拟合曲线；步骤7、结合二项式对拟合曲线进行变形得到对应人脸模型的脸谱纹样，并将脸谱纹样组合成脸谱模型；步骤8、根据步骤5得到的鼻尖坐标、人脸平面偏转角及侧面深度偏转角来调整投影角度；步骤9、基于步骤8得到的投影角度，将步骤7中的脸谱模型投影到人脸模型上。2.如权利要求1所述的基于面部特征的脸谱的人脸投影方法，其特征在于，所述步骤1中，基于脸谱的基本造型、局部造型、色彩、勾画方式对脸谱进行分析。3.如权利要求1所述的基于面部特征的脸谱的人脸投影方法，其特征在于，所述步骤2中，每秒获取含有人脸图像的视频帧的数目为25帧；所述视频帧灰度化处理...

【专利技术属性】
技术研发人员：朱青，贾晓琪，王志强，王瑾，李蔚然，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11