人脸图像融合方法和系统技术方案

本发明专利技术公开了人脸图像融合方法，包括：分别提取目标人脸I的特征点和参考人脸R的特征点；根据所述目标人脸I的特征点和参考人脸R的特征点，将参考人脸R的表观形状与目标人脸I相匹配；根据相匹配后的目标人脸I’和参考人脸R’生成光照模板ML；根据目标人脸I的特征点生成区域模板MQ；把所述光照模板ML、区域模板MQ和目标人脸I、相匹配后的参考人脸R’进行加权求和，目标人脸I和参考人脸R实现人脸融合。本发明专利技术能在目标人脸与参考人脸具有较大光照差异时，解决目标人脸与参考人脸具有较大光照差异下人脸融合出现的视觉不一致问题，生成自然的人脸融合效果。

【技术实现步骤摘要】
人脸图像融合方法和系统
本专利技术涉及图像处理与渲染
，具体涉及人脸图像融合方法和系统。
技术介绍
人脸图像融合技术是把参考人脸R的表观特征融合到目标人脸I中，从而在图像或者视频中生成新内容与风格。这项技术在文化创意产业中有广泛应用，如影视制作、数字娱乐、社交媒体、增强现实与个人图像编辑。而要实现参考人脸R与目标人脸I的无缝衔接，两者的融合区域需要具备良好的视觉一致性。传统的方法主要采用蒙板与边界羽化的技术来实现，但该方法只有在目标人脸I与参考人脸R的表观差别不大的情况下才能达到较好的效果。另一种方法主要利用目标人脸I的表观特性来估计融合区域中参考人脸R的像素值，典型代表是泊松图像编辑方法。该方法能根据目标人脸I在融合区域中的边界值来重新调节参考人脸R的表观，所以能在融合边界上获得平滑的过渡，达到较好的融合效果。不过，当目标人脸I与参考人脸R具有较大的光照差异时，该方法会在融合区域内引入视觉瑕疵。因此，行业内一直在寻找解决目标人脸I与参考人脸R具有较大光照差异下人脸融合出现的视觉不一致问题的方法。
技术实现思路
本专利技术的目的是为了克服以上现有技术存在的不足，提供了人脸图像融合方法。本专利技术的另一目的是为了克服以上现有技术存在的不足，提供了人脸图像融合系统。本专利技术的目的通过以下的技术方案实现：人脸图像融合方法，包括：步骤一，分别提取目标人脸I的特征点和参考人脸R的特征点；步骤二，根据所述目标人脸I的特征点和参考人脸R的特征点，将参考人脸R的表观形状与目标人脸I相匹配；步骤三，根据相匹配后的目标人脸I’和参考人脸R’生成光照模板ML；步骤四，根据目标人脸I的特征点生成区域模板MQ；步骤五，把所述光照模板ML、区域模板MQ和目标人脸I、相匹配后的参考人脸R’进行加权求和，目标人脸I和参考人脸R实现人脸融合。优选地，所述根据相匹配后的目标人脸I’和参考人脸R’生成光照模板ML包括：提取相匹配后的目标人脸I’和参考人脸R’的初始光照特征TL；对所述初始光照特征TL进行扩散，生成光照模板ML。优选地，所述根据相匹配后的目标人脸I’和参考人脸R’生成光照模板ML还包括：将目标人脸I和参考人脸R均从RGB颜色空间转换到CIELAB颜色空间；使用边缘保持平滑滤波器分别对目标人脸I与相匹配后的参考人脸R’的亮度通道进行平滑处理，得到目标人脸的光照特征IL与相匹配后的参考人脸的光照特征RL；将目标人脸的光照特征IL除以相匹配后的参考人脸的光照特征RL得到初始光照特征TL；通过第一迭代方程对初始光照特征TL进行扩散，生成光照模板ML；第一迭代方程为：ML(t+1)-ML(t)＝(AL-BL)ML(t)+BLTL；其中，t为迭代次数，初始值为0，最大迭代次数可根据不同情况调节；BL为对角权重矩阵，BL＝diag{BL(i,i)}，权重大小用以控制光照扩散的区域，其中人脸内部区域权重为BL(i,i)＝1，其余区域权重为BL(i,i)＝0；AL为光照相似度矩阵，包含了不同光照特征点pi与其领域其他点的相似度，具体为：其中，下标i,j代表图像中的第i和第j个像素，j∈N(i)代表像素i的邻域；d在扩散限制区域为小数值，在扩散区域为大数值，G＝IL为导向特征，Gi-Gj为导向特征的梯度，c为一个小的常数，用以避免分母为0，|z|为取z的绝对值。优选地，所述根据目标人脸I的特征点生成区域模板MQ包括：根据目标人脸I的特征点提取初始区域特征TQ；对所述初始区域特征TQ进行扩散，生成区域模板MQ。优选地，所述对所述初始区域特征TQ进行扩散，生成区域模板MQ包括：通过第二迭代方程对初始区域特征TQ进行扩散，生成区域模板MQ；第二迭代方程为：MQ(t+1)-MQ(t)＝(AQ-BQ)MQ(t)+BQTQ其中t为迭代次数，初始值为0，最大迭代次数可根据不同情况调节；BQ为对角权重矩阵，BQ＝diag{BQ(i,i)}，权重大小用以控制区域扩散的区域，其中人脸内部区域权重为BQ(i,i)＝0，其余区域权重为BQ(i,i)＝1；AQ为区域相似度矩阵，包含了不同光照特征点pi与其领域其他点的相似度，具体来说：其中，下标i,j代表图像中的第i和第j个像素，j∈N(i)代表像素i的邻域；d在扩散限制区域为小数值，在扩散区域为大数值，G＝IL为导向特征，Gi-Gj为导向特征的梯度，c为一个小的常数，用以避免分母为0，|z|为取z的绝对值。优选地，所述根据所述目标人脸I的特征点和参考人脸R的特征点，将参考人脸R的表观形状与目标人脸I相匹配包括：根据所述目标人脸I的特征点和参考人脸R的特征点之间的距离计算变换矩阵；利用所述变换矩阵对参考人脸R图像进行变换。优选地，所述分别提取目标人脸I的特征点和参考人脸R的特征点包括：提取目标人脸I的外轮廓和五官上的特征点；提取参考人脸R的外轮廓和五官上的特征点。优选地，步骤五中进行加权求和的公式为：O＝MLMQR'+(J-MQ)I其中，O为目标人脸I和参考人脸R实现融合后的人脸，J为全1矩阵。本专利技术的另一目的通过以下的技术方案实现：人脸图像融合系统，包括：特征点提取模块，用于提取目标人脸I的特征点和参考人脸R的特征点；人脸匹配模块，用于根据所述目标人脸I的特征点和参考人脸R的特征点，将参考人脸R的表观形状与目标人脸I相匹配；光照模板生成模块，用于根据相匹配后的目标人脸I’和参考人脸R’生成光照模板ML；区域模板生成模块，用于根据目标人脸I的点生成区域模板MQ；人脸融合模块，用于把所述光照模板ML、区域模板MQ和目标人脸I、相匹配后的参考人脸R’进行加权求和，目标人脸I和参考人脸R实现人脸融合。优选地，所述光照模板生成模块包括：初始光照特征提取单元，用于提取相匹配后的目标人脸I’和参考人脸R’的初始光照特征TL；光照模板生成单元，用于对所述初始光照特征TL进行扩散，生成光照模板ML。本专利技术相对于现有技术具有如下的优点：本方案根据所述目标人脸I的特征点和参考人脸R的特征点，将参考人脸R的表观形状与目标人脸I相匹配，这样能根据目标人脸与参考人脸的表观特点自动的调节人脸融合区域的过渡以及参考人脸的表观特点；根据相匹配后的目标人脸I’和参考人脸R’生成光照模板ML，这样使得光照模板ML对相匹配后的参考人脸进行光照调节，根据目标人脸I的特征点生成区域模板MQ，最后把所述光照模板ML、区域模板MQ和目标人脸I、相匹配后的参考人脸R’进行加权求和，目标人脸I和参考人脸R实现人脸融合，从而能在目标人脸与参考人脸具有较大光照差异时，解决目标人脸与参考人脸具有较大光照差异下人脸融合出现的视觉不一致问题，生成自然的人脸融合效果。附图说明图1是本专利技术的人脸图像融合方法的流程图。图2是本专利技术的根据相匹配后的目标人脸I’和参考人脸R’生成光照模板ML的流程图。图3(a)是本专利技术的目标人脸的示意图。图3(b)是本专利技术的参考人脸的示意图。图3(c)是本专利技术的融合后人脸的示意图。图4(a)是本专利技术的初始光照特征的示意图。图4(b)是本专利技术的光照模板的示意图。图4(c)是本专利技术的初始区域特征的示意图。图4(d)是本专利技术的区域模板的示意图。图5是本专利技术的人脸图像融合系统的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步说明。如图1-4所示的人脸本文档来自技高网...

【技术保护点】
1.人脸图像融合方法，其特征在于，包括：步骤一，分别提取目标人脸I的特征点和参考人脸R的特征点；步骤二，根据所述目标人脸I的特征点和参考人脸R的特征点，将参考人脸R的表观形状与目标人脸I相匹配；步骤三，根据相匹配后的目标人脸I’和参考人脸R’生成光照模板ML；步骤四，根据目标人脸I的特征点生成区域模板MQ；步骤五，把所述光照模板ML、区域模板MQ和目标人脸I、相匹配后的参考人脸R’进行加权求和，目标人脸I和参考人脸R实现人脸融合。

【技术特征摘要】
1.人脸图像融合方法，其特征在于，包括：步骤一，分别提取目标人脸I的特征点和参考人脸R的特征点；步骤二，根据所述目标人脸I的特征点和参考人脸R的特征点，将参考人脸R的表观形状与目标人脸I相匹配；步骤三，根据相匹配后的目标人脸I’和参考人脸R’生成光照模板ML；步骤四，根据目标人脸I的特征点生成区域模板MQ；步骤五，把所述光照模板ML、区域模板MQ和目标人脸I、相匹配后的参考人脸R’进行加权求和，目标人脸I和参考人脸R实现人脸融合。2.根据权利要求1所述的人脸图像融合方法，其特征在于，所述根据相匹配后的目标人脸I’和参考人脸R’生成光照模板ML包括：提取相匹配后的目标人脸I’和参考人脸R’的初始光照特征TL；对所述初始光照特征TL进行扩散，生成光照模板ML。3.根据权利要求2所述的人脸图像融合方法，其特征在于，所述根据相匹配后的目标人脸I’和参考人脸R’生成光照模板ML还包括：将目标人脸I和参考人脸R均从RGB颜色空间转换到CIELAB颜色空间；使用边缘保持平滑滤波器分别对目标人脸I与相匹配后的参考人脸R’的亮度通道进行平滑处理，得到目标人脸的光照特征IL与相匹配后的参考人脸的光照特征RL；将目标人脸的光照特征IL除以相匹配后的参考人脸的光照特征RL得到初始光照特征TL；通过第一迭代方程对初始光照特征TL进行扩散，生成光照模板ML；第一迭代方程为：ML(t+1)-ML(t)＝(AL-BL)ML(t)+BLTL；其中，t为迭代次数，初始值为0，最大迭代次数可根据不同情况调节；BL为对角权重矩阵，BL＝diag{BL(i,i)}，权重大小用以控制光照扩散的区域，其中人脸内部区域权重为BL(i,i)＝1，其余区域权重为BL(i,i)＝0；AL为光照相似度矩阵，包含了不同光照特征点pi与其领域其他点的相似度，具体为：其中，下标i,j代表图像中的第i和第j个像素，j∈N(i)代表像素i的邻域；d在扩散限制区域为小数值，在扩散区域为大数值，G＝IL为导向特征，Gi-Gj为导向特征的梯度，c为一个小的常数，用以避免分母为0，|z|为取z的绝对值。4.根据权利要求1所述的人脸图像融合方法，其特征在于，所述根据目标人脸I的特征点生成区域模板MQ包括：根据目标人脸I的特征点提取初始区域特征TQ；对所述初始区域特征TQ进行扩散，生成区域模板MQ。5.根据权利要求4所述的人脸图像融合方法，其特征在于，所述对所述初始区域特征TQ进行扩散，生成区...

【专利技术属性】
技术研发人员：梁凌宇，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44