一种人脸图像融合的方法及系统技术方案

本发明专利技术涉及一种人脸图像融合的方法，包括如下步骤：识别人脸模板图人脸区域，得到关键点数据A及人脸朝向数据；识别待融合人脸图的人脸区域，经处理得到关键点数据B及人脸朝向数据；通过三角剖分重新绘制待融合人脸图和人脸模板图，结合关键点数据B实现两图的人脸对齐；通过关键点数据B的脸部轮廓计算出待融合人脸图的五官区域掩码图C，将待融合人脸图、人脸模板图和掩码图C输入泊松融合网络中，得到初步效果图D；将关键点数据B的脸部轮廓计算出所述人脸模板图的五官区域，去除掉眼睛和嘴巴区域后，得到掩码图E；将所述人脸模板图、初步效果图D和掩码图E，通过泊松融合网络得到最终的效果图。本发明专利技术还公开了相应的人脸图像融合的系统。

【技术实现步骤摘要】
一种人脸图像融合的方法及系统
本专利技术涉及图像融合处理
，特别是涉及一种人脸图像融合的方法及系统。
技术介绍
在人脸图像处理领域，随着AI人工智能的出现，对用户图片照片的美颜，渲染，锐化，分割等技术越发成熟，凡是在图像融合处理
，略显不足，在传统图像处理实现方案中，不论是利用直方图统计或者RGB缩放的方式都很难让融合效果达到很高的鲁棒性，尤其是对于用户图片带有复杂的光照。基于深度机器学习的技术实现方案，在融合效果方面，比传统的好，但需要花费大量的云端计算服务器的成本，在用户移动终端需要依赖于良好的网络条件甚至需要长时间的等待，对于人脸不端正，侧脸融合图像模糊，效果不好，用户体验差。。
技术实现思路
基于此，本专利技术的目的在于，提供一种人脸图像融合的方法及系统，通过对人脸关键点的计算，将融合图的面部变形，根据模板图的人脸角度，得到符合模板图角度的人脸五官面具，解决侧脸融合中角度和边缘的问题，使融合更真实，同时融合速度快，节省用户服务器资源。一种人脸图像融合的方法，包括如下步骤：获取用户待融合人脸图和人脸模板图；将人脸模板图进行人脸识别，得到关键点数据A以及人脸朝向数据；将待融合人脸图进行人脸识别，得到关键点数据B1以及人脸朝向数据；缩放并位移所述关键点数据B1到所述人脸模板图矩形区域内；通过缩放将所述关键点数据B1的眼睛轮廓点和所述关键点数据A的眼睛轮廓点对齐；利用所述关键点数据B1和关键点数据A嘴巴轮廓关键点计算出透视变换矩阵M，使用所述矩阵M对关键点数据B1进行透视变换；提取所述关键点数据A的脸部轮廓点，替换所述关键点数据B1的脸部轮廓点，得到关键点数据B；将所述关键点数据B结合图像的左上、上中、右上、右中、右下、下中、坐下、左中八个点进行三角剖分，通过三角剖分重新绘制所述待融合人脸图和所述人脸模板图，实现两图的人脸对齐；将所述关键点数据B的脸部轮廓计算出所述待融合人脸图的五官区域掩码图C，将所述待融合人脸图、人脸模板图和掩码图C输入泊松融合网络中，得到初步效果图D；将所述关键点数据B的脸部轮廓计算出所述人脸模板图的五官区域，去除掉眼睛和嘴巴区域后，得到掩码图E；将所述人脸模板图、初步效果图D和掩码图E，输入到泊松融合网络中，得到最终的效果图；一种人脸图像融合的系统，所述系统包括：人脸模板图关键点预处理模块，用于将人脸模板图进行人脸识别，得到关键点数据A以及人脸朝向数据；待融合人脸图像关键点调整模块，用于将待融合人脸图进行人脸识别，得到关键点数据B1以及人脸朝向数据；其中，缩放并位移所述关键点数据B1到所述人脸模板图矩形区域内；通过缩放将所述关键点数据B1的眼睛轮廓点和所述关键点数据A的眼睛轮廓点对齐；利用所述关键点数据B1和关键点数据A嘴巴轮廓关键点计算出透视变换矩阵M，使用所述矩阵M对关键点数据B1进行透视变换；提取所述关键点数据A的脸部轮廓点，替换所述关键点数据B1的脸部轮廓点，得到关键点数据B；人脸对齐模块，用于将所述关键点数据B结合图像的左上、上中、右上、右中、右下、下中、坐下、左中八个点进行三角剖分，通过三角剖分重新绘制所述待融合人脸图和所述人脸模板图，实现两图的人脸对齐；五官图像面具无缝融合模块，用于将所述关键点数据B的脸部轮廓计算出所述待融合人脸图的五官区域掩码图C，将所述待融合人脸图、人脸模板图和掩码图C输入泊松融合网络中，得到初步效果图D；人像融合模块，用于将所述关键点数据B的脸部轮廓计算出所述人脸模板图的五官区域，去除掉眼睛和嘴巴区域后，得到掩码图E；将所述人脸模板图、初步效果图D和掩码图E，输入到泊松融合网络中，得到最终的效果图；本专利技术相对于现有技术具有以下有益效果：本方案根据所述待融合人脸图关键点进行调整和透视变换，得到关键点数据B2和人像朝向数据；根据人脸模板图关键点预处理，得到关键点数据A以及人脸朝向数据；将关键点数据B2结合图像的左上、上中、右上、右中、右下、下中、坐下、左中八个点进行三角剖分，通过三角剖分重新绘制所述待融合人脸图和所述人脸模板图，实现两图的人脸对齐；通过关键点数据B2脸部轮廓计算待融合人脸图的五官掩码图C，通过泊松融合网络处理待融合人脸图、人脸模板图和解码图C得到初步效果图D；通过关键点数据B2脸部轮廓计算出人脸模板图的五官区域，去除眼睛和嘴巴区域后，得到掩码图E，将人脸模板图、初步效果图D和掩码图E通过泊松融合网络，计算得出最终融合的效果图。通过人脸模板图和待融合人脸图关键点的处理，使得融合角度和边缘的融合效果更真实，融合速度快，完全离线的情况下，不需要网络便可生成融合图像。附图说明图1为本专利技术一种人脸图像融合方法流程图；图2为本专利技术一种人脸图像融合系统流程图；图3为本专利技术待融合人脸图像关键点调整模块示意图；图4(A、B、C、D)为本专利技术实施例中待融合人脸图、人脸模板图、融合输出的本地结果图、传统机器学习的结果图；具体实施方式为了使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部的实施例。克服现有技术中，运行速度慢，融合效果差，消耗服务器资源等缺点，请参阅图1和图3，本专利技术提供一种人脸图像融合的方法，包括如下步骤：S101：获取用户待融合人脸图和人脸模板图；S102：将人脸模板图进行人脸识别，得到关键点数据A以及人脸朝向数据；S103：将待融合人脸图进行人脸识别，得到关键点数据B1以及人脸朝向数据；缩放并位移所述关键点数据B1到所述人脸模板图矩形区域内；通过缩放将所述关键点数据B1的眼睛轮廓点和所述关键点数据A的眼睛轮廓点对齐；利用所述关键点数据B1和关键点数据A嘴巴轮廓关键点计算出透视变换矩阵M，使用所述矩阵M对关键点数据B1进行透视变换；提取所述关键点数据A的脸部轮廓点，替换所述关键点数据B1的脸部轮廓点，得到关键点数据B；S104：将所述关键点数据B结合图像的左上、上中、右上、右中、右下、下中、坐下、左中八个点进行三角剖分，通过三角剖分重新绘制所述待融合人脸图和所述人脸模板图，实现两图的人脸对齐；S105：将所述关键点数据B的脸部轮廓计算出所述待融合人脸图的五官区域掩码图C，将所述待融合人脸图、人脸模板图和掩码图C输入泊松融合网络中，得到初步效果图D；S106：将所述关键点数据B的脸部轮廓计算出所述人脸模板图的五官区域，去除掉眼睛和嘴巴区域后，得到掩码图E；将所述人脸模板图、初步效果图D和掩码图E，输入到泊松融合网络中，得到最终的效果图；具体的，在对模板图关键点处理时，获取的人脸朝向数据，对应三个值yaw、pitch、roll是三个角度值，yaw是围绕着y轴旋转的，对应到人脸上就是左右转头，roll是围绕z轴旋转，对应到人脸上就是左右点头，pitch是围绕x轴旋转，对应到人脸上就是上下点头。在步骤S103待融合人脸图识别获取关键点数据包括，数据识别、关键点提取、透视变换、关键点替换、数据输出，具体实现步骤如下：对待融合人脸图像进行人脸数据识别；识别待融合人脸图像后，提取人脸关键点数据B1；透视变换模块，缩放并位移关键点数据B1到模板人脸矩形区域中，对人脸关键点进行操作缩放，选择关键点A中最外侧的两本文档来自技高网...

【技术保护点】
1.一种人脸图像融合的方法，其特征在于，包括如下步骤：获取用户待融合人脸图和人脸模板图；将人脸模板图进行人脸识别，得到关键点数据A以及人脸朝向数据；将待融合人脸图进行人脸识别和预处理，得到关键点数据B以及人脸朝向数据；将所述关键点数据B结合图像的左上、上中、右上、右中、右下、下中、坐下、左中八个点进行三角剖分，通过三角剖分重新绘制所述待融合人脸图和所述人脸模板图，实现两图的人脸对齐；将所述关键点数据B的脸部轮廓计算出所述待融合人脸图的五官区域掩码图C，将所述待融合人脸图、人脸模板图和掩码图C输入泊松融合网络中，得到初步效果图D；将所述关键点数据B的脸部轮廓计算出所述人脸模板图的五官区域，去除掉眼睛和嘴巴区域后，得到掩码图E；将所述人脸模板图、初步效果图D和掩码图E，输入到泊松融合网络中，得到最终的效果图。

【技术特征摘要】
1.一种人脸图像融合的方法，其特征在于，包括如下步骤：获取用户待融合人脸图和人脸模板图；将人脸模板图进行人脸识别，得到关键点数据A以及人脸朝向数据；将待融合人脸图进行人脸识别和预处理，得到关键点数据B以及人脸朝向数据；将所述关键点数据B结合图像的左上、上中、右上、右中、右下、下中、坐下、左中八个点进行三角剖分，通过三角剖分重新绘制所述待融合人脸图和所述人脸模板图，实现两图的人脸对齐；将所述关键点数据B的脸部轮廓计算出所述待融合人脸图的五官区域掩码图C，将所述待融合人脸图、人脸模板图和掩码图C输入泊松融合网络中，得到初步效果图D；将所述关键点数据B的脸部轮廓计算出所述人脸模板图的五官区域，去除掉眼睛和嘴巴区域后，得到掩码图E；将所述人脸模板图、初步效果图D和掩码图E，输入到泊松融合网络中，得到最终的效果图。2.如权利要求1所述的人脸图像融合方法，其特征在于：所述待融合人脸图进行识别和预处理包括以下步骤：识别待融合人脸图得到关键数据B1；缩放并位移所述待融合人脸图像的关键点数据B1到所述人脸模板图矩形区域内；通过缩放将所述关键点数据B1的眼睛轮廓点和所述关键点数据A的眼睛轮廓点对齐；利用所述关键点数据B1和关键点数据A嘴巴轮廓关键点计算出透视变换矩阵M，使用所述矩阵M对关键点数据B1进行透视变换；提取所述关键点数据A的脸部轮廓点，替换所述关键点数据B1的脸部轮廓点，得到关键点数据B。3.如权利要求1所述的人脸图像融合方法，其特征在于：所述人脸朝向数据三个值yaw，pitch，roll是角度值。其中，yaw是围绕着y轴旋转的，对应到人脸上是左右转头，roll是围绕z轴旋转，对应到人脸上是左右点头，pitch是围绕x轴旋转，对应到人脸上是上下点头。4.一种人脸图像融合的系统，其特征在于，包括如下模块：人脸模板图关键点预处理模块，用于将人脸模板图进行人脸识别，得到关键点数据A以及人脸朝向数据；待融合人脸图像关键点调整模块，用于将待融合人脸图进行人脸识别，得到关键点数据B1以及人脸朝向数据；缩放并位移所述关键点数据B1到所述人脸模板图...

【专利技术属性】
技术研发人员：邓裕强，阮杰维，区永强，周超红，
申请(专利权)人：广州久邦世纪科技有限公司，
类型：发明
国别省市：广东,44