人脸图像融合方法、装置、计算机设备及可读存储介质制造方法及图纸

本申请涉及一种人脸图像融合方法、装置、计算机设备和存储介质。所述方法包括：获取待处理的用户图像和预存的人脸立体素材图像；确定所述用户图像的融合区域；根据所述用户图像中的人脸关键点信息和人脸立体素材图像中的人脸关键点信息对所述人脸立体素材图像进行形变，得到第一素材图像；根据所述用户图像的融合区域的亮度信息获取对应的色彩映射表，根据所述色彩映射表对所述第一素材图像进行肤色调整，得到第二素材图像；将所述用户图像和第二素材图像进行融合处理，得到目标图像。采用本方法能够解决素材图像的人脸特征及肤色与用户图像差距较大、目标图像融合度低的技术问题，实现了人脸立体素材图像与用户图像的有机融合。

Face Image Fusion Method, Device, Computer Equipment and Readable Storage Media

The application relates to a face image fusion method, device, computer equipment and storage medium. The method includes: acquiring the user image to be processed and the pre-stored face stereo material image; determining the fusion area of the user image; deforming the face stereo material image according to the key point information of the user image and the key point information of the face stereo material image, and obtaining the first material image; and according to the fusion area of the user image. The brightness information of the domain obtains the corresponding color mapping table, adjusts the skin color of the first material image according to the color mapping table, and obtains the second material image. The user image and the second material image are fused to obtain the target image. This method can solve the technical problems of facial features and skin color difference between the material image and the user image, and the low fusion degree of the target image, and realize the organic fusion of the face stereo material image and the user image.

【技术实现步骤摘要】
人脸图像融合方法、装置、计算机设备及可读存储介质
本申请涉及图像处理
，特别是涉及一种人脸图像融合方法、装置、计算机设备及可读存储介质。
技术介绍
随着社会和科学技术的发展，人们对人像拍摄效果好的需求与日俱增。但是对于普通用户来讲，不管是拍摄技巧还是使用图像编辑软件美化图片的技术门槛都较高，往往拍摄出的图像视觉效果较差，人像五官不够立体。目前的图像处理技术中，利用素材图与用户的源图像进行融合处理，以达到美化的效果。然而素材图的人脸特征和肤色与用户的源图像差距较大，导致目标图像融合度低。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够解决人脸图像融合的方法、装置、计算机设备和存储介质。一种人脸图像融合方法，所述方法包括：获取待处理的用户图像和预存的人脸立体素材图像；确定所述用户图像的融合区域；根据所述用户图像中的人脸关键点信息和人脸立体素材图像中的人脸关键点信息对所述人脸立体素材图像进行形变，得到第一素材图像；根据所述用户图像的融合区域的亮度信息获取对应的色彩映射表，根据所述色彩映射表对所述第一素材图像进行肤色调整，得到第二素材图像；将所述用户图像和第二素材图像进行融合处理，得到目标图像。在其中一个实施例中，所述确定所述用户图像的融合区域，包括：根据所述用户图像的图像数据，进行掩码操作，得到所述用户图像的掩码信息；根据所述用户图像的掩码信息对所述用户图像进行边缘检测得到所述用户图像的融合区域。在其中一个实施例中，所述根据所述用户图像中的人脸关键点信息和人脸立体素材图像中的人脸关键点信息对所述人脸立体素材图像进行形变，得到第一素材图像，包括：检测所述用户图像的人脸关键点和人脸立体素材图像中的人脸关键点；基于人脸立体素材图像中的人脸关键点对所述人脸立体素材图像进行网格划分，得到包含多个网格的第一网格面，取所述第一网格面的各顶点信息生成第一网格顶点数组；所述第一网格顶点数组信息包括各顶点的第一位置信息、各个网格的第一色值信息和各个网格的第一纹理信息；根据所述用户图像的人脸关键点信息、所述人脸立体素材图像中的人脸关键点信息和所述第一网格顶点数组的第一位置信息，进行坐标变换得到第二网格顶点数组的第二位置信息；所述第二网格顶点数组信息包括第二位置信息、第一色值信息和第一纹理信息；根据所述第二网格顶点数组信息得到第一素材图像。在其中一个实施例中，所述根据所述用户图像的人脸关键点信息、所述人脸立体素材图像的人脸关键点信息和所述第一网格顶点组的各顶点信息的第一位置信息，进行坐标变换得到第二网格顶点组的各顶点信息的第二位置信息，包括：对所述用户图像的人脸关键点信息进行曲线拟合，得到用户图像的拟合关键点信息，以及对所述人脸立体素材图像的人脸关键点信息进行曲线拟合得到人脸立体素材图像的拟合关键点信息；根据所述用户图像的拟合关键点信息和所述用户图像的人脸关键点信息，得到第一组关键点；根据所述人脸立体素材图像的拟合关键点信息和所述人脸立体素材图像的人脸关键点信息，得到第二组关键点；获取所述第一组关键点的位置信息和第二组关键点的位置信息，根据所述第一组关键点的位置信息、所述第二组关键点的位置信息以及所述第一网格顶点数组的第一位置信息，进行坐标变换得到第二网格顶点数组的第二位置信息。在其中一个实施例中，所述根据所述用户图像的融合区域的亮度信息获取对应的色彩映射表，根据所述色彩映射表对所述第一素材图像进行肤色调整，得到第二素材图像，包括：基于深度学习模型，根据所述用户图像的融合区域的图像掩码，得到第一肤色区域，以及根据所述第一素材图像的融合区域的图像掩码，得到第二肤色区域；获取所述第一肤色区域的像素值，根据所述第一肤色区域的像素值得到所述第一肤色区域的亮度均值；根据所述第一肤色区域的亮度均值从亮度与色彩映射表的对应关系中获取对应的色彩映射表，所述色彩映射表中记录有色值信息；采用所述色彩映射表中的色值信息对所述第二肤色区域的色值进行更新，得到更新后的第二肤色区域的色值；将更新后的第二肤色区域的色值信息存储到第二网格顶点数组，得到第三网格顶点数组；根据所述第三网格顶点数组信息，得到第二素材图像。在其中一个实施例中，所述将所述用户图像和第二素材图像进行融合处理，得到目标图像，包括：获取所述用户图像的色值和所述第二素材图像的色值；对所述用户图像的融合区域的色值和所述第二素材图像的色值信息进行色值混合计算，得到目标图像的融合区域的色值；根据所述目标图像的融合区域的色值、所述用户图像非融合区域的色值以及所述第三网格顶点数组信息，得到目标图像。在其中一个实施例中，所述人脸立体素材图像的纹理信息保持不变。一种人脸图像融合装置，所述装置包括：图像获取模块，用于获取用户图像和全脸立体素材图像；区域确定模块，用于确定所述用户图像的融合区域；形变模块，用于根据所述用户图像中的人脸关键点信息和全脸立体素材图像中的人脸关键点信息对所述全脸立体素材图像进行形变，得到第一素材图像；调整模块，用于根据所述用户图像的融合区域的亮度信息和色彩映射表对所述第一素材图像进行肤色调整，得到第二素材图像；融合模块，用于将所述用户图像和第二素材图像进行融合处理，得到目标图像。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述人脸图像融合方法的步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述人脸图像融合方法的步骤。上述人脸图像融合方法、装置、计算机设备和存储介质，根据人脸关键点信息采用网格划分的方式对人脸立体素材图像形变，得到第一素材图，使得第一素材图的个人脸部特征更加贴合用户图像的个人脸部特征；根据用户图像的亮度信息选择对应色彩映射表，根据色彩映射表的色值更新第一素材图像的肤色区域的色值，得到第二素材图像，使得变化后的素材图像的肤色与用户图像的肤色差小于预设值；根据存储的数组信息，将第二素材图像与用户图像进行融合处理。其中，人脸素材图像的经过形变和肤色调整，使得变化后的人脸素材图像与用户图像的融合度较高，解决了素材图像的人脸特征及肤色与用户图像差距较大、目标图像融合度低的技术问题，实现了人脸立体素材图像与用户图像的有机融合。附图说明图1为一个实施例中人脸图像融合方法的应用环境图；图2为一个实施例中人脸图像融合方法的流程示意图；图3为一个实施例中区域确定步骤的流程示意图；图4为一个实施例中形变步骤的流程示意图；图5为一个实施例中肤色调整确定步骤的流程示意图；图6为一个实施例中融合步骤的流程示意图；图7为另一个实施例中人脸图像融合方法的流程示意图；图8为一个实施例中人脸图像融合装置的结构框图；图9为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本申请实施例提供的人脸图像融合方法，可以应用于如图1所示的计算机设备100中。其中，计算机设备100具体可以是台式终端或移动终端，或服务器，或服务器集群等。移动终端具体可以是手机、平板电脑、笔记本电脑、穿戴式设备、个人数字助理等。在一个实施例中，如图2所示，提供了本文档来自技高网...

【技术保护点】
1.一种人脸图像融合方法，所述方法包括以下步骤：获取待处理的用户图像和预存的人脸立体素材图像；确定所述用户图像的融合区域；根据所述用户图像中的人脸关键点信息和人脸立体素材图像中的人脸关键点信息对所述人脸立体素材图像进行形变，得到第一素材图像；根据所述用户图像的融合区域的亮度信息获取对应的色彩映射表，根据所述色彩映射表对所述第一素材图像进行肤色调整，得到第二素材图像；将所述用户图像和第二素材图像进行融合处理，得到目标图像。

【技术特征摘要】
1.一种人脸图像融合方法，所述方法包括以下步骤：获取待处理的用户图像和预存的人脸立体素材图像；确定所述用户图像的融合区域；根据所述用户图像中的人脸关键点信息和人脸立体素材图像中的人脸关键点信息对所述人脸立体素材图像进行形变，得到第一素材图像；根据所述用户图像的融合区域的亮度信息获取对应的色彩映射表，根据所述色彩映射表对所述第一素材图像进行肤色调整，得到第二素材图像；将所述用户图像和第二素材图像进行融合处理，得到目标图像。2.根据权利要求1所述的方法，其特征在于，所述确定所述用户图像的融合区域，包括：根据所述用户图像的图像数据，进行掩码操作，得到所述用户图像的掩码信息；根据所述用户图像的掩码信息对所述用户图像进行边缘检测得到所述用户图像的融合区域。3.根据权利要求1所述的方法，其特征在于，所述根据所述用户图像中的人脸关键点信息和人脸立体素材图像中的人脸关键点信息对所述人脸立体素材图像进行形变，得到第一素材图像，包括：检测所述用户图像的人脸关键点和人脸立体素材图像中的人脸关键点；基于人脸立体素材图像中的人脸关键点对所述人脸立体素材图像进行网格划分，得到包含多个网格的第一网格面，取所述第一网格面的各顶点信息生成第一网格顶点数组；所述第一网格顶点数组信息包括各顶点的第一位置信息、各个网格的第一色值信息和各个网格的第一纹理信息；根据所述用户图像的人脸关键点信息、所述人脸立体素材图像中的人脸关键点信息和所述第一网格顶点数组的第一位置信息，进行坐标变换得到第二网格顶点数组的第二位置信息；所述第二网格顶点数组信息包括第二位置信息、第一色值信息和第一纹理信息；根据所述第二网格顶点数组信息得到第一素材图像。4.根据权利要求3所述的方法，其特征在于，所述根据所述用户图像的人脸关键点信息、所述人脸立体素材图像的人脸关键点信息和所述第一网格顶点组的各顶点信息的第一位置信息，进行坐标变换得到第二网格顶点组的各顶点信息的第二位置信息，包括：对所述用户图像的人脸关键点信息进行曲线拟合，得到用户图像的拟合关键点信息，以及对所述人脸立体素材图像的人脸关键点信息进行曲线拟合得到人脸立体素材图像的拟合关键点信息；根据所述用户图像的拟合关键点信息和所述用户图像的人脸关键点信息，得到第一组关键点；根据所述人脸立体素材图像的拟合关键点信息和所述人脸立体素材图像的人脸关键点信息，得到第二组关键点；获取所述第一组关键点的位置信息和第二组关键点的位置信息，根据所述第一组关键点的位置信息...

【专利技术属性】
技术研发人员：刘欣眉，
申请(专利权)人：深圳市云之梦科技有限公司，
类型：发明
国别省市：广东,44