人脸图像的处理方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种人脸图像的处理方法、装置、电子设备和存储介质。所述方法包括：获取第一人脸图像，以及，获取第二人脸图像；提取所述第一人脸图像的面容特征；以及，提取所述第二人脸图像的面部姿态特征；根据所述面容特征和所述面部姿态特征，生成融合面部图像；采用所述融合面部图像，对所述第二人脸图像的面部图像进行替换，生成替换后的第二人脸图像。采用本方法能够提高人脸交换处理过程中的实时性。

Face image processing method, device, electronic equipment and storage medium

【技术实现步骤摘要】
人脸图像的处理方法、装置、电子设备及存储介质
本公开涉及图像处理领域，尤其涉及一种人脸图像的处理方法、装置、电子设备及存储介质。
技术介绍
随着互联网技术的发展，换脸技术在影像制作、互动娱乐等行业有着较为广阔的前景，人脸交换逐渐成为人们社交娱乐的新热点，为人们的娱乐生活带来了乐趣。相关技术中，目前的人脸交换方法往往需要将换脸对象在多种脸部姿态下的大量样本图像(包括换脸和被换脸人的图像)作为训练样本对生成模型进行训练，虽然训练得到的生成模型可以生成较真实的人脸，但是训练过程比较复杂，无法实现实时换脸。然而，目前的人脸图像的处理方法存在实时性不高的问题。
技术实现思路
本公开提供一种人脸图像的处理方法、装置、电子设备及存储介质，以至少解决相关技术中目前的人脸图像的处理方法存在实时性不高的问题。本公开的技术方案如下：根据本公开实施例的第一方面，提供一种人脸图像的处理方法，包括获取第一人脸图像，以及，获取第二人脸图像；提取所述第一人脸图像的面容特征；以及，提取所述第二人脸图像的面部姿态特征；根据所述面容特征和所述面部姿态特征，生成融合面部图像；采用所述融合面部图像，对所述第二人脸图像的面部图像进行替换，生成替换后的第二人脸图像。在一种可能实现方式中，所述提取所述第二人脸图像的面部姿态特征，包括：提取所述第二人脸图像中的人脸关键点；所述人脸关键点为所述第二人脸图像的面部图像中的各个关键特征点；获取所述第二人脸图像的面部轮廓特征；根据所述面部轮廓特征和所述人脸关键点，提取出所述第二人脸图像的面部姿态特征。在一种可能实现方式中，所述根据所述面容特征和所述面部姿态特征，生成融合面部图像，包括：对所述面容特征和所述面部姿态特征进行特征融合，得到人脸融合特征；获取所述第二人脸图像的面部肤色特征，以及，获取所述第二人脸图像的五官位置特征；根据所述面部肤色特征、所述五官位置特征和所述人脸融合特征，生成所述融合面部图像。在一种可能实现方式中，所述对所述面容特征和所述面部姿态特征进行特征融合，得到人脸融合特征，包括：通过预训练的特征编码网络，对所述面容特征和所述面部姿态特征进行编码，得到人脸编码特征；其中，所述人脸编码特征携带有所述面容特征和所述面部姿态特征的语义信息；通过预训练的特征解码网络，对所述人脸编码特征进行解码，生成所述人脸融合特征。在一种可能实现方式中，所述根据所述面部肤色特征、所述五官位置特征和所述人脸融合特征，生成所述融合面部图像，包括：根据所述面部肤色特征、所述五官位置特征和所述人脸融合特征，生成原始融合面部图像；根据所述第二人脸图像的面部轮廓对所述原始融合面部图像进行裁切，得到所述融合面部图像。在一种可能实现方式中，所述采用所述融合面部图像，对所述第二人脸图像的面部图像进行替换，生成替换后的第二人脸图像，包括：识别所述第二人脸图像的面部轮廓；根据所述第二人脸图像的面部轮廓，确定所述第二人脸图像的面部图像。在一种可能实现方式中，应用于预训练的生成网络，在所述获取第一人脸图像，以及，获取第二人脸图像的步骤之前，还包括：构建待训练的生成网络；其中，所述待训练的生成网络用于对输入的第一人脸样本图像和第二人脸样本图像进行处理，生成替换后的第二人脸样本图像；构建待训练的对抗网络；其中，所述待训练的对抗网络用于判断输入的人脸图像是否为所述待训练的生成网络生成的人脸图像；基于所述第一人脸样本图像和所述第二人脸样本图像，对所述待训练的生成网络和所述待训练的对抗网络进行对抗训练，得到所述预训练的生成网络。在一种可能实现方式中，当所述第一人脸样本图像和所述第二人脸样本图像为同一图像时，所述基于所述第一人脸样本图像和所述第二人脸样本图像，对所述待训练的生成网络和所述待训练的对抗网络进行对抗训练，得到所述预训练的生成网络，包括：确定所述替换后的第二人脸样本图像与所述第二人脸样本图像之间的图像相似度；根据所述图像相似度，调整所述待训练的生成网络的模型参数，得到训练后的生成网络，并将所述训练后的生成网络作为所述待训练的生成网络；重复执行上述步骤，直至得到所述预先训练的策略生成网络。在一种可能实现方式中，所述基于所述第一人脸样本图像和所述第二人脸样本图像，对所述待训练的生成网络和所述待训练的对抗网络进行对抗训练，得到所述预训练的生成网络，包括：提取所述替换后的第二人脸样本图像的面容特征，以及，提取所述第一人脸样本图像的面容特征；确定所述替换后的第二人脸样本图像的面容特征与所述第一人脸样本图像的面容特征之间的余弦距离；根据所述余弦距离，调整所述待训练的生成网络的模型参数，得到训练后的生成网络，并将所述训练后的生成网络作为所述待训练的生成网络；重复执行上述步骤，直至得到所述预先训练的策略生成网络。在一种可能实现方式中，所述基于所述第一人脸样本图像和所述第二人脸样本图像，对所述待训练的生成网络和所述待训练的对抗网络进行对抗训练，得到所述预训练的生成网络，包括：提取所述替换后的第二人脸样本图像的人脸关键点，以及，提取所述第二人脸样本图像的人脸关键点；其中，所述人脸关键点包括鼻部关键点；所述鼻部关键点为加权后的人脸关键点；确定所述替换后的第二人脸样本图像的人脸关键点与所述第一人脸样本图像的人脸关键点之间的关键点距离；根据所述关键点距离，调整所述待训练的生成网络的模型参数，得到训练后的生成网络，并将所述训练后的生成网络作为所述待训练的生成网络；重复执行上述步骤，直至得到所述预先训练的策略生成网络。根据本公开实施例的第二方面，提供一种人脸图像的处理方法，包括：响应于人脸图像上传操作指令，上传多个待交换人脸图像至服务器；响应于目标人脸图像获取指令，发送图像获取请求至所述服务器，以触发所述服务器在多个所述待交换人脸图像中，确定第一人脸图像和第二人脸图像；提取所述第一人脸图像的面容特征；以及，提取所述第二人脸图像的面部姿态特征；根据所述面容特征和所述面部姿态特征，生成融合面部图像；采用所述融合面部图像，对所述第二人脸图像的面部图像进行替换，得到替换后的第二人脸图像；接收所述服务器返回的所述替换后的第二人脸图像。根据本公开实施例的第三方面，提供一种人脸图像的处理装置，包括：获取单元，被配置为执行获取第一人脸图像，以及，获取第二人脸图像；提取单元，被配置为执行提取所述第一人脸图像的面容特征；以及，提取所述第二人脸图像的面部姿态特征；融合单元，被配置为执行根据所述面容特征和所述面部姿态特征，生成融合面部图像；替换单元，被配置为执行采用所述融合面部图像，对所述第二人脸图像的面部图像进行替换，生成替换后的第二人脸图像。根据本公开实施例的第四方面，提供一种人脸图像的处理装置，包括：上传单元，被配置为执行响应于人脸图像上传操作指令，上传多个待交换人脸图像至服务器；发送单元，被配置为执行响应于目标人脸图像获取指令，发送图像获取请求至所述服务器，以触发所述服务器在多个所述待交换人脸图像本文档来自技高网...

【技术保护点】
1.一种人脸图像的处理方法，其特征在于，包括：/n获取第一人脸图像，以及，获取第二人脸图像；/n提取所述第一人脸图像的面容特征；以及，提取所述第二人脸图像的面部姿态特征；/n根据所述面容特征和所述面部姿态特征，生成融合面部图像；/n采用所述融合面部图像，对所述第二人脸图像的面部图像进行替换，生成替换后的第二人脸图像。/n

【技术特征摘要】
1.一种人脸图像的处理方法，其特征在于，包括：
获取第一人脸图像，以及，获取第二人脸图像；
提取所述第一人脸图像的面容特征；以及，提取所述第二人脸图像的面部姿态特征；
根据所述面容特征和所述面部姿态特征，生成融合面部图像；
采用所述融合面部图像，对所述第二人脸图像的面部图像进行替换，生成替换后的第二人脸图像。


2.根据权利要求1所述的人脸图像的处理方法，其特征在于，所述提取所述第二人脸图像的面部姿态特征，包括：
提取所述第二人脸图像中的人脸关键点；所述人脸关键点为所述第二人脸图像的面部图像中的各个关键特征点；
获取所述第二人脸图像的面部轮廓特征；
根据所述面部轮廓特征和所述人脸关键点，提取出所述第二人脸图像的面部姿态特征。


3.根据权利要求1所述的人脸图像的处理方法，其特征在于，所述根据所述面容特征和所述面部姿态特征，生成融合面部图像，包括：
对所述面容特征和所述面部姿态特征进行特征融合，得到人脸融合特征；
获取所述第二人脸图像的面部肤色特征，以及，获取所述第二人脸图像的五官位置特征；
根据所述面部肤色特征、所述五官位置特征和所述人脸融合特征，生成所述融合面部图像。


4.一种人脸图像的处理方法，其特征在于，包括：
响应于人脸图像上传操作指令，上传多个待交换人脸图像至服务器；
响应于目标人脸图像获取指令，发送图像获取请求至所述服务器，以触发所述服务器在多个所述待交换人脸图像中，确定第一人脸图像和第二人脸图像；提取所述第一人脸图像的面容特征；以及，提取所述第二人脸图像的面部姿态特征；根据所述面容特征和所述面部姿态特征，生成融合面部图像；采用所述融合面部图像，对所述第二人脸图像的面部图像进行替换，得到替换后的第二人脸图像；
接收所述服务器返回的所述替换后的第二人脸图像。


5.一种人脸图像的处理装置，其特征在于，包括：
获取单元...

【专利技术属性】
技术研发人员：吴翔宇，袁玮，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11