换脸网络模型的训练方法、图像换脸方法及相关设备技术

本申请提供了一种换脸网络模型的训练方法、图像换脸方法及相关设备，在训练换脸网络模型时，可以获取多个图像样本对；针对各图像样本，将图像样本对包括的原图像样本和目标图像样本输入至初始换脸网络模型中，从目标图像样本中多次提取人脸特征，并从原图像样本中多次提取属性特征，再将多次提取的人脸特征和属性特征融合得到换脸图像样本，换脸图像样本中可以包含更多的人脸特征和属性特征，这样结合各图像样本对和其对应的包含更多人脸特征和属性特征的换脸图像样本更新初始换脸网络模型的网络参数，更有助于训练换脸网络模型，使得最终的换脸网络模型可以更好地执行换脸操作，获取到真实自然的换脸图像，有效地提高了换脸图像的换脸效果。换脸图像的换脸效果。换脸图像的换脸效果。

【技术实现步骤摘要】
换脸网络模型的训练方法、图像换脸方法及相关设备


[0001]本申请涉及图像处理
，尤其涉及一种换脸网络模型的训练方法、图像换脸方法及相关设备。

技术介绍

[0002]换脸被广泛应用于内容生成、电影制作、以及娱乐视频制作等领域。其中，换脸是指给定一张原图像和目标图像，将目标图像中的身份特征迁移到原图像中，得到换脸图像，使得得到的换脸图像中即保持目标图像的身份特征，又具有原图像的属性特征，例如姿势、表情、光照以及背景等。
[0003]现有技术中，在进行图像换脸时，通常是基于脸部关键点的方式实现图像换脸，具体过程为：先获取原图像和目标图像的脸部关键点，通过原图像关键点提取原图像的脸部区域，再根据目标图像的关键点将原图像的脸部区域融合到目标图像中，从而完成图像换脸。
[0004]但是，采用这种方式难以获取到真实自然的换脸图像，使得换脸图像的换脸效果较差。

技术实现思路

[0005]本申请实施例提供了一种换脸网络模型的训练方法、图像换脸方法及相关设备，可以获取到真实自然的换脸图像，提高了换脸图像的换脸效果。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种换脸网络模型的训练方法，其特征在于，包括：获取多个图像样本对，其中，各图像样本对包括原图像样本和所述原图像样本对应的目标图像样本；针对所述各图像样本，将所述图像样本对中原图像样本和目标图像样本输入至初始换脸网络模型中，从所述目标图像样本中多次提取人脸特征以及从所述原图像样本中多次提取属性特征，以及将多次提取的人脸特征和多次提取的属性特征进行融合，得到所述图像样本对对应的换脸图像样本；根据所述各图像样本对和所述各图像样本对对应的换脸图像样本，更新所述初始换脸网络模型的网络参数。2.根据权利要求1所述的方法，其特征在于，所述初始换脸网络模型包括属性特征提取模型、人脸特征提取模型和特征融合模型；其中，所述从所述目标图像样本中多次提取人脸特征，包括：将所述目标图像样本输入至所述人脸特征提取模型中，从所述目标图像样本中多次提取人脸特征，输出多个人脸特征；所述从所述原图像样本中多次提取属性特征，包括：将所述原图像样本输入至所述属性特征提取模型中，从所述原图像样本中多次提取属性特征，输出多个属性特征；所述将多次提取的人脸特征和多次提取的属性特征进行融合，得到所述各图像样本对对应的换脸图像样本，包括：将所述多个属性特征和所述多个人脸特征输入至所述特征融合模型进行融合，得到所述图像样本对对应的换脸图像样本。3.根据权利要求2所述的方法，其特征在于，所述人脸特征提取模型包括第一下采样网络和第一上采样网络，所述第一下采样网络包括依次连接的多个第一卷积层，所述第一上采样网络包括依次连接的多个第二卷积层；所述将所述目标图像样本输入至所述人脸特征提取模型中，从所述目标图像样本中多次提取人脸特征，包括：将所述目标图像样本输入至所述人脸特征提取模型中，通过所述第一下采样网络中的最后一个第一卷积层提取所述目标图像样本中的人脸特征，以及通过所述第一上采样网络中的各第二卷积层分别提取所述目标图像样本中的人脸特征，以多次提取人脸特征。4.根据权利要求3所述的方法，其特征在于，所述属性特征提取模型包括第二下采样网络和第二上采样网络，所述第二下采样网络包括多个第三卷积层，所述第二上采样网络包括多个第四卷积层；所述将所述原图像样本输入至所述属性特征提取模型中，从所述原图像样本中多次提取属性特征，包括：将所述原图像样本输入至所述属性特征提取模型中，通过所述第二下采样网络中的最后一个第三卷积层提取所述原图像样本中的属性特征，以及通过所述第二上采样网络中的各第四卷积层分别提取所述原图像样本中的属性特征，以多次提取属性特征。5.根据权利要求4所述的方法，其特征在于，所述特征融合模型包括依次连接的一个第一特征融合层和多个第二特征融合层，所述多个第二特征融合层分别与所述多个第二卷积层和所述多个第四卷积层一一对应；所述将所述多个属性特征和所述多个人脸特征输入至所述特征融合模型进行融合，包
括：通过所述第一特征融合层，将所述最后一个第一卷积层提取的人脸特征和最后一个第三卷积层提取的属性特征进行融合，得到融合图像；针对各第二特征融合层，将对应的第二卷积层提取的人脸特征和对应的第四卷积层提取的属性特征，以及前一个特征融合层融合的融合图像进行融合，并将最后一个第二特征融合层融合的融合图像确定为所述图像样本对对应的换脸图像样本。6.根据权利要求2
‑
5任一项所述的方法，其特征在于，所述根据所述各图像样本对和所述各图像样本对对应的换脸图像样本，更新所述初始换脸网络模型的网络参数，包括：对所述各图像样本对中的目标图像样本进行超分处理，得到所述各图像样本的超分目标图像样本；对所述各图像样本对对应的换脸图像样本进行超分处理，得到所述各图像样本对对应的超分换脸图像样本；根据所述各图像样本对的所述超分目标图像样本，和所述超分换脸图像样本，生成所述各图像样本对对应的混合图像样本；根据所述各图像样本对的所述原图像样本、所述目标图像样本、对应的所述换脸图像样本及所述混合图像样本，更新所述初始换脸网络模型的网络参数。7.根据权利要求6所述的方法，其特征在于，针对所述各图像样本对，生成所述各样本对对应的混合图像样本的具体方式有：从所述图像样本对的超分目标图像样本中识别第一人脸区域；以及从所述图像样本对对应的所述超分换脸图像样本中识别第二人脸区域；对所述第一人脸区域进行分割处理，得到多个第一图像区域块；以及对所述第二人脸区域进行分割处理，得到多个第二图像区域块；从所述多个第一图像区域块和所述多个第二图像区域块中选择图像区域块进行拼接，生成所述图像样本对对应的所述混合图像样本。8.根据权利要求6所述的方法，其特征在于，根据所述各图像样本对的所述原图像样本、所述目标图像样本、...

【专利技术属性】
技术研发人员：陈圣，蒋宁，王洪斌，周迅溢，吴海英，曾定衡，
申请(专利权)人：马上消费金融股份有限公司，
类型：发明
国别省市：