一种换脸方法、装置、设备及存储介质制造方法及图纸

本申请提供一种换脸方法、装置、设备及存储介质，涉及图像处理技术领域。该方法包括：该方法包括：将源图像输入预先训练得到的换脸模型中的多层次身份编码器，得到源图像对应的多个身份特征向量，源图像中包括源人脸；将目标图像输入该换脸模型中的多层次属性编码器，得到该目标图像对应的多个属性特征图，目标图像中包括待转换的目标人脸；将各身份特征向量以及各属性特征图输入该换脸模型中的图像生成器，经该图像生成器中的多个级联的特征调制模块依次融合后，得到换脸图像，该换脸图像中包括该源人脸，且该源人脸具有该目标人脸的属性特征。应用本申请实施例，可以使生成的换脸图像质量得到提高。像质量得到提高。像质量得到提高。

【技术实现步骤摘要】
一种换脸方法、装置、设备及存储介质


[0001]本申请涉及图像处理
，具体而言，涉及一种换脸方法、装置、设备及存储介质。

技术介绍

[0002]近年来，随着人脸合成技术的发展，换脸技术得到了广泛的应用。换脸是指用源图像中的人脸区域替换目标图像中的人脸区域以改变目标图像的身份特征，同时保留目标图像中的属性特征，如头部姿态、面部表情等。
[0003]目前，主要采用基于特征解耦的技术来将源图像中的人脸区域替换到目标图像中，虽然该技术能够实现换脸任务，但是并未考虑源图像对应的多层身份特征，这样会使生成的换脸图像质量降低。

技术实现思路

[0004]本申请的目的在于，针对上述现有技术中的不足，提供一种换脸方法、装置、设备及存储介质，可以使生成的换脸图像质量得到提高。
[0005]为实现上述目的，本申请实施例采用的技术方案如下：
[0006]第一方面，本申请实施例提供了一种换脸方法，所述方法包括：
[0007]将源图像输入预先训练得到的换脸模型中的多层次身份编码器，得到所述源图像对应的多个身份特征向量，其中，所述多层次身份编码器中包括多个卷积层，各所述身份特征向量分别由所述多层次身份编码器中的一个卷积层处理得到，所述源图像中包括源人脸；
[0008]将目标图像输入所述换脸模型中的多层次属性编码器，得到所述目标图像对应的多个属性特征图，其中，所述多层次属性编码器中包括多个卷积层，各所述属性特征图分别由所述多层次属性编码器中的一个或多个卷积层处理得到，所述目标图像中包括待转换的目标人脸；
[0009]将各所述身份特征向量以及各所述属性特征图输入所述换脸模型中的图像生成器，经所述图像生成器中的多个级联的特征调制模块依次融合后，得到换脸图像，所述换脸图像中包括所述源人脸，且所述源人脸具有所述目标人脸的属性特征。
[0010]可选地，所述图像生成器中的各所述特征调制模块分别包括属性调制模块以及特征融合模块，其中，所述属性调制模块包括属性关系模块、属性调制参数修订模块以及属性调制特征图生成模块；
[0011]所述将各所述身份特征向量以及各所述属性特征图输入所述换脸模型中的图像生成器，经所述图像生成器中的多个级联的特征调制模块依次融合后，得到换脸图像，包括：
[0012]将第一属性特征图以及第一输入特征图输入第一特征调制模块中的所述属性关系模块，得到属性关系特征图，所述属性关系模块用于获取已加入的属性特征与未加入的
属性特征之间的关联性，所述第一属性特征图为与所述第一特征调制模块对应的属性特征图，所述第一输入特征图为所述第一特征调制模块的前一特征调制模块输出的特征图，所述第一特征调制模块为所述多个级联的特征调制模块中的任一特征调制模块；
[0013]将所述属性关系特征图以及与所述第一属性特征图关联的初始属性调制参数特征图输入所述属性调制参数修订模块，得到目标属性调制参数特征图；
[0014]将所述目标属性调制参数特征图以及所述第一输入特征图输入所述属性调制特征图生成模块，得到属性调制特征图；
[0015]将所述属性调制特征图以及目标身份调制特征图输入所述特征融合模块，得到所述第一特征调制模块输出的融合后特征图，所述融合后特征图用于输入所述第一特征调制模块之后的特征调制模块进行融合，其中，所述目标身份调制特征图基于对第一身份特征向量进行身份调制后得到，所述第一身份特征向量为与所述第一特征调制模块对应的身份特征向量。
[0016]可选地，所述图像生成器中的各所述特征调制模块还分别包括身份调制模块，其中，所述身份调制模块包括身份关系模块、身份调制参数修订模块以及身份调制特征图生成模块；
[0017]所述将所述属性调制特征图以及目标身份调制特征图输入所述特征融合模块，得到所述第一特征调制模块输出的融合后特征图之前，还包括：
[0018]将所述第一身份特征向量以及所述第一输入特征图输入所述第一特征调制模块中的所述身份关系模块，得到身份关系特征图，所述身份关系模块用于获取已加入的身份特征与未加入的身份特征之间的关联性；
[0019]将所述身份关系特征图以及与所述第一身份特征向量关联的初始身份调制参数特征图输入所述身份调制参数修订模块，得到目标身份调制参数特征图；
[0020]将所述目标身份调制参数特征图以及所述第一输入特征图输入所述身份调制特征图生成模块，得到所述目标身份调制特征图。
[0021]可选地，所述特征融合模块包括相互关系模块，所述相互关系模块包括：第一处理模块和第二处理模块；
[0022]所述将所述属性调制特征图以及所述目标身份调制特征图输入所述特征融合模块，得到所述第一特征调制模块输出的融合后特征图，包括：
[0023]将所述属性调制特征图输入所述相互关系模块中的所述第一处理模块，得到总属性调制特征图；
[0024]将所述目标身份调制特征图输入所述相互关系模块中的所述第二处理模块，得到总身份调制特征图；
[0025]对所述总属性调制特征图和所述总身份调制特征图进行拼接，得到所述相互关系模块输出的相互关系特征图；
[0026]根据所述相互关系特征图、所述属性调制特征图以及所述目标身份调制特征图，得到所述第一特征调制模块输出的融合后特征图。
[0027]可选地，所述根据所述相互关系特征图、所述属性调制特征图以及所述目标身份调制特征图，得到所述第一特征调制模块输出的融合后特征图，包括：
[0028]对所述相互关系特征图以及所述属性调制特征图进行卷积操作，得到第一特征
图；
[0029]对所述相互关系特征图以及所述目标身份调制特征图进行卷积操作，得到第二特征图；
[0030]分别将所述第一特征图以及所述第二特征图匹配层上的元素相加，得到所述第一特征调制模块输出的融合后特征图。
[0031]可选地，所述第一处理模块包括第一金字塔池化模块、第一上采样模块；所述将所述属性调制特征图输入所述相互关系模块中的所述第一处理模块，得到总属性调制特征图，包括：
[0032]将所述属性调制特征图输入所述第一金字塔池化模块，得到多个不同分辨率的子属性调制特征图；
[0033]将各所述不同分辨率的子属性调制特征图分别输入所述第一上采样模块，得到与所述属性调制特征图分辨率一致的子属性调制特征图；
[0034]将所述属性调制特征图与各所述子属性调制特征图拼接，得到所述总属性调制特征图。
[0035]可选地，所述第二处理模块包括第二金字塔池化模块、第二上采样模块；所述将所述目标身份调制特征图输入所述相互关系模块中的所述第二处理模块，得到总身份调制特征图，包括：
[0036]将所述目标身份调制特征图输入所述第二金字塔池化模块，得到多个不同分辨率的子身份调制特征图；
[0037]将各所述不同分辨率的子身份调制特征图分别输入所述第二上采样模块，得到与所述目标身份调制特征图分辨率一致的子身份调制特征图；
...

【技术保护点】

【技术特征摘要】
1.一种换脸方法，其特征在于，所述方法包括：将源图像输入预先训练得到的换脸模型中的多层次身份编码器，得到所述源图像对应的多个身份特征向量，其中，所述多层次身份编码器中包括多个卷积层，各所述身份特征向量分别由所述多层次身份编码器中的一个卷积层处理得到，所述源图像中包括源人脸；将目标图像输入所述换脸模型中的多层次属性编码器，得到所述目标图像对应的多个属性特征图，其中，所述多层次属性编码器中包括多个卷积层，各所述属性特征图分别由所述多层次属性编码器中的一个或多个卷积层处理得到，所述目标图像中包括待转换的目标人脸；将各所述身份特征向量以及各所述属性特征图输入所述换脸模型中的图像生成器，经所述图像生成器中的多个级联的特征调制模块依次融合后，得到换脸图像，所述换脸图像中包括所述源人脸，且所述源人脸具有所述目标人脸的属性特征。2.根据权利要求1所述的方法，其特征在于，所述图像生成器中的各所述特征调制模块分别包括属性调制模块以及特征融合模块，其中，所述属性调制模块包括属性关系模块、属性调制参数修订模块以及属性调制特征图生成模块；所述将各所述身份特征向量以及各所述属性特征图输入所述换脸模型中的图像生成器，经所述图像生成器中的多个级联的特征调制模块依次融合后，得到换脸图像，包括：将第一属性特征图以及第一输入特征图输入第一特征调制模块中的所述属性关系模块，得到属性关系特征图，所述属性关系模块用于获取已加入的属性特征与未加入的属性特征之间的关联性，所述第一属性特征图为与所述第一特征调制模块对应的属性特征图，所述第一输入特征图为所述第一特征调制模块的前一特征调制模块输出的特征图，所述第一特征调制模块为所述多个级联的特征调制模块中的任一特征调制模块；将所述属性关系特征图以及与所述第一属性特征图关联的初始属性调制参数特征图输入所述属性调制参数修订模块，得到目标属性调制参数特征图；将所述目标属性调制参数特征图以及所述第一输入特征图输入所述属性调制特征图生成模块，得到属性调制特征图；将所述属性调制特征图以及目标身份调制特征图输入所述特征融合模块，得到所述第一特征调制模块输出的融合后特征图，所述融合后特征图用于输入所述第一特征调制模块之后的特征调制模块进行融合，其中，所述目标身份调制特征图基于对第一身份特征向量进行身份调制后得到，所述第一身份特征向量为与所述第一特征调制模块对应的身份特征向量。3.根据权利要求2所述的方法，其特征在于，所述图像生成器中的各所述特征调制模块还分别包括身份调制模块，其中，所述身份调制模块包括身份关系模块、身份调制参数修订模块以及身份调制特征图生成模块；所述将所述属性调制特征图以及目标身份调制特征图输入所述特征融合模块，得到所述第一特征调制模块输出的融合后特征图之前，还包括：将所述第一身份特征向量以及所述第一输入特征图输入所述第一特征调制模块中的所述身份关系模块，得到身份关系特征图，所述身份关系模块用于获取已加入的身份特征与未加入的身份特征之间的关联性；将所述身份关系特征图以及与所述第一身份特征向量关联的初始身份调制参数特征
图输入所述身份调制参数修订模块，得到目标身份调制参数特征图；将所述目标身份调制参数特征图以及所述第一输入特征图输入所述身份调制特征图生成模块，得到所述目标身份调制特征图。4.根据权利要求3所述的方法，其特征在于，所述特征融合模块包括相互关系模块，所述相互关系模块包括：第一处理模块和第二处理模块；所述将所述属性调制特征图以及所述目标身份调制特征图输入所述特征融合模块，得到所述第一特征调制模块输出的融合后特征图，包括：将所述属性调制特征图输入所述相互关系模块中的所述第一处理模块，得到总属性调制特征图；将所述目标身份调制特征图输入所述相互关系模块中的所述第二处理模块，得到总身份调制特征图；对所述总属性调制特征图和所述总身份调制特征图进行拼接，得到所述相互关系模块输出的相互关系特征图；根据所述相互关系特征图、所述属性调制特征图以及所述目标身份调制特征图，得到所述第一特征调制模块输出的融合后特征图。5.根据权利要求4所述的方法，其特征在于，所述根据所述相互关系...

【专利技术属性】
技术研发人员：唐吉霖，袁燚，胡志鹏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：