人脸图像的融合方法和装置制造方法及图纸

本公开提出一种人脸图像的融合方法和装置，涉及图像处理领域。该方法包括获取模板人脸图像的属性特征；获取用户人脸图像的身份特征；基于模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域；将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像。换脸过程不需要人脸分割模型辅助，提高了换脸效果。提高了换脸效果。提高了换脸效果。

【技术实现步骤摘要】
人脸图像的融合方法和装置


[0001]本公开涉及图像处理领域，特别涉及一种人脸图像的融合方法和装置。

技术介绍

[0002]利用人工智能技术，将图像A中的人脸换到图像B中，所合成的图像C中的人脸与图像A中的人脸一致，背景、发型等与图像B保持一致。智能换脸技术有很广泛的应用，例如，电影后期制作、隐私保护等。例如，先用替身演员完成高难度的动作，然后再将主角的脸替换掉替身演员的脸。又例如，在一些公共网站，用虚拟人脸来替换掉用户的真实人脸。
[0003]一些相关智能换脸技术的换脸效果非常依赖人脸分割模型，人脸分割效果不好的人脸分割模型会严重影响换脸效果，而人脸分割效果好的人脸分割模型需要大量的标注数据进行训练，费时费力。

技术实现思路

[0004]本公开实施例提出一种不需要人脸分割模型辅助的智能换脸解决方案，提高换脸效果。
[0005]本公开一些实施例提出一种人脸图像的融合方法，包括：
[0006]获取模板人脸图像的属性特征；
[0007]获取用户人脸图像的身份特征；
[0008]基于模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域；
[0009]将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；
[0010]根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；
[0011]利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像。
[0012]在一些实施例中，根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征，包括：
[0013]基于用户人脸图像在身份敏感区域的身份特征，计算身份特征相关的均值和方差；
[0014]基于模板人脸图像在身份敏感区域的属性特征，计算属性特征相关的均值和方差；
[0015]根据模板人脸图像在身份敏感区域的属性特征和身份特征相关的均值和方差，执行第一自适应实例归一化操作，进行身份迁移；
[0016]根据第一自适应实例归一化操作结果和属性特征相关的均值和方差，执行第二自适应实例归一化操作，进行属性恢复，得到身份敏感区域的特征。
[0017]在一些实施例中，身份敏感区域的特征表示如下：
[0018][0019]其中，F
[Is
‑
areas]表示身份敏感区域的特征，Conv表示卷积操作，表示对Conv( )进行归一化操作，F
att
表示模板人脸图像在身份敏感区域的属性特征，β
id
、γ
id
分别表示计算得到的身份特征相关的均值和方差，β
att
、γ
att
分别表示计算得到的属性特征相关的均值和方差，表示哈达玛积，表示哈达玛和。
[0020]在一些实施例中，利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像包括：
[0021][0022]其中，O表示融合人脸图像，M表示注意力图，F
[As
‑
areas]表示属性稳定区域的特征，F
[Is
‑
areas]表示身份敏感区域的特征，表示哈达玛积。
[0023]在一些实施例中，利用融合网络执行权利要求1所述的方法，融合网络包括属性网络和换脸网络，属性网络执行获取模板人脸图像的属性特征的步骤，换脸网络执行身份特征获取步骤、注意力图确定步骤、属性稳定区域的特征确定步骤、身份敏感区域的特征确定步骤、融合人脸图像确定步骤，
[0024]其中，属性网络包括一个或多个依次级联的用来进行卷积的编码器以及在最后一级编码器后面依次级联的一个或多个用来进行反卷积的解码器，最后一级编码器和各个解码器分别输出各自级别的模板人脸图像的属性特征；
[0025]其中，换脸网络包括身份特征获取模块以及在身份特征获取模块后面依次级联的一个或多个换脸模块，第一个换脸模块的两个输入端分别连接身份特征获取模块和最后一级编码器，其他换脸模块的三个输入端分别连接相应解码器的输出端、身份特征获取模块的输出端和前一级换脸模块的输出端，身份特征获取模块被配置为基于人脸识别技术获取并输出用户人脸图像的身份特征，每个换脸模块被配置为基于本换脸模块的输入信息执行注意力图确定步骤、属性稳定区域的特征确定步骤、身份敏感区域的特征确定步骤、融合人脸图像确定步骤。
[0026]在一些实施例中，换脸模块执行融合人脸图像确定步骤包括：
[0027][0028]其中，O
(l)
表示按照各个换脸模块级联顺序的第l个换脸模块确定的融合人脸图像，O
(l
‑
1)
表示按照各个换脸模块级联顺序的第l
‑
1个换脸模块确定的融合人脸图像，M
(l)
表示按照各个换脸模块级联顺序的第l个换脸模块确定的注意力图，表示按照各个换脸模块级联顺序的第l个换脸模块确定的属性稳定区域的特征，表示按照各个换脸模块级联顺序的第l个换脸模块确定的身份敏感区域的特征，表示哈达玛积。
[0029]在一些实施例中，还包括：利用人脸图像训练数据对属性网络和换脸网络进行联合训练，直至训练损失满足要求，
[0030]其中，人脸图像训练数据包括多组第二模板人脸图像和第二用户人脸图像，训练损失包括第二用户人脸图像与第二融合人脸图像之间的身份损失，第二融合人脸图像是换脸网络基于第二模板人脸图像和第二用户人脸图像输出的图像。
[0031]在一些实施例中，训练损失还包括以下至少一项：
[0032]第二融合人脸图像与第二模板人脸图像之间的属性一致性损失；
[0033]第二融合人脸图像相对于第二模板人脸图像的重构损失；
[0034]第二融合人脸图像与预设真实人脸图像之间的对抗损失；
[0035]注意力图的正则化约束。
[0036]在一些实施例中，属性稳定区域包括背景、头发，属性特征包括背景、发型、肤色、表情、姿态；身份敏感区域包括人脸的五官区域和轮廓区域。
[0037]本公开一些实施例提出一种人脸图像的融合装置，包括：
[0038]存储器；以及
[0039]耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行任一些实施例所述的人脸图像的融合方法。
[0040]本公开一些实施例提出一种人脸图像的融合装置，包括：
[0041]属性网络，用于获取模板人脸图像的属性特征；
[0042]换脸网络，用于：
[0043]获取用户人脸图像的身份特征；
[0044]基于模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸图像的融合方法，其特征在于，包括：获取模板人脸图像的属性特征；获取用户人脸图像的身份特征；基于模板人脸图像的属性特征，确定模板人脸图像的注意力图，注意力图用于区分模板人脸图像中的属性稳定区域和身份敏感区域；将模板人脸图像在属性稳定区域的属性特征，作为属性稳定区域的特征；根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征；利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像。2.根据权利要求1所述的方法，其特征在于，根据模板人脸图像在身份敏感区域的属性特征和用户人脸图像在身份敏感区域的身份特征进行身份迁移和属性恢复处理，得到身份敏感区域的特征，包括：基于用户人脸图像在身份敏感区域的身份特征，计算身份特征相关的均值和方差；基于模板人脸图像在身份敏感区域的属性特征，计算属性特征相关的均值和方差；根据模板人脸图像在身份敏感区域的属性特征和身份特征相关的均值和方差，执行第一自适应实例归一化操作，进行身份迁移；根据第一自适应实例归一化操作结果和属性特征相关的均值和方差，执行第二自适应实例归一化操作，进行属性恢复，得到身份敏感区域的特征。3.根据权利要求2所述的方法，其特征在于，身份敏感区域的特征表示如下：其中，F
[Is
‑
areas]
表示身份敏感区域的特征，Conv表示卷积操作，表示对Conv()进行归一化操作，F
att
表示模板人脸图像在身份敏感区域的属性特征，β
id
、γ
id
分别表示计算得到的身份特征相关的均值和方差，β
att
、γ
att
分别表示计算得到的属性特征相关的均值和方差，表示哈达玛积，表示哈达玛和。4.根据权利要求1所述的方法，其特征在于，利用注意力图对属性稳定区域的特征和身份敏感区域的特征进行融合，得到融合人脸图像包括：其中，O表示融合人脸图像，M表示注意力图，F
[As
‑
areas]
表示属性稳定区域的特征，F
[Is
‑
areas]
表示身份敏感区域的特征，表示哈达玛积。5.根据权利要求1所述的方法，其特征在于，利用融合网络执行权利要求1所述的方法，融合网络包括属性网络和换脸网络，属性网络执行获取模板人脸图像的属性特征的步骤，换脸网络执行身份特征获取步骤、注意力图确定步骤、属性稳定区域的特征确定步骤、身份敏感区域的特征确定步骤、融合人脸图像确定步骤，其中，属性网络包括一个或多个依次级联的用来进行卷积的编码器以及在最后一级编码器后面依次级联的一个或多个用来进行反卷积的解码器，最后一级编码器和各个解码器
分别输出各自级别的模板人脸图像的属性特征；其中，换脸网络包括身份特征获取模块以及在身份特征获取模块后面依次级联的一个或多个换脸模块，第一个换脸模块的两个输入端分别连接身份特征获取模块和最后一级编码器，其他换脸模块的三个输入端分别连接相应解码器的输出端、身份特征获取模块的输出端和前一级换脸模块的输出端，身份特征获取模块被配置为基于人脸识别技术获取并输出用户人脸图像的身份特征，每个换脸模块被配置为基于本换脸模块的输入信息执行注意力图确定步骤、属性稳定区域的特征确定步骤、身份敏感区域的特征确定步骤、融合人脸图像确定步骤。6.根据权利要求5所述的方法，其特征在于，换脸模块执行融合人脸图像确定步骤包括：其中，O
(l)
表示按照各个换脸模块级联顺序的第l个换脸模块确定的融合人脸图像，O
(l
‑
1)
表示按照各个换脸模块级联顺序的第l
‑
1个换脸模块确定的融合人脸图像，M
(l)
表示按照各个换脸模块级联顺序的第l个换脸模块确定的注意力图，表示按照各个换脸模块级联顺序的第l个换脸模块确定的属性稳定区域的特征，表示按照各个换脸模块级联顺序的第l...

【专利技术属性】
技术研发人员：刘颖璐，石海林，向明灿，梅涛，周伯文，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：