一种基于GAN和3D系数重建的人脸图像身份合成方法技术

一种基于GAN和3D系数重建的人脸图像身份合成方法，通过从2D图像提取3D系数特征，从而将源图像和目标图像中的人脸进行3D建模，能够保留人脸图像更多的几何结构信息，并生成高质量的人脸合成图像。与传统的人脸图像身份合成方法不同，3D系数重建人脸图像身份合成方法可以获得更多的表情、姿态、光照和纹理等方面的信息，同时能够更好地处理遮挡和局部缺失等问题。题。题。

【技术实现步骤摘要】
一种基于GAN和3D系数重建的人脸图像身份合成方法


[0001]本专利技术涉及人脸图像身份合成领域，具体涉及一种基于GAN和3D系数重建的人脸图像身份合成方法。

技术介绍

[0002]人脸图像身份合成是一种自动将源图像的人脸身份转移到目标图像上的技术，同时保持目标图像上所有其他与身份无关的内容未被修改的技术。受益于深度神经网络的快速发展，该技术经常被用于娱乐和教育领域，尽管有时候合成的结果并不能使人完全满意，但是，来自该行业的需求逐渐引起了人们对该研究领域的关注。
[0003]常用的人脸图像身份合成模型通常分别从源图像和目标图像中获取身份信息和属性信息，并进行特征融合，最后生成合成的人脸。这些方法专注于如何将身份信息和属性信息从2D图像中充分的解纠缠，然而，2D图像中缺乏一些3D系数特征，使得生成的图像不能使人满意，因此基于3D系数的人脸图像身份合成方法在保留特征属性方面具有巨大的优势。基于3D重建技术，通过对源图像和目标图像中的人脸进行3D建模并重组，从而保留更多的几何结构信息，并生成高质量的人脸合成图像，它与传统方法不同，3D系数重建人脸图像人脸图像身份合成方法可以获得图像中更多的表情、姿态、光照和纹理等方面的信息，同时能够更好地处理遮挡和局部缺失等问题。

技术实现思路

[0004]本专利技术为了克服以上技术的不足，提供了一种可以获得更多信息，生成高质量人脸合成图像的方法。
[0005]本专利技术克服其技术问题所采用的技术方案是：
[0006]一种基于GAN和3D系数重建的人脸图像身份合成方法，包括如下步骤：
[0007]a)对目标视频V
t
进行检测，提取出n个目标人脸图像，将源人脸图像I
s
与各个目标人脸图像进行对齐；
[0008]b)建立3D系数融合感知网络，将源人脸图像I
s
和目标人脸图像输入到3D系数融合感知网络中，得到3D系数融合特征F
fuse
；
[0009]c)建立特征融合
‑
生成式网络，将目标人脸图像和3D系数融合特征F
fuse
输入到特征融合
‑
生成式网络中，输出得到交换身份后的人脸图像
[0010]d)通过损失函数迭代优化交换身份后的人脸图像
[0011]e)将交换身份后的人脸图像集I
fake
合成视频V
fake
。
[0012]进一步的，步骤a)包括如下步骤：
[0013]a
‑
1)使用opencv读取目标视频V
t
，使用dlib人脸检测工具对目标视频V
t
的每一帧提取图像，得到n个目标人脸图像的集合I
t
，其中为
第i个目标人脸图像，i∈{1,...,n}；a
‑
2)使用dlib人脸检测工具将源人脸图像I
s
与第i个人脸图像进行对齐。
[0014]进一步的，步骤b)包括如下步骤：
[0015]b
‑
1)3D系数融合感知网络由3D编码器和身份编码器E
id
构成；
[0016]b
‑
2)3D系数融合感知网络的3D编码器由预训练的Deep3DFaceRecon网络构成，将源人脸图像I
s
输入到3D编码器中，输出得到源人脸图像的3D身份系数特征将第i个目标人脸图像输入到3D编码器中，输出得到目标人脸图像的3D属性系数特征F
t3D
；
[0017]b
‑
3)使用torch.cat()函数将源人脸图像的3D身份系数特征与目标人脸图像的3D属性系数特征F
t3D
进行拼接，得到3D系数融合特征
[0018]b
‑
4)3D系数融合感知网络的身份编码器E
id
由第一下采样残差块、第二下采样残差块、第一全局自注意力块、第二全局自注意力块构成；
[0019]b
‑
5)身份编码器E
id
的第一下采样残差块由第一分支、第二分支构成，第一分支依次由卷积层、下采样层构成，第二分支依次由卷积层、正则化层、ReLU激活函数层、下采样层构成，将源人脸图像I
s
输入到第一下采样残差块的第一分支中，输出得到特征将源人脸图像I
s
输入到第一下采样残差块的第二分支中，输出得到特征将特征与特征相加得到融合特征
[0020]b
‑
6)身份编码器E
id
的第一全局自注意力块由第一分支、第二分支构成，第一分支依次由卷积层、下采样层构成，第二分支依次由第一卷积层、第一正则化层、第一ReLU激活函数层、自注意力层、下采样层、第二卷积层、第二正则化层、第二ReLU激活函数层构成，将融合特征输入到第一全局自注意力块的第一分支中，输出得到特征将融合特征输入到第一全局自注意力块的第二分支中，输出得到特征将特征与特征相加得到融合特征
[0021]b
‑
7)身份编码器E
id
的第二下采样残差块由第一分支、第二分支构成，第一分支依次由卷积层、下采样层构成，第二分支依次由卷积层、正则化层、ReLU激活函数层、下采样层构成，将融合特征输入到第一下采样残差块的第一分支中，输出得到特征将融合特征输入到第二下采样残差块的第二分支中，输出得到特征将特征与特征相加得到融合特征
[0022]b
‑
8)身份编码器E
id
的第二全局自注意力块由第一分支、第二分支构成，第一分支
依次由卷积层、下采样层构成，第二分支依次由第一卷积层、第一正则化层、第一ReLU激活函数层、自注意力层、下采样层、第二卷积层、第二正则化层、第二ReLU激活函数层构成，将融合特征输入到第一全局自注意力块的第一分支中，输出得到特征将融合特征输入到第二全局自注意力块的第二分支中，输出得到特征将特征与特征相加得到身份特征F
id
；
[0023]b
‑
9)使用torch.cat()函数将3D系数融合特征与身份特征F
id
进行拼接，得到3D系数融合特征F
fuse
。
[0024]优选的，步骤b
‑
5)中第一下采样残差块的第一分支的卷积层的卷积核大小为1
×
1、步长为1、填充为0，第一下采样残差块的第二分支的卷积层的卷积核大小为3
×
3、步长为1、填充为1；步骤b
‑
6)中第一全局自注意力块的第一分支的卷积层的卷积核大小为1
×
1、步长为1、填充为0，第一全局自注意力块的第二分支的第一卷积层和第二卷积层的卷积核大小均为3
×
3、步长为1、填充为1；步骤b
‑
7)中第二下采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于GAN和3D系数重建的人脸图像身份合成方法，其特征在于，包括如下步骤：a)对目标视频V
t
进行检测，提取出n个目标人脸图像，将源人脸图像I
s
与各个目标人脸图像进行对齐；b)建立3D系数融合感知网络，将源人脸图像I
s
和目标人脸图像输入到3D系数融合感知网络中，得到3D系数融合特征F
fuse
；c)建立特征融合
‑
生成式网络，将目标人脸图像和3D系数融合特征F
fuse
输入到特征融合
‑
生成式网络中，输出得到交换身份后的人脸图像d)通过损失函数迭代优化交换身份后的人脸图像e)将交换身份后的人脸图像集I
fake
合成视频V
fake
。2.根据权利要求1所述的基于GAN和3D系数重建的人脸图像身份合成方法，其特征在于，步骤a)包括如下步骤：a
‑
1)使用opencv读取目标视频V
t
，使用dlib人脸检测工具对目标视频V
t
的每一帧提取图像，得到n个目标人脸图像的集合I
t
，其中为第i个目标人脸图像，i∈{1,...,n}；a
‑
2)使用dlib人脸检测工具将源人脸图像I
s
与第i个人脸图像进行对齐。3.根据权利要求2所述的基于GAN和3D系数重建的人脸图像身份合成方法，其特征在于，步骤b)包括如下步骤：b
‑
1)3D系数融合感知网络由3D编码器和身份编码器E
id
构成；b
‑
2)3D系数融合感知网络的3D编码器由预训练的Deep3DFaceRecon网络构成，将源人脸图像I
s
输入到3D编码器中，输出得到源人脸图像的3D身份系数特征将第i个目标人脸图像输入到3D编码器中，输出得到目标人脸图像的3D属性系数特征F
t3D
；b
‑
3)使用torch.cat()函数将源人脸图像的3D身份系数特征与目标人脸图像的3D属性系数特征F
t3D
进行拼接，得到3D系数融合特征b
‑
4)3D系数融合感知网络的身份编码器E
id
由第一下采样残差块、第二下采样残差块、第一全局自注意力块、第二全局自注意力块构成；b
‑
5)身份编码器E
id
的第一下采样残差块由第一分支、第二分支构成，第一分支依次由卷积层、下采样层构成，第二分支依次由卷积层、正则化层、ReLU激活函数层、下采样层构成，将源人脸图像I
s
输入到第一下采样残差块的第一分支中，输出得到特征将源人脸图像I
s
输入到第一下采样残差块的第二分支中，输出得到特征将特征与特征相加得到融合特征F
s1
；
b
‑
6)身份编码器E
id
的第一全局自注意力块由第一分支、第二分支构成，第一分支依次由卷积层、下采样层构成，第二分支依次由第一卷积层、第一正则化层、第一ReLU激活函数层、自注意力层、下采样层、第二卷积层、第二正则化层、第二ReLU激活函数层构成，将融合特征F
s1
输入到第一全局自注意力块的第一分支中，输出得到特征将融合特征F
s1
输入到第一全局自注意力块的第二分支中，输出得到特征将特征与特征相加得到融合特征b
‑
7)身份编码器E
id
的第二下采样残差块由第一分支、第二分支构成，第一分支依次由卷积层、下采样层构成，第二分支依次由卷积层、正则化层、ReLU激活函数层、下采样层构成，将融合特征输入到第一下采样残差块的第一分支中，输出得到特征将融合特征输入到第二下采样残差块的第二分支中，输出得到特征将特征与特征相加得到融合特征b
‑
8)身份编码器E
id
的第二全局自注意力块由第一分支、第二分支构成，第一分支依次由卷积层、下采样层构成，第二分支依次由第一卷积层、第一正则化层、第一ReLU激活函数层、自注意力层、下采样层、第二卷积层、第二正则化层、第二ReLU激活函数层构成，将融合特征输入到第一全局自注意力块的第一分支中，输出得到特征将融合特征输入到第二全局自注意力块的第二分支中，输出得到特征将特征与特征相加得到身份特征F
id
；b
‑
9)使用torch.cat()函数将3D系数融合特征与身份特征F
id
进行拼接，得到3D系数融合特征F
fuse
。4.根据权利要求3所述的基于GAN和3D系数重建的人脸图像身份合成方法，其特征在于：步骤b
‑
5)中第一下采样残差块的第一分支的卷积层的卷积核大小为1
×
1、步长为1、填充为0，第一下采样残差块的第二分支的卷积层的卷积核大小为3
×
3、步长为1、填充为1；步骤b
‑
6)中第一全局自注意力块的第一分支的卷积层的卷积核大小为1
×
1、步长为1、填充为0，第一全局自注意力块的第二分支的第一卷积层和第二卷积层的卷积核大小均为3
×
3、步长为1、填充为1；步骤b
‑
7)中第二下采样残差块的第一分支的卷积层的卷积核大小为1
×
1、步长为1、填充为0，第一下采样残差块的第二分支的卷积层的卷积核大小为3
×
3、步长为1、填充为1；步骤b
‑
8)中第二全局自注意力块的第一分支的卷积层的卷积核大小为1
×
1、步长为1、填充为0，第一全局自注意力块的第二分支的第一卷积层和第二卷积层的卷积核大小均为3
×
3、步长为1、填充为1。5.根据权利要求2所述的基于GAN和3D系数重建的人脸图像身份合成方法，其特征在于，步骤c)包括如下步骤：
c
‑
1)特征融合
‑
生成式网络由属性编码器E
attr
、特征融合网络、解码器网络构成；c
‑
2)特征融合
‑
生成式网络的属性编码器E
attr
由第一下采样块、第二下采样块、第三下采样块、第四下采样块、MLP模块构成；c
‑
3)属性编码器E
attr
的第一下采样块依次由InstanceNorm2d层、ReLU激活函数层、卷积层、池化层构成，将第i个目标人脸图像输入到第一下采样块中，输出得到特征F
t1
，属性编码器E
attr
的第二下采样块依次由InstanceNorm2d层、ReLU激活函数层、卷积层、池化层构成，将特征F
t1
输入到第二下采样块中，输出得到特征F
t2
，属性编码器E
attr
的MLP模块依次由第一Linear层、ReLU激活函数层、第二Linear层构成，将特征F
t2
输入到MLP模块中，输出得到特征F
t3
，属性编码器E
attr
的第三下采样块依次由InstanceNorm2d层、ReLU激活函数层、卷积层、池化层构成，将特征F
t3
输入到第三下采样块中，输出得到特征F
t4
，属性编码器E
attr
的第四下采样块依次由InstanceNorm2d层、ReLU激活函数层、卷积层、池化层构成，将特征F
t4
输入到第四下采样块中，输出得到属性特征F
t
；c
‑
4)特征融合网络由第一自适应特征融合块、第二自适应特征融合块、第三自适应特征融合块构成；c
‑
5)特征融合网络的第一自适应特征融合块由第一adain层、第一ReLU激活函数层、第一卷积层、Upsamele层、第二adain层、第二ReLU激活函数层、第二卷积层构成，第一adain层由正则化层、第一卷积层、第二卷积层构成，第二adain层由正则化层、第一卷积层、第二卷积层构成，将属性特征F
t
输入到第一adain层的正则化层中，输出得到特征F
tadain1
‑1，将3D系数融合特征F
fuse
输入到第一adain层的第一卷积层中，输出得到特征将3D系数融合特征F
fuse
输入到第一adain层的第二卷积层中，输出得到特征将特征F
tadain1
‑1与特征相乘得到特征将特征与特征相加，输出得到特征将特征依次输入到第一自适应特征融合块的第一ReLU激活函数层、第一卷积层、Upsamele层中，输出得到特征将特征输入到第二adain层的正则化层中，输出得到特征F
tadain2
‑1，将3D系数融合特征F
fuse
...

【专利技术属性】
技术研发人员：李子安，刘瑞霞，舒明雷，陈超，刘照阳，周书旺，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：