一种基于内容特征和风格特征的人脸图像生成方法技术

本发明专利技术提供一种基于内容特征和风格特征的人脸图像生成方法，包括以下步骤：S1：获取人脸图像数据集，并构建双路径生成式对抗网络模型；S2：从原始域人脸图像中提取原始域的内容特征和风格特征，从目标域人脸图像中提取目标域的内容特征和风格特征；S3：通过对内容特征和风格特征进行监督学习建立特征关联损失函数；S4：根据特征关联损失函数建立双路径生成式对抗网络模型的价值函数；S5：通过对抗学习得到价值函数的全局最优解，从而得到优化好的双路径生成式对抗网络模型进行人脸图像生成。本发明专利技术提供一种基于内容特征和风格特征的人脸图像生成方法，解决了现有的人脸图像生成技术无法保证生成的人脸图像保持输入人脸图像的身份的问题。

【技术实现步骤摘要】
一种基于内容特征和风格特征的人脸图像生成方法
本专利技术涉及人脸图像生成
，更具体的，涉及一种基于内容特征和风格特征的人脸图像生成方法。
技术介绍
现有的生成式对抗网络(GAN)模型的生成器基本上都是基于编码器-解码器结构或者变种，如Pix2PixGAN、CycleGAN，DRGAN和TPGAN等等。基于编码器-解码器结构下的图像到图像的深度网络，编码器最终将输入的图像编码压缩到一个比原来图像的维数更小的特征上，由于这个过程伴随着图像大量的信息和细节的丢失，最终在特征上保留下来的信息往往是与最终生成图像最相关的信息；解码器将这个中间特征的信息进行解析和补充，最终生成基于输入图像某种信息相关的生成图片，这种信息(中间特征的语义)一般指是人脸相互区别的特征，如人脸身份信息。目前图像风格迁移成功引入到人脸图像生成
，并与GAN相结合十分出色地完成了人脸生成任务。人脸风格迁移认为人脸图像由图像内容信息(content)和图像风格信息(style)两部分信息组成。但是这两部分信息的界限没有严格的定义，按照不同的场景下有所区别，在人脸风本文档来自技高网...

【技术保护点】
1.一种基于内容特征和风格特征的人脸图像生成方法，其特征在于，包括以下步骤：/nS1：获取人脸图像数据集，并构建双路径生成式对抗网络模型，其中所述人脸图像数据集包括原始域人脸图像和目标域人脸图像；/nS2：利用双路径生成式对抗网络模型从原始域人脸图像中提取原始域的内容特征和风格特征，从目标域人脸图像中提取目标域的内容特征和风格特征；/nS3：通过对内容特征和风格特征进行监督学习建立特征关联损失函数；/nS4：根据特征关联损失函数建立双路径生成式对抗网络模型的价值函数；/nS5：通过对抗学习得到价值函数的全局最优解，从而得到优化好的双路径生成式对抗网络模型进行人脸图像生成。/n

【技术特征摘要】
1.一种基于内容特征和风格特征的人脸图像生成方法，其特征在于，包括以下步骤：
S1：获取人脸图像数据集，并构建双路径生成式对抗网络模型，其中所述人脸图像数据集包括原始域人脸图像和目标域人脸图像；
S2：利用双路径生成式对抗网络模型从原始域人脸图像中提取原始域的内容特征和风格特征，从目标域人脸图像中提取目标域的内容特征和风格特征；
S3：通过对内容特征和风格特征进行监督学习建立特征关联损失函数；
S4：根据特征关联损失函数建立双路径生成式对抗网络模型的价值函数；
S5：通过对抗学习得到价值函数的全局最优解，从而得到优化好的双路径生成式对抗网络模型进行人脸图像生成。


2.根据权利要求1所述的一种基于内容特征和风格特征的人脸图像生成方法，其特征在于，所述双路径生成式对抗网络模型包括原始域编码器EX、目标域编码器EY、原始域生成器GX、目标域生成器GY、原始域鉴别器DX、目标域鉴别器DY和特征关联模型；
其中，
所述原始域编码器EX包括用于提取原始域X的内容特征的编码器和用于提取原始域X的风格特征的编码器
所述目标域编码器EY包括用于提取目标域Y的内容特征的编码器和用于提取目标域Y的风格特征的编码器
所述原始域生成器GX用于融合原始域X的内容特征和风格特征并生成原始域生成人脸图像，
所述目标域生成器GY用于融合目标域Y的内容特征和风格特征并生成目标域生成人脸图像，
所述原始域鉴别器DX用于鉴别原始域X生成人脸图像的真假，
所述目标域鉴别器DY用于鉴别目标域Y生成人脸图像的真假，
所述特征关联模型用于对内容特征和风格特征进行监督学习建立特征关联损失函数，并根据特征关联损失函数对内容特征进行预测得到相应的风格特征。


3.根据权利要求2所述的一种基于内容特征和风格特征的人脸图像生成方法，其特征在于，步骤S3中建立的特征关联损失函数为：



其中，RX(·)表示原始域的内容特征和风格特征的联系，RY(·)表示目标域的内容特征和风格特征的联系，||·||表示取L1范数操作，xi～pd(x)表示原始域人脸图像xi满足原始域X的真实数据分布pd(x)，yj～pd(y)表示目标域人脸图像yj满足原始域Y的真实数据分布pd(y)。


4.根据权利要求3所述的一种基于内容特征和风格特征的人脸图像生成方法，其特征在于，当利用Lrcs(RX，EY，X，Y)损失对编码器进行优化时，将Lrcs(EY，EX，RX，RY，X，Y)修改为：





5.根据权利要求2所述的一种基于内容特征和风格特征的人脸图像生成...

【专利技术属性】
技术研发人员：杨猛，叶林彬，刘俊峰，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44