【技术实现步骤摘要】
本专利技术涉及深度学习和神经网络，特别是一种基于改进cyclegan的人脸属性风格转换方法及系统。
技术介绍
1、图像生成和转换技术是生成对抗网络领域的一个重要研究方向。生成对抗网络由ian goodfellow等人于2014年提出，其通过生成器和判别器的博弈过程，能够生成逼真的图像。这一方法在图像生成领域取得了革命性的进展，推动了深度学习的发展。至于图像到图像的转换网络，如pix2pix和cyclegan等，于2016年开始崭露头角。这些网络专注于将输入图像转换为特定输出图像，如图像风格转换、语义分割等。后续出现的超分辨率生成网络致力于从低分辨率图像生成高分辨率图像。srcnn是早期的代表，接着随着注意力机制的引入，模型能够在生成过程中更加关注重要的区域。条件生成引入了额外的条件信息，使得用户能够更好地控制生成的结果。
2、传统算法对于风格转换的实现，内容和风格是靠同一个生成器实现的。本专利技术则将生成器分为内容提取器和风格提取器两部分。在风格提取器中加入了注意力机制，这样使得属性风格的转换更加准确，并且提高了整个模型对属性风格的控制效果。对于不同属性风格的输入，模型产生的目标图像也更加的具有针对性。同时，将对内容和风格的提取过程分开，两个生成器能更加精准的专注于各自领域的提取，减少了图像内容与图像属性风格之间的相互干扰。传统算法在人脸图像合成过程中，存在着图片细节丢失，色彩出现失真等问题，生成的人脸图像会出现面部各区域边缘不清晰，图像模糊，甚至出现五官错位等问题。
技术实现思路
1、鉴于现有的基于改进cyclegan的人脸属性风格转换及系统中存在的问题，提出了本专利技术。
2、因此，本专利技术所要解决的问题在于如何提高图像转换过程中生成图像的质量、多样性，并加强对特定特征的控制。
3、为解决上述技术问题，本专利技术提供如下技术方案：
4、第一方面，本专利技术实施例提供了一种基于改进cyclegan的人脸属性风格转换方法，其包括，收集人脸原始图像数据，并输入到改进的cyclegan生成器中生成全新的样本数据。基于cyclegan生成器获得的数据，采用协方差约束条件改进的循环一致损失函数，进行双向匹配映射，并采用线性插值的方法加入随机噪声，生成完整人脸图像。基于改进的cyclegan判别器在判断图像真假的同时，判断图像内容是否匹配，并采用打分机制对最佳图像进行保留。
5、作为本专利技术所述基于改进cyclegan的人脸属性风格转换方法的一种优选方案，其中：所述cyclegan生成器包括特征提取模块，将特征提取模块分为内容提取器和风格提取器，所述内容提取器的构建具体为：采用变分自编码器vae，从对象学习的分布中生成全新的样本数据，通过编码器将输入数据映射到潜在空间，利用解码器从潜在空间中的随机样本生成输出数据，在vae训练过程中引入额外的约束条件kl散度；通过将输入数据映射到一个分布上，进而对原始网络的关键瓶颈层进行细分，形成了均值向量和方差向量，相应的损失函数如下所示：
6、
7、其中，dkl(qφ(z|x)||p(z))代表kl散度，计算公式如下：
8、
9、z为原始数据，x代表目标数据，p为解码器，q为编码器，pθ(x|z)表示解码器在输入原始数据z后生成目标数据x的概率，qφ(z|x)给定目标数据x时编码器产生原始数据z的概率，表示qφ(z|x)在logpθ(x|z)分布下的数学期望。损失函数包含两部分，是重建损失，沿用ae的重建损失，dkl(qφ(z|x)||p(z))代表kl散度，描述一个分布和高斯分布之间的差异程度。
10、作为本专利技术所述基于改进cyclegan的人脸属性风格转换方法的一种优选方案，其中：所述风格提取器的构建为：假定ai为注意力网络提取到的特征数据，bj为转换网络b生成的特征数据，i和j分别表示i域和j域中的一张图像。通过注意力网络a，根据图片i得到多组与其大小相近的图像，对这些图像进行评分操作，得到的分数在0到1之间，选取分数较高的注意力图像ai部分；同时，将i输入到转换网络b中，得到生成的与b域图像相似的图像bi，并将ai与bi做分层相乘，得到最终结果；进行风格迁移的部分为ai(i)，处理后的图像为bi(i)，将处理后的图像与原背景融合，公式表示为，
11、g(i)＝ai(i)⊙ti(i)+(1-ai(i))⊙i
12、对应的cyclegan生成器f表示为，
13、f(j)＝aj(j)⊙tj(j)+(1-aj(j)⊙j
14、最终的目标函数表示为，
15、
16、i为原始图像数据，j为处理后图像数据，ai(i)为注意力网络通过原始图像i提取到的特征数据，ti(i)为转换网络t根据原始图像i生成的特征数据，di为判别网络对图像i的判别数据，aj(j)为注意力网络通过处理后图像j提取到的特征数据，tj(j)为转换网络t根据处理后图像j生成的特征数据，dj为判别网络对处理后图像j的判别数据。
17、作为本专利技术所述基于改进cyclegan的人脸属性风格转换的一种优选方案，其中：所述改进的循环一致损失函数由欧氏距离约束项和协方差约束项构成，其中，所述欧式距离的计算表示为：假定源表情序列为x域，目标表情序列为y域，训练样本为和其中xi属于x，yj属于y，记x域和y域中的一个训练样本分别为x和y。其中，cyclegan模型学习了两个映射关系g:x→y和f:y→x，g将x域的样本数据转换成y域中的样本数据g(x)，再通过f映射回域中的样本数据f(g(x))；同理，y域中的样本数据经过一个循环变换后，变成g(f(y))，转换后的样本数据应尽可能地与真实样本数据接近，即f(g(x))接近x,g(f(y))接近y；使用欧氏距离对两个样本数据进行约束，则原始的循环一致损失函数为：
18、ecyc(g,f)＝||f(g(x))-x||1+||g(f(y))-y||1
19、其中，||||1为1范式，即欧氏距离。
20、作为本专利技术所述基于改进cyclegan的人脸属性风格转换方法的一种优选方案，其中：所述协方差约束具体为：假定样本图像为x＝[x1x2...xb]，xk为图像的列像素，记为x-k＝[x1kx2k...xak]t,k＝1,...,b，其中，xij(i＝1,...a,j＝1,...,b)为图像的像素点，a是样本图像的宽度，b是样本图像的长度；样本图像所有的像素点表示为一个axb的矩阵，形如qaa表示矩阵中的变量，则该样本图像的协方差矩阵，∑x可表示为：
21、
22、其中：
23、
24、其中，表示图像的像素均值，x-k表示图像的第k列像素；计算转换后样本数据的协方差，并提出协方差保持约束项为：
25、ecov(g,f)＝||∑(f(g(x)))-∑(x)||1+||σ(g(f(x)))-∑(y)||1
26、新的循本文档来自技高网...
【技术保护点】
1.一种基于改进CycleGAN的人脸属性风格转换方法，其特征在于：
2.如权利要求1所述的基于改进CycleGAN的人脸属性风格转换方法，其特征在于：所述改进的CycleGAN生成器包括特征提取模块，将特征提取模块分为内容提取器和风格提取器，所述内容提取器的构建具体为，
3.如权利要求2所述的基于改进CycleGAN的人脸属性风格转换方法，其特征在于：所述风格提取器的构建为，
4.如权利要求3所述的基于改进CycleGAN的人脸属性风格转换方法，其特征在于：所述改进的循环一致损失函数由欧氏距离约束项和协方差约束项构成，其中，所述欧式距离的计算表示为，
5.如权利要求4所述的基于改进CycleGAN的人脸属性风格转换方法，其特征在于：所述协方差约束具体为，
6.如权利要求5所述的基于改进CycleGAN的人脸属性风格转换方法，其特征在于：所述线性插值的计算为，
7.如权利要求6所述的基于改进CycleGAN的人脸属性风格转换方法，其特征在于：所述改进的CycleGAN判别器包括改进网络模型判别器和改进图像拣选
8.一种基于改进CycleGAN的人脸属性风格转换系统，基于权利要求1～7任一所述的基于改进CycleGAN的人脸属性风格转换方法，其特征在于：包括，
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1～7任一所述的基于改进CycleGAN的人脸属性风格转换方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1～7任一所述的基于改进CycleGAN的人脸属性风格转换方法的步骤。
...【技术特征摘要】
1.一种基于改进cyclegan的人脸属性风格转换方法，其特征在于：
2.如权利要求1所述的基于改进cyclegan的人脸属性风格转换方法，其特征在于：所述改进的cyclegan生成器包括特征提取模块，将特征提取模块分为内容提取器和风格提取器，所述内容提取器的构建具体为，
3.如权利要求2所述的基于改进cyclegan的人脸属性风格转换方法，其特征在于：所述风格提取器的构建为，
4.如权利要求3所述的基于改进cyclegan的人脸属性风格转换方法，其特征在于：所述改进的循环一致损失函数由欧氏距离约束项和协方差约束项构成，其中，所述欧式距离的计算表示为，
5.如权利要求4所述的基于改进cyclegan的人脸属性风格转换方法，其特征在于：所述协方差约束具体为，
6.如权利要求5所述的基于改进cyclegan的人脸属...
【专利技术属性】
技术研发人员：赵学健，朱光辉，孙知信，曹亚东，孙哲，宫婧，汪胡青，胡冰，徐玉华，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。