面部属性自动编辑系统、方法、存储介质和终端技术方案

本发明专利技术公开了面部属性自动编辑系统、方法、存储介质和终端，系统包括训练模块和自动编辑模块；所述的训练模块包括编码器Genc、第一解码器Gdec、第二解码器Gdec、分类器C、判别器D、属性分类约束单元、重建误差单元、对抗误差单元和总误差单元；所述的自动编辑模块采用训练模块中训练完成的编码器Genc、第二解码器Gdec和分类器C。本发明专利技术不仅达到了面部属性编辑的目的，而且可以从另外一张图中自动提取该图中的期望属性，并将该图片的期望属性应用到调整初始图片，使得生成图像同时拥有两张图片的特征的目的。

【技术实现步骤摘要】
面部属性自动编辑系统、方法、存储介质和终端
本专利技术涉及图像处理领域，尤其涉及面部属性自动编辑系统、方法、存储介质和终端。
技术介绍
面部属性编辑目的是操纵面部图像的单个或多个属性，即是在生成具有期望属性的新面部图像的同时，保留了其他面部属性细节信息。最近，结合使用生成对抗网络(GAN)和编码器-解码器体系结构来处理该任务。基于编码器-解码器架构，面部属性编辑是由解码潜在表示来实现的，而这些潜在表示是以期望属性作为条件生成的。一些现有的方法试图为属性编辑建立一个与属性无关的潜在表示。然而，这种对潜在表示的属性无关约束是过度的，因为它限制了潜在表示的能力并可能导致信息丢失，导致生成过渡平滑和扭曲的图像。并且现有技术只能手动输入代表期望属性的向量，从而达到面部属性编辑的目的，即不能从另外一张图中自动提取该图中的期望属性，并将该图片的期望属性应用到调整初始图片，使得生成图像同时拥有两张图片的特征的目的。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供面部属性自动编辑系统、方法、存储介质和终端，解决现有技术不能从另外一张图中自动提取该图中的期望属性、并将该图片的期望属性应用到调整初始图片、使得生成图像同时拥有两张图片的特征的目的的问题。本专利技术的目的是通过以下技术方案来实现的：面部属性自动编辑系统，包括训练模块和自动编辑模块；所述的训练模块包括编码器Genc、第一解码器Gdec、第二解码器Gdec、分类器C、判别器D、属性分类约束单元、重建误差单元、对抗误差单元和总误差单元；带有原始属性a的图片xa分别输出至重建误差单元和编码器Genc，编码器Genc的输出端输出潜在表示z分别至两个解码器，即z＝Genc(xa)；第一解码器Gdec的另外一个输入端输入原始属性a，第一解码器Gdec的输出端输出重建图片至重建误差单元，即第二解码器Gdec的另外一个输入端输入期望属性b，第二解码器Gdec的输出端输出期望图片分别至分类器C和判别器D，即分类器C的输出端输出提取得到的图片属性至属性分类约束单元，即属性分类约束单元的另外一个输入端输入期望属性b；判别器D的另外一个输入端输入带有原始属性a的图片xa，判别器D的输出端与对抗误差单元连接；总误差单元的输入端分别与属性分类约束单元、重建误差单元、对抗误差单元连接，总误差单元的输出端分别与编码器Genc、第一解码器Gdec、第二解码器Gdec、分类器C、判别器D连接；其中，所述的属性分类约束单元包括期望属性生成子单元和原始属性生成子单元，所述的期望属性生成子单元用于将潜在表示z和期望属性b生成一张逼真的照片，公式如下：式中，公式中的Gdec为第二解码器Gdec，pdata表示真实图像的分布，pattr表示属性的分布，xa～pdata表示从真实图像中取样，b～pattr表示从属性中取样，表示第i个属性的预测，n为属性数量，lg(xa,b)是所有属性的二元交叉熵损失的总和，E表示分布抽样后对lg(xa,b)取期望值；所述的原始属性生成子单元用于将潜在表示z和原始属性a生成尽可能与带有原始属性a的图片xa一样的照片，公式如下：式中，C表示分类器，xa～pdata表示从真实图像中取样，Ci(xa)表示第i个属性的预测，n为属性数量，lr(xa,a)是所有属性的二元交叉熵损失的总和，E表示分布抽样后对lr(xa,a)取期望值；所述的重建误差单元旨在保留属性之外的细节，公式如下：式中，公式中的Gdec为第一解码器Gdec，并采用l1损失函数；所述的对抗误差单元用于让生成的期望图片更加真实，公式如下：式中，式中的Gdec为第二解码器Gdec，||D||L小于等于1表示D属于1-lipschitz连续，L表示第几范式，一般来说L取值为2，表示第二范式，D(xa)表示表示对原图片进行判别，表示对生成的期望属性的图片进行判别；所述的总误差单元用于结合属性分类约束单元、重建误差单元和对抗误差单元获得统一的属性GAN，用来自动编辑待具有期望属性b的图片；所述的总误差单元包括编码器解码器目标计算子单元、以及分类器判别器目标计算子单元，其中编码器解码器目标计算子单元的公式如下：式中，式中的Gdec为第二解码器Gdec和第一解码器Gdec，λ1、λ2为超参数，值为给定值；分类器判别器目标计算子单元的公式如下：式中，λ3为超参数，值为给定值；所述的自动编辑模块采用训练模块中训练完成的编码器Genc、第二解码器Gdec和分类器C，所述的编码器Genc的输入端输入待自动编辑的图片Xa，所述的待自动编辑的图片Xa包括原始属性a，分类器C的输入端输入待提取特征的图片Xb，所述的待提取特征的图片Xb包含期望属性b；编码器Genc的输出端输出潜在表示z至第二解码器Gdec，即z＝Genc(Xa)，分类器C的输出端输出提取得到的期望属性b至第二解码器Gdec，即b＝C(Xb)，第二解码器Gdec的输出端输出自动编辑完成的具有期望属性b的图片Xout，即Xout＝Gdec(z,b)＝Gdec(Genc(Xa),C(Xb))。进一步地，所述的编码器Genc包括五个顺次连接的卷积组，每个卷积组均包括顺次连接的卷积层Conv、纵向归一化层BN和激活函数层LeakyReLU；两个解码器Gdec均包括五个顺次连接的反卷积组，其中前四个反卷积组均包括顺次连接的反卷积层DeConv、批量归一化层BN和激活函数层LeakyReLU，最后一个反卷积组包括一个反卷积层DeConv和一个激活函数层Tanh；所述的分类器C和判别器D共享五层顺次连接的卷积组，每个卷积组均包括包括顺次连接的卷积层Conv、横向归一化层LN/IN和激活函数层LeakyReLU；所述的分类器C还包括顺次连接的分类得分层FC(1024)、横向归一化层LN/IN、激活函数层LeakyReLU、分类得分层FC(n)和激活函数层Sigmoid；所述的判别器D还包括顺次连接的分类得分层FC(1024)、横向归一化层LN/IN、激活函数层LeakyReLU、分类得分层FC(1)，其中n为属性数量。进一步地，在编码器Genc的卷积组中，其中每个卷积层Conv的大小分别为64*4*2、128*4*2、256*4*2、512*4*2和1024*4*2；在解码器中，前四个反卷积组中的每个反卷积层DeConv的大小分别为1024*4*2、512*4*2、256*4*2和128*4*2，最后一个反卷积组的反卷积层DeConv的大小为3*4*2；在分类器C和判别器D共享的卷积组中，每个卷积层Conv的大小分别为64*4*2、128*4*2、256*4*2、512*4*2和1024*4*2。进一步地，所述的原始属性a的二元属性为[a1,a2,a3...,an]，期望属性b的二元属性为[b1,b2,b3...,bn]，当取值为0时证明该单个属性不存在，当取值为1时证明该单个属性存在。本专利技术还提供面部属性自动编辑方法，包括训练步骤和自动编辑步骤；所述的训练步骤包括数据获取子步骤、损失计算子步骤和总误差计算子步骤；所述的数据获取子步骤以下步骤：将带有原始属性a的图片xa分别输出至重建误差单元和编码器Genc，编码器Genc的输出端输出潜在表示z分别至两个解码器，即z＝Genc(xa)；第一本文档来自技高网...

【技术保护点】
1.面部属性自动编辑系统，其特征在于：包括训练模块和自动编辑模块；所述的训练模块包括编码器Genc、第一解码器Gdec、第二解码器Gdec、分类器C、判别器D、属性分类约束单元、重建误差单元、对抗误差单元和总误差单元；带有原始属性a的图片x

【技术特征摘要】
1.面部属性自动编辑系统，其特征在于：包括训练模块和自动编辑模块；所述的训练模块包括编码器Genc、第一解码器Gdec、第二解码器Gdec、分类器C、判别器D、属性分类约束单元、重建误差单元、对抗误差单元和总误差单元；带有原始属性a的图片xa分别输出至重建误差单元和编码器Genc，编码器Genc的输出端输出潜在表示z分别至两个解码器，即z＝Genc(xa)；第一解码器Gdec的另外一个输入端输入原始属性a，第一解码器Gdec的输出端输出重建图片至重建误差单元，即第二解码器Gdec的另外一个输入端输入期望属性b，第二解码器Gdec的输出端输出期望图片分别至分类器C和判别器D，即分类器C的输出端输出提取得到的图片属性至属性分类约束单元，即属性分类约束单元的另外一个输入端输入期望属性b；判别器D的另外一个输入端输入带有原始属性a的图片xa，判别器D的输出端与对抗误差单元连接；总误差单元的输入端分别与属性分类约束单元、重建误差单元、对抗误差单元连接，总误差单元的输出端分别与编码器Genc、第一解码器Gdec、第二解码器Gdec、分类器C、判别器D连接；其中，所述的属性分类约束单元包括期望属性生成子单元和原始属性生成子单元，所述的期望属性生成子单元用于将潜在表示z和期望属性b生成一张逼真的照片，公式如下：式中，公式中的Gdec为第二解码器Gdec，pdata表示真实图像的分布，pattr表示属性的分布，xa～pdata表示从真实图像中取样，b～pattr表示从属性中取样，表示第i个属性的预测，n为属性数量，lg(xa,b)是所有属性的二元交叉熵损失的总和，E表示分布抽样后对lg(xa,b)取期望值；所述的原始属性生成子单元用于将潜在表示z和原始属性a生成尽可能与带有原始属性a的图片xa一样的照片，公式如下：式中，C表示分类器，xa～pdata表示从真实图像中取样，Ci(xa)表示第i个属性的预测，n为属性数量，lr(xa,a)是所有属性的二元交叉熵损失的总和，E表示分布抽样后对lr(xa,a)取期望值；所述的重建误差单元旨在保留属性之外的细节，公式如下：式中，公式中的Gdec为第一解码器Gdec，并采用l1损失函数；所述的对抗误差单元用于让生成的期望图片更加真实，公式如下：式中，式中的Gdec为第二解码器Gdec，||D||L小于等于1表示D属于1-lipschitz连续，L表示第几范式；D(xa)表示表示对原图片进行判别，表示对生成的期望属性的图片进行判别；所述的总误差单元用于结合属性分类约束单元、重建误差单元和对抗误差单元获得统一的属性GAN，用来自动编辑待具有期望属性b的图片；所述的总误差单元包括编码器解码器目标计算子单元、以及分类器判别器目标计算子单元，其中编码器解码器目标计算子单元的公式如下：式中，式中的Gdec为第二解码器Gdec和第一解码器Gdec，λ1、λ2为超参数，值为给定值；分类器判别器目标计算子单元的公式如下：式中，λ3为超参数，值为给定值；所述的自动编辑模块采用训练模块中训练完成的编码器Genc、第二解码器Gdec和分类器C，所述的编码器Genc的输入端输入待自动编辑的图片Xa，所述的待自动编辑的图片Xa包括原始属性a，分类器C的输入端输入待提取特征的图片Xb，所述的待提取特征的图片Xb包含期望属性b；编码器Genc的输出端输出潜在表示z至第二解码器Gdec，即z＝Genc(Xa)，分类器C的输出端输出提取得到的期望属性b至第二解码器Gdec，即b＝C(Xb)，第二解码器Gdec的输出端输出自动编辑完成的具有期望属性b的图片Xout，即Xout＝Gdec(z,b)＝Gdec(Genc(Xa),C(Xb))。2.根据权利要求1所述的面部属性自动编辑系统，其特征在于：所述的编码器Genc包括五个顺次连接的卷积组，每个卷积组均包括顺次连接的卷积层Conv、纵向归一化层BN和激活函数层LeakyReLU；两个解码器Gdec均包括五个顺次连接的反卷积组，其中前四个反卷积组均包括顺次连接的反卷积层DeConv、批量归一化层BN和激活函数层LeakyReLU，最后一个反卷积组包括一个反卷积层DeConv和一个激活函数层Tanh；所述的分类器C和判别器D共享五层顺次连接的卷积组，每个卷积组均包括包括顺次连接的卷积层Conv、横向归一化层LN/IN和激活函数层LeakyReLU；所述的分类器C还包括顺次连接的分类得分层FC(1024)、横向归一化层LN/IN、激活函数层LeakyReLU、分类得分层FC(n)和激活函数层Sigmoid；所述的判别器D还包括顺次连接的分类得分层FC(1024)、横向归一化层LN/IN、激活函数层LeakyReLU、分类得分层FC(1)，其中n为属性数量。3.根据权利要求2所述的面部属性自动编辑系统，其特征在于：在编码器Genc的卷积组中，其中每个卷积层Conv的大小分别为64*4*2、128*4*2、256*4*2、512*4*2和1024*4*2；在解码器中，前四个反卷积组中的每个反卷积层DeConv的大小分别为1024*4*2、512*4*2、256*4*2和128*4*2，最后一个反卷积组的反卷积层DeConv的大小为3*4*2；在分类器C和判别器D共享的卷积组中，每个卷积层Conv的大小分别为64*4*2、128*4*2、256*4*2、512*4*2和1024*4*2。4.根据权利要求1所述的面部属性自动编辑系统，其特征在于：所述的原始属性a的二元属性为[a1,a2,a3...,an]，期望属性b的二元属性为[b1,b2,b3...,bn]，当取值为0时证明该单个属性不存在，当取值为1时证明该单个属性存在。5.面部属性自动编辑方法，其特征在于：包括训练步骤和自动编辑步骤；...

【专利技术属性】
技术研发人员：匡平，王豪爽，付蓉，李小芳，宋欣豪，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51