本发明专利技术涉及人脸图像编辑技术领域，提出一种用于高分辨率人脸图像的多样化编辑方法及系统。该方法包括设置目标属性，并且根据所述目标属性生成多个采样噪声；提供低分辨率图像生成模块，向所述低分辨率图像生成模块中输入人脸图像和所述多个采样噪声以生成多个低分辨率结果图像；提供高分辨率图像生成模块，将所述多个低分辨率结果图像反演至所述高分辨率图像生成模块中以生成训练数据集；构造神经网络，通过所述神经网络从所述采样噪声拟合残差量；以及通过所述训练数据集对所述神经网络进行监督学习。通过本发明专利技术可以实现对于高分辨率人脸图像的多样化编辑并且可以保持生成图像的面部目标属性以外的其他属性不变化。像的面部目标属性以外的其他属性不变化。像的面部目标属性以外的其他属性不变化。
【技术实现步骤摘要】
用于高分辨率人脸图像的多样化编辑方法及系统
[0001]本专利技术总的来说涉及人脸图像编辑
具体而言，本专利技术涉及一种用于高分辨率人脸图像的多样化编辑方法及系统。
技术介绍
[0002]现有技术中可以通过深度学习方法对人脸图像进行编辑，例如可以使得人脸图像中的人脸戴上不同风格样式的眼镜。
[0003]传统上对于低分辨率人脸图像可以使用生成对抗网络(Generative adversarial nets)对其进行编辑。生成对抗网络包括生成器以及鉴别器，所述生成器和所述鉴别器是由卷积层构成的子网络，通过对抗训练的方式，可以让所述生成器具有高性能的分布拟合能力。在图像生成过程中，所述生成器的输入是从高斯分布中随机采样的噪声，输出是一副图像；鉴别器的输入是一副图像，输出是对图像真实程度的评分。生成器的目的是欺瞒鉴别器，让所生成的图像尽可能的真实；鉴别器的目的是分辨出真实的图像和生成器生成的图像，以此来形成对抗训练。最终实现由噪声到图像的生成。基于生成对抗网络的图像编辑方法，例如SMIT(Stochastic multi
‑
label image
‑
to
‑
image translation)使用参数随机初始化后的编码器编码采样的噪声，然后和真实图像一起输入给生成器，以此获得无限的多样性，可以很好地适用于低分辨率人脸图像的多样性编辑。
[0004]然而基于生成对抗网络的图像编辑方法目前仍难以适用于高分辨率图像。现有技术中代表性的高分辨率下二维图像生成方法包括StyleGAN2(Analyzing and improving the image quality of stylegan)，代表性的高分辨率下三维场景生成方法包括EG3D(Efficient Geometry
‑
aware 3D Generative Adversarial Networks)和StyleNeRF(StyleNeRF：A Style
‑
based 3D Aware Generator for High
‑
resolution Image Synthesis)。上述用于高分辨率图像的图像编辑方法通常包括两部分，其中在第一部分由噪声映射到隐空间W+，在第二部分由W+映射到图像。然而对于高分辨率人脸图像，现有的用于高分辨率图像的图像编辑方法尚无法对其进行多样性编辑，例如InterFaceGAN(Interpreting the disentangled face representation learned by gans)是将生成器的隐空间代码进行分类，用支持向量机找到线性的分类边界，从而获得两个类别之间的方向向量。在某一个隐空间的代码上加减该方向向量，即可对与该代码对应的图像进行编辑。然而由于这种向量只有一个，所以无法实现多样性编辑。
[0005]在此，术语“低分辨率”是指图像的分辨率小于等于256*256，术语“高分辨率”是指图像分辨率大于512*512，在本专利技术中，沿用上述概念。
技术实现思路
[0006]为至少部分解决现有技术中的上述问题，本专利技术提出一种用于高分辨率人脸图像的多样化编辑方法，包括下列步骤：
[0007]设置目标属性，并且根据所述目标属性生成多个采样噪声；
[0008]提供低分辨率图像生成模块，向所述低分辨率图像生成模块中输入人脸图像和所述多个采样噪声以生成多个低分辨率结果图像，其中所述多个低分辨率结果图像的所述编辑属性是各不相同的；
[0009]提供高分辨率图像生成模块，将所述多个低分辨率结果图像反演至所述高分辨率图像生成模块中以生成训练数据集；
[0010]构造神经网络，通过所述神经网络从所述采样噪声拟合残差量；以及
[0011]通过所述训练数据集对所述神经网络进行监督学习。
[0012]在本专利技术一个实施例中规定，所述高分辨率图像生成模块包括编码器以及生成器，其中所述编码器被配置为执行下列动作：
[0013]对所述多个低分辨率结果图像进行图像反演以生成多个假图代码；
[0014]对所述人脸图像进行图像反演以生成真图代码；以及
[0015]将所述多个假图代码减去所述真图代码以生成多个方向代码。
[0016]在本专利技术一个实施例中规定，所述用于高分辨率人脸图像的多样化编辑方法还包括：
[0017]将所述采样噪声输入所述神经网络中以生成第一代码；
[0018]将所述人脸图像输入所述编码器中以生成第二代码；
[0019]将所述第一代码与所述第二代码相加以生成第三代码，其中所述第三代码包括所述编辑属性；
[0020]将所述第三代码输入所述第一生成器中生成粗糙图像；以及
[0021]对所述神经网络进行监督学习，其中监督学习的损失函数表示为：|方向代码
‑
第一代码|。
[0022]在本专利技术一个是实施例中规定，所述用于高分辨率人脸图像的多样化编辑方法还包括：
[0023]构造人脸属性分割网络，通过所述人脸属性分割网络基于所述目标属性构造优化模块；以及
[0024]通过所述优化模块对所述粗糙图像进行处理以生成优化结果图像，其中所述优化结果图像的非目标属性处与所述人脸图像相同。
[0025]在本专利技术一个实施例中规定，所述目标属性包括眼镜，其中通过所述优化模块对所述粗糙图像进行处理包括下列步骤：
[0026]将所述粗糙图像输入所述人脸属性分割网络以生成眼镜部位的第一蒙版；
[0027]将所述第一蒙版与所述粗糙图像相乘以生成眼镜部位的第一像素值图；
[0028]通过所述高分辨率图像生成模块生成第一方向代码以便去除眼镜属性；
[0029]将所述第三代码与所述第一方向代码相加并且输入所述生成器中以生成第一图像；
[0030]将所述第一图像输入所述人脸属性分割网络以生成眼睛部位的第二蒙版；
[0031]将所述第二蒙版与所述人脸图像相乘以生成眼睛部位的眼睛部位的第二像素值图；
[0032]将所述第二蒙版取反，并且与所述第一像素值图相乘，并且与所述第二像素值图相加以生成第二图像，其中所述第二图像包括眼镜以及眼睛；
[0033]将所述第一蒙版取反，并且与所述粗糙图像相乘，并且与所述第二图像相加以生成第三图像；将所述第三图像输入所述编码器中以生成第四代码；以及
[0034]将所述第四代码输入所述生成器中以生成优化结果图像。
[0035]在本专利技术一个实施例中规定，所述目标属性包括刘海，其中通过所述优化模块对所述粗糙图像进行处理包括下列步骤：
[0036]将所述粗糙图像输入所述人脸属性分割网络以生成包括刘海部位的头发区域的第三蒙版；
[0037]通过所述高分辨率图像生成模块生成第二方向代码以便去除刘海属性；
[0038]将所述第三代码与所述第二方向代码相加，并且输入所述生成器中以生成无刘海本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于高分辨率人脸图像的多样化编辑方法，其特征在于，包括下列步骤：设置目标属性，并且根据所述目标属性生成多个采样噪声；提供低分辨率图像生成模块，向所述低分辨率图像生成模块中输入人脸图像和所述多个采样噪声以生成多个低分辨率结果图像，其中所述多个低分辨率结果图像的所述编辑属性是各不相同的；提供高分辨率图像生成模块，将所述多个低分辨率结果图像反演至所述高分辨率图像生成模块中以生成训练数据集；构造神经网络，通过所述神经网络从所述采样噪声拟合残差量；以及通过所述训练数据集对所述神经网络进行监督学习。2.根据权利要求1所述的用于高分辨率人脸图像的多样化编辑方法，其特征在于，所述高分辨率图像生成模块包括编码器以及生成器，其中所述编码器被配置为执行下列动作：对所述多个低分辨率结果图像进行图像反演以生成多个假图代码；对所述人脸图像进行图像反演以生成真图代码；以及将所述多个假图代码减去所述真图代码以生成多个方向代码。3.根据权利要求2所述的用于高分辨率人脸图像的多样化编辑方法，其特征在于，还包括：将所述采样噪声输入所述神经网络中以生成第一代码；将所述人脸图像输入所述编码器中以生成第二代码；将所述第一代码与所述第二代码相加以生成第三代码，其中所述第三代码包括所述编辑属性；将所述第三代码输入所述第一生成器中生成粗糙图像；以及对所述神经网络进行监督学习，其中监督学习的损失函数表示为：|方向代码
‑
第一代码|。4.根据权利要求3所述的用于高分辨率人脸图像的多样化编辑方法，其特征在于，还包括：构造人脸属性分割网络，通过所述人脸属性分割网络基于所述目标属性构造优化模块；以及通过所述优化模块对所述粗糙图像进行处理以生成优化结果图像，其中所述优化结果图像的非目标属性处与所述人脸图像相同。5.根据权利要求4所述的用于高分辨率人脸图像的多样化编辑方法，其特征在于，所述目标属性包括眼镜，其中通过所述优化模块对所述粗糙图像进行处理包括下列步骤：将所述粗糙图像输入所述人脸属性分割网络以生成眼镜部位的第一蒙版；将所述第一蒙版与所述粗糙图像相乘以生成眼镜部位的第一像素值图；通过所述高分辨率图像生成模块生成第一方向代码以便去除眼镜属性；将所述第三代码与所述第一方向代码相加并且输入所述生成器中以生成第一图像；将所述第一图像输入所述人脸属性分割网络以生成眼睛部位的第二蒙版；将所述第二蒙版与所述人脸图像相乘以生成眼睛部位的眼睛部位的第二像素值...
【专利技术属性】
技术研发人员：李怡康，黄秋胜，郭建非，李新阳，杨致远，杨晓航，
申请(专利权)人：上海人工智能创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。