三维语义噪声驱动的人脸合成操纵方法和装置制造方法及图纸

本发明专利技术提供一种三维语义噪声驱动的人脸合成操纵方法和装置，其中方法包括：确定待处理人脸语义；生成所述待处理人脸语义对应的三维语义噪声；其中，不同人脸语义对应的三维语义噪声之间相互独立；利用人脸合成操纵模型，基于所述待处理人脸语义对应的三维语义噪声，生成人脸合成图像；或，基于所述待处理人脸语义对应的三维语义噪声，对待操纵人脸图像中的所述待处理人脸语义进行操纵，得到人脸操纵图像。本发明专利技术提供的三维语义噪声驱动的人脸合成操纵方法和装置，既可以单独操纵某一语义，又能通过重采样噪声生成多样化风格的图像，优化了人脸合成操纵的效果。了人脸合成操纵的效果。了人脸合成操纵的效果。

【技术实现步骤摘要】
三维语义噪声驱动的人脸合成操纵方法和装置


[0001]本专利技术涉及图像处理
，尤其涉及一种三维语义噪声驱动的人脸合成操纵方法和装置。

技术介绍

[0002]理想的人脸肖像合成和操纵是指根据给定的语义标签图(人脸解析图)合成语义信息一致的真实图像，并可以对语义内容进行多样化编辑的任务。常见的人脸语义有皮肤、眼睛和头发等。
[0003]人脸肖像合成和操纵在众多行业和企业具有应用场景和广阔市场，作为“AI内容生成”技术的重要组成，逐渐成为学术界和工业界的研究热点。人脸肖像合成和操纵技术正被广泛应用于影视、社交、娱乐、电商、科研等众多领域，并涌现出了许多创新性的应用形式。在影视制作中，可以通过该技术“一键”为影视剧演员进行肤色打光、发色编辑以及脸部年龄操纵等，免除了繁杂的化妆和换妆；在娱乐应用中，可以用于制作脸部特效、换脸视频、人脸动图等互动体验；在社交通讯中，为防止个人身份隐私泄露，可以通过该技术创建媲美真实人脸的全新人脸图像或者隐藏人脸身份特征；在广告宣传中，利用该技术合成的人脸和虚拟形象可言替代模特，免去了传统上使用他人肖像的授权本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维语义噪声驱动的人脸合成操纵方法，其特征在于，包括：确定待处理人脸语义；生成所述待处理人脸语义对应的三维语义噪声；其中，不同人脸语义对应的三维语义噪声之间相互独立；利用人脸合成操纵模型，基于所述待处理人脸语义对应的三维语义噪声，生成人脸合成图像；或，基于所述待处理人脸语义对应的三维语义噪声，对待操纵人脸图像中的所述待处理人脸语义进行操纵，得到人脸操纵图像。2.根据权利要求1所述的三维语义噪声驱动的人脸合成操纵方法，其特征在于，所述基于所述待处理人脸语义对应的三维语义噪声，对待操纵人脸图像中的所述待处理人脸语义进行操纵，得到人脸操纵图像，具体包括：基于所述人脸合成操纵模型中的编码器，对所述待操纵人脸图像进行特征提取，得到所述待操纵人脸图像的图像特征；基于所述人脸合成操纵模型中的特征编辑器，将所述待处理人脸语义对应的三维语义噪声与所述图像特征中所述待处理人脸语义的图像特征编码交换，得到所述待操纵人脸图像的已编辑图像特征；基于所述人脸合成操纵模型中的操纵图像生成器，根据所述已编辑图像特征，生成所述人脸操纵图像。3.根据权利要求2所述的三维语义噪声驱动的人脸合成操纵方法，其特征在于，所述人脸合成操纵模型是对人脸合成网络、人脸操纵网络和人脸重建网络进行联合训练得到的；所述人脸合成网络包含合成图像生成器；所述合成图像生成器用于基于对应人脸语义的三维语义噪声进行人脸合成；所述人脸操纵网络包含所述特征编辑器和所述操纵图像生成器；所述人脸重建网络包括所述编码器和重建图像生成器；所述重建图像生成器用于基于所述编码器的输出结果进行图像重建；所述合成图像生成器、所述操纵图像生成器和所述重建图像生成器共享参数。4.根据权利要求3所述的三维语义噪声驱动的人脸合成操纵方法，其特征在于，所述人脸合成操纵模型的损失函数包括风格多样性损失、外观匹配损失、多类分割损失、重建损失和对抗生成损失；其中，所述风格多样性损失用于最大化所述合成图像生成器基于同一人脸语义对应的不同三维语义噪声合成的图像间的差异；外观匹配损失用于最小化操纵区域对应的操纵子图像和合成子图像间的差异，并最小化保留区域对应的操纵子图像和重建子图像间的差异；所述操纵区域对应的操纵子图像和合成子图像分别是所述操纵图像生成器和所述合成图像生成器基于所述操纵区域对应的同一三维语义噪声生成的；多类分割损失用于解耦所述编码器针对不同人脸语义输出的图像特征编码；重建损失用于最小化所述重建图像生成器生成的图像与输入的原始图像间的差异；对抗生成损失用于最大化所述合...

【专利技术属性】
技术研发人员：孙哲南，李琦，邓琪瑶，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：