一种基于对抗神经网络的人像美化方法和系统技术方案

本申请涉及一种基于对抗神经网络的人像美化方法和系统，其中，该方法包括：获取美化人像图和自然人像图，其中，美化人像图经美化人像风格提取器得到美化风格码，美化风格码通过美化人像生成器生成得到美化风格特征，自然人像图经自然人像风格提取器得到自然风格码，自然风格码通过自然人像生成器生成得到自然风格特征；对美化和自然风格特征进行逐级混合得到混合特征，并通过混合生成器将混合特征转换为美化后的自然人像，美化后的自然人像图和未处理的自然人像图组合生成成对样本集；最后，通过成对样本集训练迁移器，并通过训练好的迁移器对用户人像进行美化，得到用户人像美化图。提高了人像美化的准确度和效率，并降低了设计成本。

【技术实现步骤摘要】
一种基于对抗神经网络的人像美化方法和系统
本申请涉及图像处理
，特别是涉及一种基于对抗神经网络的人像美化方法和系统。
技术介绍
随着消费电子技术的发展，消费者越来越方便的使用拍照设备拍摄人像，市场上对美化人像照片的技术需求越来越强烈；人像照片美化技术属于图像处理
，通过对人像皮肤、五官、头发等区域进行处理生成更令人喜爱的图像效果。多年来，因为其巨大的商业价值，人像美化一直是图像处理领域的研究热点。其中，传统的图像处理方法是对美化目标进行算法分解，组合多个基础算法来实现美化；深度学习技术兴起以后，神经网络可以从大量的美化样本中学习到美化风格，并将其应用到新的人像照片上。然而，无论是传统分解算法还是新兴的深度学习算法，在实际的应用中都会有各种的限制。在相关技术中，传统分解算法需要人工将美化效果分解成具体的基础算法，如模糊、颜色调整和叠加等，这对算法工程师有着很高的要求，既要熟悉美化风格又要设计出精巧的算法，还要有足够的鲁棒性能应对各种光照条件，设计难度很大；基于神经网络的方法能大大降低算法设计的难度，但效果较好的算法一般是有监督的学习算法，这种算法往往需要大量的成对样本，这种样本往往由设计师手工调整得到，因此，大量的样本往往需要大量的人工投入，实施成本很高；此外，近年来利用生成式对抗神经网络来编辑人像方法虽然可以回避人工制作样本的问题，但是又会面临特征缠绕的问题，无法单独编辑某一特征，比如用户只想美化人像，但是画面背景或者人物性别却被同时改变。目前针对相关技术中，在对人像进行美化时，存在的特征缠绕或样本设计成本高的问题，尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种基于对抗神经网络的人像美化方法和系统，以至少解决相关技术中在对人像进行美化时，存在的特征缠绕或样本设计成本高的问题。第一方面，本申请实施例提供了一种基于对抗神经网络的人像美化方法，所述方法包括：获取美化人像图和自然人像图，其中，所述美化人像图经美化人像风格提取器得到美化风格码，所述美化风格码通过美化人像生成器生成得到美化风格特征，所述自然人像图经自然人像风格提取器得到自然风格码，所述自然风格码通过自然人像生成器生成得到自然风格特征；对所述美化风格特征和所述自然风格特征进行逐级混合得到混合特征，并通过混合生成器将所述混合特征转换为美化后的自然人像，所述美化后的自然人像图和所述自然人像图组合生成成对样本集；通过所述成对样本集训练迁移器，得到训练好的迁移器，并通过所述训练好的迁移器对用户人像进行美化，得到用户人像美化图，其中，所述迁移器为U-NET网络结构。在其中一些实施例中，在将所述自然人像图和所述美化后的自然人像图组合生成成对样本集之前，所述方法包括：分别对所述美化人像风格提取器、所述美化人像生成器、所述自然人像风格提取器、所述自然人像生成器和所述混合生成器进行训练，其中，训练次序为：第一次序是对所述美化人像生成器和所述自然人像生成器进行训练，第二次序是对所述自然人像风格提取器和所述美化人像风格提取器进行训练，第三次序是对所述混合生成器进行训练。在其中一些实施例中，对所述美化人像生成器和所述自然人像生成器进行训练包括：通过所述美化风格码、所述自然风格码分别对所述美化人像生成器、所述自然人像生成器进行交替训练，直至收敛，其中所述美化人像生成器和所述自然人像生成器均为条件生成式对抗网络结构。在其中一些实施例中，对所述自然人像风格提取器和所述美化人像风格提取器进行训练包括：将输入图像和重建图像之间的L2范数作为损失函数，并通过所述自然人像图和训练好的自然人像生成器训练所述自然人像风格提取器，通过所述美化人像图和训练好的美化人像生成器训练所述美化人像风格提取器。在其中一些实施例中，对所述混合生成器进行训练包括：获取所述美化人像图和所述自然人像图，并通过综合损失函数对所述混合生成器进行训练，直至收敛，其中，所述综合损失函数Losstotal为：Losstotal＝w1*Losssty+w2*Lossback+w3*Lossdis+w4*LossID其中，w1,w2,w3,w4为经验系数，Losssty为风格损失函数，Lossback为背景重建损失函数，Lossdis为判别损失函数，LossID为人像一致性损失函数。在其中一些实施例中，所述对所述美化风格特征和所述自然风格特征进行逐级混合得到混合特征包括：根据分辨率尺寸对所述美化风格特征和所述自然风格特征进行逐级混合得到混合特征。第二方面，本申请实施例提供了一种基于对抗神经网络的人像美化系统，所述系统包括：生成模块，用于获取美化人像图和自然人像图，其中，所述美化人像图经美化人像风格提取器得到美化风格码，所述美化风格码通过美化人像生成器生成得到美化风格特征，所述自然人像图经自然人像风格提取器得到自然风格码，所述自然风格码通过自然人像生成器生成得到自然风格特征，对所述美化风格特征和所述自然风格特征进行逐级混合得到混合特征，并通过混合生成器将所述混合特征转换为美化后的自然人像，所述美化后的自然人像图和所述自然人像图组合生成成对样本集；美化模块，用于通过所述成对样本集训练迁移器，得到训练好的迁移器，并通过所述训练好的迁移器对用户人像进行美化，得到用户人像美化图，其中，所述迁移器为U-NET网络结构。在其中一些实施例中，所述系统还包括训练模块，所述训练模块，用于在将所述自然人像图和所述美化后的自然人像图组合生成成对样本集之前，分别对所述美化人像风格提取器、所述美化人像生成器、所述自然人像风格提取器、所述自然人像生成器和所述混合生成器进行训练，其中，训练次序为：第一次序是对所述美化人像生成器和所述自然人像生成器进行训练，第二次序是对所述自然人像风格提取器和所述美化人像风格提取器进行训练，第三次序是对所述混合生成器进行训练。第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于对抗神经网络的人像美化方法。第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于对抗神经网络的人像美化方法。本申请实施例提供的基于对抗神经网络的人像美化方法，获取美化人像图和自然人像图，其中，美化人像图经美化人像风格提取器得到美化风格码，该美化风格码通过美化人像生成器生成得到美化风格特征，自然人像图经自然人像风格提取器得到自然风格码，该自然风格码通过自然人像生成器生成得到自然风格特征；接着对美化风格特征和自然风格特征进行逐级混合得到混合特征，并通过混合生成器将该混合特征转换为美化后的自然人像，该美化后的自然人像图和未处理的自然人像图组合生成成对样本集；最后，通过成对样本集训练迁移器，得到训练好的迁移器，并通过该训练好的迁移器对用户人像进行美化，得到用户人像美化本文档来自技高网...

【技术保护点】
1.一种基于对抗神经网络的人像美化方法，其特征在于，所述方法包括：/n获取美化人像图和自然人像图，其中，所述美化人像图经美化人像风格提取器得到美化风格码，所述美化风格码通过美化人像生成器生成得到美化风格特征，所述自然人像图经自然人像风格提取器得到自然风格码，所述自然风格码通过自然人像生成器生成得到自然风格特征；/n对所述美化风格特征和所述自然风格特征进行逐级混合得到混合特征，并通过混合生成器将所述混合特征转换为美化后的自然人像，所述美化后的自然人像图和所述自然人像图组合生成成对样本集；/n通过所述成对样本集训练迁移器，得到训练好的迁移器，并通过所述训练好的迁移器对用户人像进行美化，得到用户人像美化图，其中，所述迁移器为U-NET网络结构。/n

【技术特征摘要】
1.一种基于对抗神经网络的人像美化方法，其特征在于，所述方法包括：
获取美化人像图和自然人像图，其中，所述美化人像图经美化人像风格提取器得到美化风格码，所述美化风格码通过美化人像生成器生成得到美化风格特征，所述自然人像图经自然人像风格提取器得到自然风格码，所述自然风格码通过自然人像生成器生成得到自然风格特征；
对所述美化风格特征和所述自然风格特征进行逐级混合得到混合特征，并通过混合生成器将所述混合特征转换为美化后的自然人像，所述美化后的自然人像图和所述自然人像图组合生成成对样本集；
通过所述成对样本集训练迁移器，得到训练好的迁移器，并通过所述训练好的迁移器对用户人像进行美化，得到用户人像美化图，其中，所述迁移器为U-NET网络结构。


2.根据权利要求1所述的方法，其特征在于，在将所述自然人像图和所述美化后的自然人像图组合生成成对样本集之前，所述方法包括：
分别对所述美化人像风格提取器、所述美化人像生成器、所述自然人像风格提取器、所述自然人像生成器和所述混合生成器进行训练，其中，训练次序为：第一次序是对所述美化人像生成器和所述自然人像生成器进行训练，第二次序是对所述自然人像风格提取器和所述美化人像风格提取器进行训练，第三次序是对所述混合生成器进行训练。


3.根据权利要求2所述的方法，其特征在于，对所述美化人像生成器和所述自然人像生成器进行训练包括：
通过所述美化风格码、所述自然风格码分别对所述美化人像生成器、所述自然人像生成器进行交替训练，直至收敛，其中所述美化人像生成器和所述自然人像生成器均为条件生成式对抗网络结构。


4.根据权利要求2或3所述的方法，其特征在于，对所述自然人像风格提取器和所述美化人像风格提取器进行训练包括：
将输入图像和重建图像之间的L2范数作为损失函数，并通过所述自然人像图和训练好的自然人像生成器训练所述自然人像风格提取器，通过所述美化人像图和训练好的美化人像生成器训练所述美化人像风格提取器。


5.根据权利要求2所述的方法，其特征在于，对所述混合生成器进行训练包括：
获取所述美化人像图和所述自然人像图，并通过综合损失函数对所述混合生成器进行训练，直至收敛，其中，所述综合损失函数Losstotal为：
Losstotal＝w1*Losssty+w2*L...

【专利技术属性】
技术研发人员：王鼎，谢衍涛，宋娜，陈继，梅启鹏，
申请(专利权)人：杭州格像科技有限公司，
类型：发明
国别省市：浙江;33