表情迁移方法、图像生成器的训练方法、装置及电子设备制造方法及图纸

本发明专利技术提供了一种表情迁移方法、图像生成器的训练方法、装置及电子设备，涉及图像处理的技术领域，该表情迁移方法包括：获取第一人脸图像、第一人脸图像的关键点对应的第一关键点信息和第二人脸图像的关键点对应的第二关键点信息；将第一人脸图像、第一关键点信息和第二关键点信息输入图像生成器进行表情重构，得到第一人脸图像的表情迁移图像，表情迁移图像的表情与第二人脸图像的表情匹配。本发明专利技术提供的表情迁移方法、图像生成器的训练方法、装置及电子设备，在表情迁移过程中使用的图像生成器能够接受不同身份的图像作为输入并进行表情迁移，不仅缓解了现有技术中难以进行不同身份的表情迁移的问题，也有助于进行推广使用。

Expression transfer method, training method, device and electronic equipment of image generator

【技术实现步骤摘要】
表情迁移方法、图像生成器的训练方法、装置及电子设备
本专利技术涉及图像处理的
，尤其是涉及一种表情迁移方法、图像生成器的训练方法、装置及电子设备。
技术介绍
人脸表情迁移技术是指通过某种映射关系，将输入人脸的表情映射到目标人脸上。该技术不仅可以使得用户通过输入人脸来控制目标图片或视频中的人脸表情，还能为人脸识别任务提供数据增强服务。目前，人脸表情迁移技术可以分为3D(3-Dimensions)模型技术和2D(2-Dimensions)图像技术。3D模型技术主要是通过检测人脸关键点拟合3DMM模型(3DMorphableModel，3D变形模型)参数的方法，根据输入图像的2D人脸关键点，把3DMM模型中对应的点经过弱透视映射到平面上，计算在该平面上的投影误差。而2D图像技术则是通过检测人脸输入图像的关键点，直接通过最小化生成图片和真值图片的距离来建立从图像和关键点到图像的映射。但是，上述人脸表情迁移技术中，多要求目标人脸与输入人脸为同一身份的人脸图像，难以进行不同身份的表情迁移。专利技术内容有鉴于此，本文档来自技高网...

【技术保护点】
1.一种表情迁移方法，其特征在于，所述方法应用于配置有图像生成器的设备，所述图像生成器通过身份判别器和表情判别器训练得到；其中，所述身份判别器通过判别原始图像样本和所述原始图像样本对应的重构图像为同一身份的似然度训练所述图像生成器，所述表情判别器通过判别所述重构图像和所述重构图像对应的目标人脸关键点匹配的似然度训练所述图像生成器；所述方法包括：/n获取第一人脸图像、所述第一人脸图像的关键点对应的第一关键点信息和第二人脸图像的关键点对应的第二关键点信息；/n将所述第一人脸图像、所述第一关键点信息和所述第二关键点信息输入所述图像生成器进行表情重构，得到所述第一人脸图像的表情迁移图像，所述表情迁移图...

【技术特征摘要】
1.一种表情迁移方法，其特征在于，所述方法应用于配置有图像生成器的设备，所述图像生成器通过身份判别器和表情判别器训练得到；其中，所述身份判别器通过判别原始图像样本和所述原始图像样本对应的重构图像为同一身份的似然度训练所述图像生成器，所述表情判别器通过判别所述重构图像和所述重构图像对应的目标人脸关键点匹配的似然度训练所述图像生成器；所述方法包括：
获取第一人脸图像、所述第一人脸图像的关键点对应的第一关键点信息和第二人脸图像的关键点对应的第二关键点信息；
将所述第一人脸图像、所述第一关键点信息和所述第二关键点信息输入所述图像生成器进行表情重构，得到所述第一人脸图像的表情迁移图像，所述表情迁移图像的表情与所述第二人脸图像的表情匹配。


2.根据权利要求1所述的方法，其特征在于，获取第一人脸图像、所述第一人脸图像的关键点对应第一关键点信息和第二人脸图像的关键点对应的第二关键点信息之前，所述方法还包括：
获取预先存储的基准脸图像中的基准关键点信息；
根据所述基准关键点信息对所述第一人脸图像和所述第二人脸图像进行图像对齐处理。


3.根据权利要求1所述的方法，其特征在于，获取所述第一人脸图像的关键点对应的第一关键点信息和第二人脸图像的关键点对应的第二关键点信息的步骤包括：
对所述第一人脸图像的关键点进行提取，生成包含所述第一人脸图像的关键点的第一关键点热力图，将所述第一关键点热力图确定为所述第一关键点信息；以及，
对所述第二人脸图像的关键点进行提取，生成包含所述第二人脸图像的关键点的第二关键点热力图，将所述第二关键点热力图确定为所述第二关键点信息。


4.一种图像生成器的训练方法，其特征在于，所述方法包括：
将原始图像样本、所述原始图像样本对应的人脸关键点和目标人脸关键点输入图像生成器，得到所述原始图像样本对应的重构图像；
通过身份判别器判别所述原始图像样本和所述重构图像为同一身份的似然度训练所述图像生成器，通过表情判别器判别所述重构图像和所述目标人脸关键点匹配的似然度训练所述图像生成器；
将训练完成的图像生成器保存为表情迁移操作的应用模型。


5.根据权利要求4所述的方法，其特征在于，通过身份判别器判别所述原始图像样本和所述重构图像为同一身份的似然度训练所述图像生成器，通过表情判别器判别所述重构图像和所述目标人脸关键点匹配的似然度训练所述图像生成器的步骤包括：
根据所述身份判别器输出的所述原始图像样本和所述重构图像为同一身份的似然度建立所述身份判别器对应的第一损失函数；以及，根据所述表情判别器输出的所述重构图像和所述目标人脸关键点匹配的似然度建立所述表情判别器对应的第二损失函数；
根据所述第一损失函数和所述第二损失函数调整所述图像生成器的参数，继续训练调整参数后的所述图像生成器，直至所述第一损失函数和所述第二损失函数分别收敛至预设值，得到训练完成的图像生成器。


6.根据权利要求5所述的方法，其特征在于，根据所述身份判别器输出的所述原始图像样本和所述重构图像为同一身份的似然度建立所述身份判别器对应的第一损失函数的步骤包括：
将所述身份判别器输出的所述原始图像样本和所述重构图像为同一身份的似然度确定为第一似然度；
以及，将包含所述目标人脸关键点的目标图像样本和所述原始图像样本输入至所述身份判别器，以使所述身份判别器输出所述目标图像样本和所述原始图像样本为同一身份的第二似然度；
根据所述第一似然度和所述第二似然度建立所述身份判别器对应的第一损失函数。


7.根据权利要求5所述的方法，其特征在于，根据所述表...

【专利技术属性】
技术研发人员：姚光明，袁燚，范长杰，胡志鹏，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江;33