表情生成方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，公开了一种基于StarGAN网络的表情生成方法，表情生成方法是通过将相片和目标域标签作为输入信息，输入到基于单一网络可以跨越不同表情域的多个表情数据集获取表情素材的表情替换的人脸表情修改模型，查询与所述目标域标签对应的表情数据集，并根据所述表情数据集对相片进行表情合成处理，得到目标表情相片；本发明专利技术还提供了一种基于StarGAN网络的表情生成装置、设备及计算机可读存储介质，基于仅使用一个模型为多个域执行图像到图像转换，从而实现一对多域的图像转换，提高了图像的转换效率和准确率。

Expression generation method, device, device and storage medium

【技术实现步骤摘要】
表情生成方法、装置、设备及存储介质
本专利技术涉及人工智能
，尤其涉及一种基于对抗生成网络(StarGAN网络)的表情生成方法、装置、设备及存储介质。
技术介绍
随着智能图像技术的不断发展，尤其是图像到图像转换技术，该技术是一门有效、快速地对图像进行处理和分析的技术，也是目前计算机视觉的新型领域，其将定义在原图像空间的图像以某种形式转换到另外的空间，利用空间的特有性质更方便地对图像进行一定的加工和处理，最后再转换回原图像空间以达到所需的效果。该技术目前主要是应用在移动电子终端上，用于实现人类特征脸的识别与分类，具体是首先提取出目标的脸部图像信息，然后将待识别的人脸投影到新的多维人脸空间，通过简单的分类手段可以完成对人脸的识别与分类。此外，随着美图美颜等图像处理技术的发展，该技术也被广泛应用于众多的娱乐软件上，比如改变人脸情绪表情，可以将开心的表情转换成为生气、愤怒、哀伤等其他的表情。但是现有的图像转换中，其图像模型只能实现一个模型对应一个图像域的转换，在多域的图像转换任务中，也只是通过调度不同的模型进行转换，该种转换方式的效率并不本文档来自技高网...

【技术保护点】
1.一种基于StarGAN网络的表情生成方法，其特征在于，所述表情生成方法包括以下步骤：/n获取待处理的相片，并基于人脸识别技术识别出所述相片中所有的人脸画像，并在所述相片上勾画出每个人脸画像的人脸边界框；/n利用人脸关键点检测技术从所述人脸边界框中标记出所述人脸画像中的人脸五官位置；/n获取待转换的目标域标签，其中，所述目标域标签为用于指示所述相片待转换的表情数据集；/n将带有人脸五官位置标记的所述相片和所述目标域标签输入至预先训练得到的人脸表情修改模型中，并从表情素材库中查询与所述目标域标签对应的表情数据集，其中，所述人脸表情修改模型为基于单一网络可以跨越不同表情域的多个表情数据集获取表情...

【技术特征摘要】
1.一种基于StarGAN网络的表情生成方法，其特征在于，所述表情生成方法包括以下步骤：
获取待处理的相片，并基于人脸识别技术识别出所述相片中所有的人脸画像，并在所述相片上勾画出每个人脸画像的人脸边界框；
利用人脸关键点检测技术从所述人脸边界框中标记出所述人脸画像中的人脸五官位置；
获取待转换的目标域标签，其中，所述目标域标签为用于指示所述相片待转换的表情数据集；
将带有人脸五官位置标记的所述相片和所述目标域标签输入至预先训练得到的人脸表情修改模型中，并从表情素材库中查询与所述目标域标签对应的表情数据集，其中，所述人脸表情修改模型为基于单一网络可以跨越不同表情域的多个表情数据集获取表情素材的表情替换模型，其用于根据域标签与多个不同表情域的表情数据集之间的对映射关系，从表情素材库中确定与所述目标域标签对应的表情数据集，所述表情素材库包括有至少两个不同表情域的表情数据集；
通过所述人脸表情修改模型将确定的不同表情的表情数据集依次填充至所述人脸画像中对应的人脸五官位置中，并进行表情图像合成处理，得到目标表情相片。


2.如权利要求1所述的基于StarGAN网络的表情生成方法，其特征在于，所述基于人脸识别技术识别出所述相片中所有的人脸画像，并在所述相片上勾画出每个人脸画像的人脸边界框的步骤包括：
识别所述相片中是否存在人脸图像；
若存在，则根据预置的人脸检测算法提取所述相片中的人脸，并在所述人脸所在的位置描画出人脸边界框；
利用表情的跟踪算法对所述人脸边界框内的人脸图像进行表情跟踪点的标记。


3.如权利要求2所述的基于StarGAN网络的表情生成方法，其特征在于，所述利用人脸关键点检测技术从所述人脸边界框中标记出所述人脸画像中的人脸五官位置的步骤包括：
通过预先训练好的人脸关键点检测器，对所述人脸边界框中的人脸图像进行人脸五官检测，并采用106追踪点的标记方式对检测到的人脸五官进行边界标记，以描绘出所述人脸图像上的每个人脸五官的形状和位置信息。


4.如权利要求1-3任一项所述的基于StarGAN网络的表情生成方法，其特征在于，所述预先训练得到的人脸表情修改模型通过以下方式训练得到：
获取至少两个不同表情域中的目标域以及每个目标域对应的域标签，所述目标域中包含有已经通过人工归类的方式归类完成的人脸表情特征图像；
根据所述目标域，对预设的对抗网络的模型构架中的鉴别器进行真假相片的区分训练，以得到可识别出表情类别的鉴别器；
根据所述目标域，对预设的对抗网络的模型构架中的生成器进行输入相片到待转换的目标域之间的转换训练以及对输入相片转换后的图像进行还原重建的训练；
所述预设的对抗网络的模型构架记录根据人工归类的方式归类完成的人脸表情特征图像对应的域标签，并根据域标签在模型构架中生成目标域标签，建立目标域标签与域标签之间的映射关系；
基于训练后的鉴别器、生成器和所述映射关系，构建满足表情合成的所述人脸表情修改模型。


5.如权利要求4所述的基于StarGAN网络的表情生成方法，其特征在于，所述根据所述目标域，对预设的对抗网络的模型构架中的鉴别器进行真假相片的区分训练，以得到可识别出表情类别的鉴别器包括：
分别将所述至少两个不同表情域中的目标域中的表情素材作为输入相片，以所述至少两个不同表情域中的目标域的域标签作为所述目标转换域的目标域标签，输入至所述鉴别器中；
在所述输入相片经过所述鉴别器采用对抗损失函数公式对所...

【专利技术属性】
技术研发人员：王健宗，王义文，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44