带属性人脸图像生成方法、装置、系统及可读存储介质制造方法及图纸

本发明专利技术公开了一种带属性人脸图像生成方法，包括：接收人脸特征描述文本以及部分遮挡图像；将描述文本输入至文本编码器网络，得到文本编码向量；将文本编码向量以及部分遮挡图像进行通道级联，生成语义特征数据；将语义特征数据输入至人脸图像生成模型中进行人脸特征还原，得到带属性的人脸图像；其中，人脸图像生成模型为根据文本数据集以及训练集图像训练优化得到的深度学习网络。该图像生成方法可以根据文本细节描述，可以生成符合文本所描述属性的人脸图像。本发明专利技术还公开了一种带属性人脸图像生成装置、系统及计算机可读存储介质，具有上述有益效果。

Attributed Face Image Generation Method, Device, System and Readable Storage Media

The invention discloses a method for generating face image with attributes, which includes: receiving face feature description text and partially occluded image; inputting description text into text encoder network to obtain text encoding vector; cascading text encoding vector and partially occluded image through channels to generate semantic feature data; and inputting semantic feature data into face image generation model. Face feature is restored to get the face image with attributes, and the model of face image generation is a deep learning network optimized according to text data set and image training of training set. The method can be used to generate face images according to the detailed description of the text and the attributes described by the text. The invention also discloses a facial image generating device, system and computer readable storage medium with attributes, which has the above beneficial effects.

【技术实现步骤摘要】
带属性人脸图像生成方法、装置、系统及可读存储介质
本专利技术涉及计算机视觉研究领域，特别涉及一种带属性人脸图像生成方法、装置、系统及一种计算机可读存储介质。
技术介绍
图像生成问题一直是国内外学者研究的主要问题之一，在深度学习研究领域中，多样性丰富的人脸图像数据集有较大的需求。如何利用生成图像技术扩充数据集，根据特定的属性条件生成符合条件的高清人脸图像是急需解决的问题之一。目前，根据特定的属性条件进行人脸图像生成是基于属性标签进行图像生成的，比如预先设定一些属性标签，“男性”、“女性”、“金色头发”、“是否微笑”、“是否张嘴”等，根据挑选的属性标签生成对应的人脸图像。而利用属性标签(例如5维属性二值标签向量：00100)作为图像生成的条件限制具有局限性。即图像的属性只能局限在所提供的标签范围内，属性多样性较差，而且通过属性标签进行属性的限定细节体现差、描述方式非日常化。因此，如何根据文本细节描述，生成符合文本所描述属性的人脸图像，是本领域技术人员需要解决的技术问题。
技术实现思路
本专利技术的目的是提供一种带属性人脸图像生成方法，该方法通过将描述文本转化为向量形式后，与输入图像进行通道级本文档来自技高网...

【技术保护点】
1.一种带属性人脸图像生成方法，其特征在于，包括：接收人脸特征描述文本以及部分遮挡图像；将所述描述文本输入至文本编码器网络，得到文本编码向量；将所述文本编码向量以及所述部分遮挡图像进行通道级联，生成语义特征数据；将所述语义特征数据输入至人脸图像生成模型中进行人脸特征还原，得到带属性的人脸图像；其中，所述人脸图像生成模型为根据文本数据集以及训练集图像训练优化得到的深度学习网络。

【技术特征摘要】
1.一种带属性人脸图像生成方法，其特征在于，包括：接收人脸特征描述文本以及部分遮挡图像；将所述描述文本输入至文本编码器网络，得到文本编码向量；将所述文本编码向量以及所述部分遮挡图像进行通道级联，生成语义特征数据；将所述语义特征数据输入至人脸图像生成模型中进行人脸特征还原，得到带属性的人脸图像；其中，所述人脸图像生成模型为根据文本数据集以及训练集图像训练优化得到的深度学习网络。2.如权利要求1所述的带属性人脸图像生成方法，其特征在于，将所述语义特征数据输入至人脸图像生成模型中进行人脸特征还原包括：将所述语义特征数据输入至基于生成式对抗网络的生成器进行人脸特征还原；则所述人脸图像生成模型通过语义特征训练数据以及对应的原图训练得到具体为：利用所述生成器根据输入的语义特征训练数据进行图像还原；根据对应的原图，通过判别器进行还原图像的真实性评判，得到真实性概率；根据所述真实性概率对所述生成器以及所述判别器进行参数优化。3.如权利要求2所述的带属性人脸图像生成方法，其特征在于，根据所述真实性概率对所述生成器以及所述判别器进行参数优化包括：根据所述真实性概率计算最小化损失函数；根据所述最小化损失函数利用梯度下降法对所述生成器以及所述判别器进行优化。4.如权利要求2所述的带属性人脸图像生成方法，其特征在于，将所述语义特征数据输入至基于生成式对抗网络的生成器进行人脸特征还原包括：通过预训练的全局网络对所述语义特征数据进行全局特征还原，得到具有全局还原信息的特征矩阵；通过预训练的局部网络将所述语义特征数据进行矩阵维度处理，将维度处理后的特征数据与所述全局特征矩阵进行信息叠加，并对叠加后的数据进行局部增强，得到细节优化的全局特征矩阵；对所述细节优化的全局特征矩阵进行输出设置，得到还原图像，将所述还原图像作为所述带属性的人脸图像。5.如权利要求4所述的带属性人脸图像生成方法，其特征在于，所述通过预训练的全局网络对所述语义特征数据进行全局特征还原，得到具有全局还原信息的特征矩阵后还包括：预训练的全局网络通过...

【专利技术属性】
技术研发人员：胡晓瑞，李东，章云，王晓东，曾宪贤，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44