人脸图像生成方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供了一种人脸图像生成方法、装置、设备及存储介质，其中，该方法包括：获取输入的草图和人脸属性；将草图输入预设的人脸生成模型中，通过所述人脸生成模型计算所述草图中各分区的令牌序列，并基于所述令牌序列计算所述草图的全局注意力；根据所述全局注意力计算所述草图的图像特征；将所述图像特征映射至人脸特征空间，并将映射至人脸特征空间的图像特征进行特征编辑，得到所述草图的对应的人脸特征；根据所述人脸特征生成对应的人脸图像。本方式中，通过计算草图的全局注意力实现高质量提取图像特征，降低对草图质量的要求，可以从粗糙甚至不完整的徒手素描中生成高质量的面部图像，并通过特征编辑功能提高生成人脸的可编辑范围。可编辑范围。可编辑范围。

【技术实现步骤摘要】
embedding层计算所述草图中对应分区的令牌序列；通过所述stage中的Transformer Encoder根据所述令牌序列计算所述草图的全局注意力。
[0010]可选的，在本专利技术第一方面的第三种实现方式中，所述特征编辑网络由clip模型和全连接层构成；所述将所述图像特征映射至人脸特征空间，并将映射至人脸特征空间的图像特征进行特征编辑，得到所述草图的对应的人脸特征包括：将所述图像特征映射至人脸特征空间；通过所述特征编辑网络中的clip模型提取所述人脸属性的文字特征信息；通过所述特征编辑网络中的全连接层将所述文字特征信息映射至人脸特征空间，并根据人脸特征空间中的图像特征和文字特征信息得到所述草图的对应的人脸特征。
[0011]可选的，在本专利技术第一方面的第四种实现方式中，所述根据所述人脸特征生成对应的人脸图像包括：获取至少一个随机噪声，并通过所述人脸生成网络基于至少一个所述随机噪声和所述人脸特征生成至少一个人脸图像。
[0012]可选的，在本专利技术第一方面的第五种实现方式中，所述人脸生成网络由多个生成模块构成，每个生成模块由特征层和上采样层构成；所述通过所述生成器基于所述随机噪声和所述人脸特征生成初始图像包括：将所述随机噪声通过权重解调的方式叠加至每个生成模块的特征层中；将预设的固定输入输入至第一生成模块中的特征层中，并将所述人脸特征通过自适应归一化的方式加入所述特征层中，生成对应的人脸特征图像，并通过对应的上采样层输入处理后，作为下一生成模块的输入；重复进行人脸特征图像生成的步骤，直至最后一个生成模块输出，将最后一个生成模块输出的人脸特征图像作为初始图像。
[0013]可选的，在本专利技术第一方面的第六种实现方式中，在所述获取输入的草图，并将草图输入预设的人脸生成模型中之前，还包括：获取样本人脸图像，并对所述样本人脸图像进行预处理，得到样本草图；将所述样本草图输入至预设的神经网络模型中，得到模型生成图像；根据所述模型生成图像和所述样本人脸图像计算预设的损失函数，得到对应的损失函数值；判断所述损失函数值是否小于预设损失阈值；若否，则将所述损失函数值进行反向传播，更新所述神经网络模型的网络参数，直至得到的损失函数值小于预设阈值；若是，则根据所述神经网络模型的网络参数构成人脸生成模型。
[0014]可选的，在本专利技术第一方面的第七种实现方式中，所述获取样本人脸图像，并对所述样本人脸图像进行预处理，得到样本草图包括：获取样本人脸图像，并使用预设的滤镜对所述样本人脸图像进行处理，得到初步草图；对所述初步草图进行简化处理，得到简化草图；对所述简化草图进行样本增广，得到样本草图。
[0015]可选的，在本专利技术第一方面的第八种实现方式中，所述对所述初步草图进行简化处理，得到简化草图包括：使用canny算子提取所述初步草图的边缘；使用fincounters函数识别所述边缘中的所有连通边缘；计算各连通边缘的边缘长度，并将所述边缘长度小于预设长度阈值的连通边缘剔除；根据剔除后剩余的连通边缘生成简化草图。
[0016]本专利技术第二方面提供了一种人脸图像生成装置，包括：获取模块，用于获取输入的草图和人脸属性；注意力计算模块，用于将草图输入预设的人脸生成模型中，通过所述人脸生成模型计算所述草图中各分区的令牌序列，并基于所述令牌序列计算所述草图的全局注意力；特征计算模块，用于根据所述全局注意力计算所述草图的图像特征；映射模块，用于将所述图像特征映射至人脸特征空间，并将映射至人脸特征空间的图像特征进行特征编辑，得到所述草图的对应的人脸特征；人脸生成模块，用于根据所述人脸特征生成对应的人
脸图像。
[0017]可选的，在本专利技术第二方面的第一种实现方式中，所述人脸生成模型包括特征提取网络、特征编辑网络和人脸生成网络。
[0018]可选的，在本专利技术第二方面的第二种实现方式中，所述特征提取网络由M个stage以及N个styleblock构成，所述stage由Patch embedding层和Transformer Encoder组成，所述M和N均为大于1的自然数；所述注意力计算模块，具体用于：将草图输入预设的人脸生成模型中，通过所述特征提取网络中的M个stage的Patch embedding层计算所述草图中对应分区的令牌序列；通过所述stage中的Transformer Encoder根据所述令牌序列计算所述草图的全局注意力。
[0019]可选的，在本专利技术第二方面的第三种实现方式中，所述将所述图像特征映射至人脸特征空间，并将映射至人脸特征空间的图像特征进行特征编辑，得到所述草图的对应的人脸特征包括：将所述图像特征映射至人脸特征空间；通过所述特征编辑网络中的clip模型提取所述人脸属性的文字特征信息；通过所述特征编辑网络中的全连接层将所述文字特征信息映射至人脸特征空间，并根据人脸特征空间中的图像特征和文字特征信息得到所述草图的对应的人脸特征。
[0020]可选的，在本专利技术第二方面的第四种实现方式中，所述人脸生成模块具体用于：获取至少一个随机噪声，并通过所述人脸生成网络基于至少一个所述随机噪声和所述人脸特征生成至少一个人脸图像。
[0021]可选的，在本专利技术第二方面的第五种实现方式中，所述人脸生成网络由多个生成模块构成，每个生成模块由特征层和上采样层构成；所述人脸生成模块具体还用于：将所述随机噪声通过权重解调的方式叠加至每个生成模块的特征层中；将预设的固定输入输入至第一生成模块中的特征层中，并将所述人脸特征通过自适应归一化的方式加入所述特征层中，生成对应的人脸特征图像，并通过对应的上采样层输入处理后，作为下一生成模块的输入；重复进行人脸特征图像生成的步骤，直至最后一个生成模块输出，将最后一个生成模块输出的人脸特征图像作为初始图像。
[0022]可选的，在本专利技术第二方面的第六种实现方式中，所述人脸生成装置还包括模型训练模块，所述模型训练模块具体包括：预处理单元，用于获取样本人脸图像，并对所述样本人脸图像进行预处理，得到样本草图；输入单元，用于将所述样本草图输入至预设的神经网络模型中，得到模型生成图像；损失计算单元，用于根据所述模型生成图像和所述样本人脸图像计算预设的损失函数，得到对应的损失函数值，并判断所述损失函数值是否小于预设损失阈值；反向传播单元，用于若所述损失函数值不小于预设损失阈值，则将所述损失函数值进行反向传播，更新所述神经网络模型的网络参数，直至得到的损失函数值小于预设阈值；模型生成单元，用于若所述损失函数值小于预设损失阈值，则根据所述神经网络模型的网络参数构成人脸生成模型。
[0023]可选的，在本专利技术第二方面的第七种实现方式中，所述预处理单元具体用于：获取样本人脸图像，并使用预设的滤镜对所述样本人脸图像进行处理，得到初步草图；对所述初步草图进行简化处理，得到简化草图；对所述简化草图进行样本增广，得到样本草图
[0024]可选的，在本专利技术第二方面的第八种实现方式中，所述预处理单元具体还用于：使用canny算子提取所述初步草图的边缘；使用fincounters函数识别所述边缘中的所有连通
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸图像生成方法，其特征在于，所述人脸图像生成方法包括：获取输入的草图和人脸属性；将草图输入预设的人脸生成模型中，通过所述人脸生成模型计算所述草图中各分区的令牌序列，并基于所述令牌序列计算所述草图的全局注意力；根据所述全局注意力计算所述草图的图像特征；将所述图像特征映射至人脸特征空间，并将映射至人脸特征空间的图像特征进行特征编辑，得到所述草图的对应的人脸特征；根据所述人脸特征生成对应的人脸图像。2.根据权利要求1所述的人脸图像生成方法，其特征在于，所述人脸生成模型包括特征提取网络、特征编辑网络和人脸生成网络。3.根据权利要求2所述的人脸图像生成方法，其特征在于，所述特征提取网络由M个stage以及N个styleblock构成，所述stage由Patch embedding层和Transformer Encoder组成，所述M和N均为大于1的自然数；所述将草图输入预设的人脸生成模型中，通过所述人脸生成模型计算所述草图中各分区的令牌序列，并基于所述令牌序列计算所述草图的全局注意力包括：将草图输入预设的人脸生成模型中，通过所述特征提取网络中的M个stage的Patch embedding层计算所述草图中对应分区的令牌序列；通过所述stage中的Transformer Encoder根据所述令牌序列计算所述草图的全局注意力。4.根据权利要求2所述的人脸图像生成方法，其特征在于，所述特征编辑网络由clip模型和全连接层构成；所述将所述图像特征映射至人脸特征空间，并将映射至人脸特征空间的图像特征进行特征编辑，得到所述草图的对应的人脸特征包括：将所述图像特征映射至人脸特征空间；通过所述特征编辑网络中的clip模型提取所述人脸属性的文字特征信息；通过所述特征编辑网络中的全连接层将所述文字特征信息映射至人脸特征空间，并根据人脸特征空间中的图像特征和文字特征信息得到所述草图的对应的人脸特征。5.根据权利要求2所述的人脸图像生成方法，其特征在于，所述根据所述人脸特征生成对应的人脸图像包括：获取至少一个随机噪声，并通过所述人脸生成网络基于至少一个所述随机噪声和所述人脸特征生成至少一个人脸图像。6.根据权利要求5所述的人脸图像生成方法，其特征在于，所述人脸生成网络由多个生成模块构成，每个生成模块由特征层和上采样层构成；所述通过所述生成器基于所述随机噪声和所述人脸特征生成初始图像包括：将所述随机噪声通过权重解调的方式叠加至每个生成模块的特征层中；将预设的固定输入输入至第一生成模块中的特征层中，并将所述人脸特征通过自适应归一化的方式加入所述特征层中，生成对应的人脸特征图像，并通过对应的上采样层输入处理后，作为下一生成模块的输入；重复进...

【专利技术属性】
技术研发人员：习思，陈康，李天惠，张伟东，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：