本申请公开了一种控制人脸风格化程度的方法、装置、电子设备及介质，涉及视觉技术领域。获取目标风格化图像以对真实人脸StyleGAN模型进行训练得到初始风格化人脸StyleGAN模型；将初始向量分别输入至真实人脸StyleGAN模型和初始风格化人脸StyleGAN模型，得到第一人脸数据和第二人脸数据；根据两个人脸数据的差值对初始风格化人脸StyleGAN模型进行训练，得到目标风格化人脸StyleGAN模型。本申请中，通过目标风格化人脸StyleGAN模型生成的目标人脸图像，实现了人脸身份信息约束的风格化图像生成，可提高生成图像的真实性和可控性，避免因特征失真而带来的影响。因特征失真而带来的影响。因特征失真而带来的影响。
【技术实现步骤摘要】
一种控制人脸风格化程度的方法、装置、电子设备及介质
[0001]本申请涉及视觉
，特别涉及一种控制人脸风格化程度的方法、装置、电子设备及介质。
技术介绍
[0002]人脸风格化技术是一种可以将原始人脸图像转换成不同风格的人脸图像的技术，可用于人像艺术创造、视频娱乐，虚拟现实和游戏等多种领域。现有技术中，主要基于StyleGAN模型实现人脸风格化技术。具体地，利用一定数量的目标风格化人脸图像微调预先训练好的真实人脸StyleGAN模型，得到风格化人脸stylegan模型。由于预先训练好的真实人脸StyleGAN模型包含了大量人脸先验知识，微调后的风格化人脸StyleGAN模型也可以输出一个质量较高的风格化人脸。
[0003]在实际使用中，发现在使用微调后的风格化人脸StyleGAN模型生成风格化人脸时，如果微调的程度较浅，则会导致得到的风格化人脸的风格化效果不够；如果微调的程度较深，则会导致得到的风格化人脸的人脸信息丢失比较严重。
[0004]因此，提供一种控制人脸风格化程度的方法以均衡考虑得到的风格化人脸的真实程度和风格化程度是本领域技术人员亟需解决的问题。
技术实现思路
[0005]本申请的目的是提供一种控制人脸风格化程度的方法、装置、电子设备及介质，通过目标风格化人脸StyleGAN模型生成的人脸图像，实现了人脸身份信息约束的风格化图像生成，可提高生成图像的真实性和可控性，避免因特征失真而带来的影响。
[0006]为解决上述技术问题，本申请提供了一种控制人脸风格化程度的方法，包括：
[0007]获取目标风格化图像，根据所述目标风格化图像对真实人脸StyleGAN模型进行训练，得到初始风格化人脸StyleGAN模型；
[0008]将初始向量输入至所述真实人脸StyleGAN模型，得到第一人脸数据；
[0009]将所述初始向量输入至所述初始风格化人脸StyleGAN模型，得到第二人脸数据；
[0010]根据所述第一人脸数据和所述第二人脸数据的差值对所述初始风格化人脸StyleGAN模型进行训练，得到目标风格化人脸StyleGAN模型；
[0011]获取待风格化人脸，并将所述待风格化人脸输入至所述目标风格化人脸StyleGAN模型，以得到目标风格化人脸。
[0012]优选地，根据所述第一人脸数据和所述第二人脸数据的差值对所述初始风格化人脸StyleGAN模型进行训练，得到目标风格化人脸StyleGAN模型，包括：
[0013]根据所述第一人脸数据、所述第二人脸数据及人脸身份信息损失函数对所述初始风格化人脸StyleGAN模型进行训练，得到所述目标风格化人脸StyleGAN模型。
[0014]优选地，根据所述第一人脸数据、所述第二人脸数据及人脸身份信息损失函数对所述初始风格化人脸StyleGAN模型进行训练，得到所述目标风格化人脸StyleGAN模型，包
括：
[0015]使用预设人脸身份信息提取模型提取所述第一人脸数据的第一身份信息；
[0016]使用所述预设人脸身份信息提取模型提取所述第二人脸数据的第二身份信息；
[0017]根据所述第一身份信息和所述第二身份信息计算所述人脸身份信息损失函数；
[0018]根据所述人脸身份信息损失函数对所述初始风格化人脸StyleGAN模型进行训练，得到所述目标风格化人脸StyleGAN模型。
[0019]优选地，获取目标风格化图像，包括：
[0020]获取初始风格化图像，使用预设人脸关键点模型提取各所述初始风格化图像的关键点；
[0021]根据所述关键点对真实人脸进行对齐操作，得到目标风格化图像。
[0022]优选地，将所述待风格化人脸输入至所述目标风格化人脸StyleGAN模型，以得到目标风格化人脸，包括：
[0023]在训练过程中，获取所述目标风格化人脸StyleGAN模型输出的若干个不同风格化程度的风格化人脸；
[0024]根据各所述风格化人脸的风格程度确定各所述风格化人脸中的预设区域；
[0025]将各所述预设区域进行融合，得到目标风格化人脸。
[0026]优选地，在训练过程中，获取所述目标风格化人脸StyleGAN模型输出的若干个不同风格化程度的风格化人脸，包括：
[0027]在训练过程中，根据不同的迭代次数确定所述目标风格化人脸StyleGAN模型输出的若干个不同风格化程度的风格化人脸；
[0028]其中，所述迭代次数与输出的风格化人脸的风格化程度正相关。
[0029]优选地，确定各所述风格化人脸中的预设区域的过程包括：
[0030]使用预设关键点定位模型确定各所述风格化人脸中的预设区域。
[0031]优选地，在所述风格化人脸包括第一风格化程度和第二风格化程度的两种风格化人脸，且第一风格化程度小于第二风格化程度时，根据各所述风格化人脸的风格程度确定各所述风格化人脸中的预设区域，包括：
[0032]通过预设人脸关键点定位模型定位所述第一风格化程度的风格化人脸上的第一五官区域；
[0033]通过所述预设人脸关键点定位模型定位所述第二风格化程度的风格化人脸上的第二五官区域；
[0034]将各所述预设区域进行融合，得到目标风格化人脸，包括：
[0035]将所述第二风格化程度的风格化人脸上的第二五官区域替换为所述第一五官区域，并将替换后的第二风格化程度的风格化人脸作为所述目标风格化人脸。
[0036]为解决上述技术问题，本申请还提供了一种控制人脸风格化程度的装置，包括：
[0037]初始模型生成单元，用于获取目标风格化图像，根据所述目标风格化图像对真实人脸StyleGAN模型进行训练，得到初始风格化人脸StyleGAN模型；
[0038]第一人脸数据生成单元，用于将初始向量输入至所述真实人脸StyleGAN模型，得到第一人脸数据；
[0039]第二人脸数据生成单元，用于将所述初始向量输入至所述初始风格化人脸
StyleGAN模型，得到第二人脸数据；
[0040]目标模型生成单元，用于根据所述第一人脸数据和所述第二人脸数据的差值对所述初始风格化人脸StyleGAN模型进行训练，得到目标风格化人脸StyleGAN模型；
[0041]目标风格化人脸生成单元，用于获取待风格化人脸，并将所述待风格化人脸输入至所述目标风格化人脸StyleGAN模型，以得到目标风格化人脸。
[0042]为解决上述技术问题，本申请还提供了一种电子设备，包括：
[0043]存储器，用于存储计算机程序；
[0044]处理器，用于在存储计算机程序时，实现如上述所述的控制人脸风格化程度的方法的步骤。
[0045]为解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的控制人脸风格化程度的方法的步骤本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种控制人脸风格化程度的方法，其特征在于，包括：获取目标风格化图像，根据所述目标风格化图像对真实人脸StyleGAN模型进行训练，得到初始风格化人脸StyleGAN模型；将初始向量输入至所述真实人脸StyleGAN模型，得到第一人脸数据；将所述初始向量输入至所述初始风格化人脸StyleGAN模型，得到第二人脸数据；根据所述第一人脸数据和所述第二人脸数据的差值对所述初始风格化人脸StyleGAN模型进行训练，得到目标风格化人脸StyleGAN模型；获取待风格化人脸，并将所述待风格化人脸输入至所述目标风格化人脸StyleGAN模型，以得到目标风格化人脸。2.如权利要求1所述的控制人脸风格化程度的方法，其特征在于，根据所述第一人脸数据和所述第二人脸数据的差值对所述初始风格化人脸StyleGAN模型进行训练，得到目标风格化人脸StyleGAN模型，包括：根据所述第一人脸数据、所述第二人脸数据及人脸身份信息损失函数对所述初始风格化人脸StyleGAN模型进行训练，得到所述目标风格化人脸StyleGAN模型。3.如权利要求2所述的控制人脸风格化程度的方法，其特征在于，根据所述第一人脸数据、所述第二人脸数据及人脸身份信息损失函数对所述初始风格化人脸StyleGAN模型进行训练，得到所述目标风格化人脸StyleGAN模型，包括：使用预设人脸身份信息提取模型提取所述第一人脸数据的第一身份信息；使用所述预设人脸身份信息提取模型提取所述第二人脸数据的第二身份信息；根据所述第一身份信息和所述第二身份信息计算所述人脸身份信息损失函数；根据所述人脸身份信息损失函数对所述初始风格化人脸StyleGAN模型进行训练，得到所述目标风格化人脸StyleGAN模型。4.如权利要求1所述的控制人脸风格化程度的方法，其特征在于，获取目标风格化图像，包括：获取初始风格化图像，使用预设人脸关键点模型提取各所述初始风格化图像的关键点；根据所述关键点对真实人脸进行对齐操作，得到目标风格化图像。5.如权利要求1
‑
4任一项所述的控制人脸风格化程度的方法，其特征在于，将所述待风格化人脸输入至所述目标风格化人脸StyleGAN模型，以得到目标风格化人脸，包括：在训练过程中，获取所述目标风格化人脸StyleGAN模型输出的若干个不同风格化程度的风格化人脸；根据各所述风格化人脸的风格程度确定各所述风格化人脸中的预设区域；将各所述预设区域进行融合，得到目标风格化人脸。6.如权利要求5所述的控制人脸风格化程度的方法，其特征...
【专利技术属性】
技术研发人员：刘思远，甘启，张辉，章子维，张璐，陶明，
申请(专利权)人：上海任意门科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。