【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及一种人脸卡通化方法、装置、设备及介质。
技术介绍
1、在视频会议/网络场景中，服务商对降低网络带宽成本有较大的需求，用户对隐私性和趣味性的需求也在不断提高。因此人像编辑和风格化的技术越来越重要，特别是基于普通二维人像的卡通化技术，由于既能保护用户隐私且能保持身份的相似性，受到了广泛关注。目前，对真实人脸进行卡通化的技术存在输入真实人脸图像和输出卡通化人脸图像相似性较低的问题。
技术实现思路
1、针对上述技术问题，本申请的目的在于提供一种人脸卡通化方法、装置、设备及介质，以生成更相似的卡通化人脸图像。
2、为了解决上述技术问题，第一方面，本申请实施例提供一种人脸卡通化方法，包括：
3、获取待卡通化的真实人脸图像；
4、通过编码器从所述真实人脸图像中提取隐空间特征向量；
5、基于所述隐空间特征向量，通过优化后的人脸卡通化模型生成所述真实人脸图像对应的卡通化人脸图像；其中，所述优化后的人脸卡通化模型基于真实人脸图像数据集以及监督信息对数据集，利用判别器目标函数对待优化人脸卡通化模型进行训练得到；其中，所述真实人脸图像数据集包括多张第一真实人脸图像，每对监督信息包括一张第二真实人脸图像以及与所述第二真实人脸图像对应的卡通化人脸图像。
6、进一步的，所述优化后的人脸卡通化模型通过以下方式训练得到：
7、获取第一真实人脸图像、第二真实人脸图像以及与所述第二真实人脸图像对应的卡通化人脸图像；>
8、基于所述第一真实人脸图像以及所述待优化人脸卡通化模型，得到第一卡通化人脸图像；
9、基于所述第二真实人脸图像以及所述待优化人脸卡通化模型，得到第二卡通化人脸图像；
10、基于所述第一卡通化人脸图像、所述第二卡通化人脸图像以及判别器，计算得到分数；
11、基于所述第一真实人脸图像、所述第二真实人脸图像以及人脸特征提取模型，计算得到身份距离；
12、基于所述第二卡通化人脸图像以及与所述第二真实人脸图像对应的卡通化人脸图像计算所述第二卡通化人脸图像与所述第二真实人脸图像对应的卡通化人脸图像之间的差异；
13、基于所述分数、所述身份距离以及所述第二卡通化人脸图像与所述第二真实人脸图像对应的卡通化人脸图像之间的差异构造判别器目标函数；
14、以所述判别器目标函数最大化为目标迭代训练所述待优化人脸卡通化模型和所述判别器；其中，所述待优化人脸卡通化模型和所述判别器采用交替训练方式训练；
15、当迭代训练完成预设训练次数时，停止训练，并将最后一次训练得到的人脸卡通化模型作为所述优化后的人脸卡通化模型。
16、进一步的，所述判别器目标函数为：
17、l＝log(sd)-sid/2-λspair
18、其中，所述sd为分数，sid为身份距离，spair为第二卡通化人脸图像与所述第二真实人脸图像对应的卡通化人脸图像之间的差异，λ为预设的超参数。
19、进一步的，所述分数根据公式计算得到；其中，sd为分数，d为判别器，为第一卡通化人脸图像，为第二卡通化人脸图像。
20、进一步的，所述身份距离根据公式计算得到；其中，sid为身份距离，为第一卡通化人脸图像，为第二卡通化人脸图像，f为已经训练好的人脸特征提取模型。
21、进一步的，所述第二卡通化人脸图像与所述第二真实人脸图像对应的卡通化人脸图像之间的差异根据公式计算得到；其中，为第二卡通化人脸图像与所述第二真实人脸图像对应的卡通化人脸图像之间的差异，为第一卡通化人脸图像，为第二卡通化人脸图像，y为与第二真实人脸图像x对应的卡通化人脸图像。
22、第二方面，本专利技术实施例提供一种人脸卡通化装置，包括：
23、获取模块，用于获取待卡通化的真实人脸图像；
24、隐空间提取模块，用于通过编码器从所述真实人脸图像中提取隐空间向量；
25、卡通化人脸图像生成模块，用于基于所述隐空间向量，通过优化后的人脸卡通化模型生成所述真实人脸图像对应的卡通化人脸图像；其中，所述优化后的人脸卡通化模型基于真实人脸图像数据集以及监督信息对数据集，利用判别器目标函数对待优化人脸卡通化模型进行训练得到；其中，所述真实人脸图像数据集包括多张第一真实人脸图像，每对监督信息包括一张第二真实人脸图像以及与所述第二真实人脸图像对应的卡通化人脸图像。
26、进一步的，所述目标函数为l＝log(sd)-sid/2-λspair，其中，所述sd为分数，sid为身份距离，spair为第二卡通化人脸图像与所述第二真实人脸图像对应的卡通化人脸图像之间的差异。
27、第三方面，本专利技术实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
28、第四方面，本专利技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
29、本专利技术实施例提供一种人脸卡通化方法，包括：获取待卡通化的真实人脸图像；通过编码器从所述真实人脸图像中提取隐空间特征向量；基于所述隐空间特征向量，通过优化后的人脸卡通化模型生成所述真实人脸图像对应的卡通化人脸图像；其中，所述优化后的人脸卡通化模型基于真实人脸图像数据集以及监督信息对数据集，利用判别器目标函数对待优化人脸卡通化模型进行训练得到；其中，所述真实人脸图像数据集包括多张第一真实人脸图像，每对监督信息包括一张第二真实人脸图像以及与所述第二真实人脸图像对应的卡通化人脸图像。本专利技术实施例通过结合真实人脸图像和卡通化人脸图像组成的样本对作为监督信息，固定编码器，并对待优化人脸卡通化模型进行训练优化的方式得到更优的真实人脸和卡通化人脸图像分布的对应关系，从而稳定地生成与真实人脸图像更相似的人脸卡通化人脸图像。
本文档来自技高网...【技术保护点】
1.一种人脸卡通化方法，其特征在于，包括：
2.根据权利要求1所述的人脸卡通化方法，其特征在于，所述优化后的人脸卡通化模型通过以下方式训练得到：
3.根据权利要求1或2所述的人脸卡通化方法，其特征在于，所述判别器目标函数为：
4.根据权利要求3所述的人脸卡通化方法，其特征在于，所述分数根据公式计算得到；其中，SD为分数，D为判别器，为第一卡通化人脸图像，为第二卡通化人脸图像。
5.根据权利要求3所述的人脸卡通化方法，其特征在于，所述身份距离根据公式计算得到；其中，Sid为身份距离，为第一卡通化人脸图像，为第二卡通化人脸图像，F为已经训练好的人脸特征提取模型。
6.根据权利要求3所述的人脸卡通化方法，其特征在于，所述第二卡通化人脸图像与所述第二真实人脸图像对应的卡通化人脸图像之间的差异根据公式计算得到；其中，Spair为第二卡通化人脸图像与所述第二真实人脸图像对应的卡通化人脸图像之间的差异，为第一卡通化人脸图像，为第二卡通化人脸图像，y为与第二真实人脸图像x对应的卡通化人脸图像。
7.一种人脸卡通化装置，其特征
8.根据权利要求7所述的人脸卡通化装置，其特征在于，所述目标函数为
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
...【技术特征摘要】
1.一种人脸卡通化方法，其特征在于，包括：
2.根据权利要求1所述的人脸卡通化方法，其特征在于，所述优化后的人脸卡通化模型通过以下方式训练得到：
3.根据权利要求1或2所述的人脸卡通化方法，其特征在于，所述判别器目标函数为：
4.根据权利要求3所述的人脸卡通化方法，其特征在于，所述分数根据公式计算得到；其中，sd为分数，d为判别器，为第一卡通化人脸图像，为第二卡通化人脸图像。
5.根据权利要求3所述的人脸卡通化方法，其特征在于，所述身份距离根据公式计算得到；其中，sid为身份距离，为第一卡通化人脸图像，为第二卡通化人脸图像，f为已经训练好的人脸特征提取模型。
6.根据权利要求3所述的人脸卡通化方法，其特征在于，所述第二卡通化人脸图像与...
【专利技术属性】
技术研发人员：张玉兵，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。