用于生成卡通图像的方法、计算设备和存储介质技术

本公开提供了一种生成卡通图像方法、计算设备和计算机可读存储介质。该方法包括：获取关于目标对象的目标对象图像和关于卡通对象的卡通图像；基于目标区域的属性信息，针对目标对象图像和卡通图像进行分类；确定具有相同的属性信息的目标对象输入图像和卡通输入图像；经由第一生成器，将目标对象输入图像转化为卡通转化图像以便生成目标对象重建图像；经由第二生成器，将卡通输入图像转化为目标对象转化图像以便生成卡通重建图像；以及经由第一判别器和第二判别器，分别确定目标对象重建图像和卡通重建图像的真伪，以用于训练第一神经网络模型。本公开能够显著提高用于人像转换的模型的学习效率、以及提升所生成卡通图像与人像原图的相似度。像原图的相似度。像原图的相似度。

【技术实现步骤摘要】
用于生成卡通图像的方法、计算设备和存储介质


[0001]本专利技术概括而言涉及机器学习领域，更具体地，涉及一种用于生成卡通图像的方法、计算设备和计算机可读存储介质。

技术介绍

[0002]随着各种社交平台的不断发展，越来越多的用户将自拍图像转换成具有卡通化人像效果的图像。传统的生成卡通图像的方案例如是利用人像原图和卡通图作为训练数据，对基于神经网络所构建的人像转换模型进行训练，以便生成卡通化人像图像。
[0003]在上述传统的生成卡通图像的方案中，通常随机选取人像原图和卡通图作为训练数据，采用无监督学习的训练方式，对人像转换模型进行训练。由于随机选取的人像原图和卡通图通常存在较大差异，一方面这种差异性引导会给网络的学习增加难度、降低模型的学习效果；另一方面显著降低了所生成的卡通图像与真人图像的相似度。
[0004]综上，传统的生成卡通图像的方案存在的不足之处在于：人像转换模型的网络学习难度较高、学习效率较低，并且所生成的卡通图像与人像原图的相似度较低。

技术实现思路

[0005]针对上述问题，本专利技术提供了一种用于生成卡通图像的方法、计算设备和计算机可读存储介质，能够显著提高用于人像转换的模型的学习效率、以及提升所生成卡通图像与人像原图的相似度。
[0006]根据本专利技术第一方面，提供了一种生成卡通图像方法。该方法包括：获取关于目标对象的目标对象图像和关于卡通对象的卡通图像；基于目标对象和卡通对象的目标区域的属性信息，针对目标对象图像和卡通图像进行分类，以用于生成目标对象输入图像和卡通输入图像；确定具有相同的属性信息的目标对象输入图像和卡通输入图像，以用于训练第一神经网络模型，第一神经网络模型包括第一生成器、第二生成器、第一判别器和第二判别器；经由第一生成器，将目标对象输入图像转化为卡通转化图像，以用于基于卡通转化图像生成目标对象重建图像；经由第二生成器，将卡通输入图像转化为目标对象转化图像，以用于基于目标对象转化图像生成卡通重建图像；以及经由第一判别器和第二判别器，分别确定目标对象转化图像和卡通转化图像的真伪，以用于训练第一神经网络模型，经训练的第一神经网络模型用于基于所获取的用户图像生成关于用户的卡通图像。
[0007]根据本专利技术的第二方面，提供了一种计算设备。该计算设备包括：至少一个处理器；以及至少一个存储器，该至少一个存储器被耦合到该至少一个处理器并且存储用于由该至少一个处理器执行的指令，该指令当由该至少一个处理器执行时，使得该计算设备执行根据本公开第一方面的方法。
[0008]根据本专利技术的第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序代码，该计算机程序代码在被运行时执行根据本公开第一方面的方法。
[0009]在一些实施例中，用于生成卡通图像还包括：交替地利用具有不同属性信息的多
个输入图像组来训练第一输入神经网络模型，多个输入图像组中的每一个输入图像组中所包括的目标对象输入图像和卡通输入图像具有相同的属性信息。
[0010]在一些实施例中，基于卡通转化图像生成目标对象重建图像包括：将卡通转化图像输入第二生成器的编码器，以便生成第一编码；经由第二生成器的残差注意力模块，提取第一编码的特征；以及经由第二生成器的解码器，将所提取的第一编码的特征转化为目标对象重建图像。
[0011]在一些实施例中，基于目标对象转化图像生成卡通重建图像包括：将卡通转化图像输入第一生成器的编码器，以便生成第二编码；经由第一生成器的残差注意力模块，提取第二编码的特征；以及经由第一生成器的解码器，将所提取的第二编码的特征转化为卡通重建图像。
[0012]在一些实施例中，经由第一判别器和第二判别器分别确定目标对象转化图像和卡通转化图像的真伪包括：经由第一判别器，提取目标对象重建图像和目标对象输入图像的特征，以便生成关于目标对象转化图像的真伪；以及经由第二判别器，提取卡通重建图像和卡通输入图像的特征，以便生成关于卡通转化图像的真伪。
[0013]在一些实施例中，基于目标对象和卡通对象的目标区域的属性信息，针对目标对象图像和卡通图像进行分类以用于生成目标对象输入图像和卡通输入图像包括：经由第二神经网络模型，提取目标对象图像的图像特征，以便识别目标对象的目标区域的第一位置信息，目标区域为脸部区域；基于第一位置信息，裁剪目标对象图像，以便生成目标对象输入图像，以用于基于目标对象输入图像确定目标对象的目标区域的第一属性信息；经由第三神经网络模型，提取卡通图像的图像特征，识别卡通对象的目标区域的第二位置信息；基于目标区域的第二位置信息，裁剪卡通图像，以便生成卡通输入图像，以用于基于卡通输入图像确定卡通对象的目标区域的第二属性信息；响应于确定第一属性信息和第二属性信息相匹配，基于第一属性信息或第二属性信息索引目标对象输入图像和卡通输入图像；以及基于经索引目标对象输入图像和卡通输入图像，分别生成目标对象图像空间和卡通图像空间。
[0014]在一些实施例中，生成卡通图像的方法还包括：基于第一属性信息，生成第一属性特征向量；融合第一属性特征向量和与第一属性信息相关联的目标对象输入图像，以便生成用于输入神经网络模型的目标对象输入数据；基于第二属性信息，生成第二属性特征向量，第一属性信息和第二属性信息相匹配；以及融合第二属性特征向量和与第二属性相关联的卡通输入图像，以便生成用于输入神经网络模型的卡通输入数据。
[0015]在一些实施例中，目标区域为目标对象和卡通对象的脸部区域，目标区域的属性信息包括关于目标区域的发型的属性信息、关于眼镜的属性信息以及关于表情的属性信息。
附图说明
[0016]通过参考下列附图所给出的本专利技术的具体实施方式的描述，将更好地理解本专利技术，并且本专利技术的其他目的、细节、特点和优点将变得更加显而易见。
[0017]图1示出了用于实现根据本专利技术的实施例的生成卡通图像方法的系统的示意图。
[0018]图2示出了根据本公开的实施例的用于生成卡通图像的方法的流程图。
[0019]图3示出了根据本专利技术实施例的第一神经网络模型的部分网络结构示意图。
[0020]图4示出了根据本专利技术实施例的第一神经网络模型的部分网络结构示意图。
[0021]图5示出了根据本专利技术实施例的第一神经网络模型的第一生成器的网络结构示意图。
[0022]图6示出了根据本专利技术实施例的第一神经网络模型的第二判别器的网络结构示意图。
[0023]图7示出了根据本专利技术一些实施例的生成目标对象输入图像和卡通输入图像的方法的流程图。
[0024]图8示出了根据本公开的实施例的用于生成目标对象输入数据和卡通输入数据的方法的流程图。
[0025]图9示出了适合实现本专利技术的实施例的计算设备的结构方框图。
[0026]在各个附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
[0027]下面将参照附图更详细地描述本专利技术的优选实施方式。虽然附图中显示了本专利技术的优选实施方式，然而应该理解，可以以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于生成卡通图像的方法，包括：获取关于目标对象的目标对象图像和关于卡通对象的卡通图像；基于目标对象和卡通对象的目标区域的属性信息，针对目标对象图像和卡通图像进行分类，以用于生成目标对象输入图像和卡通输入图像；确定具有相同的属性信息的目标对象输入图像和卡通输入图像，以用于训练第一神经网络模型，所述第一神经网络模型包括第一生成器、第二生成器、第一判别器和第二判别器；经由所述第一生成器，将所述目标对象输入图像转化为卡通转化图像，以用于基于所述卡通转化图像生成目标对象重建图像；经由所述第二生成器，将所述卡通输入图像转化为目标对象转化图像，以用于基于目标对象转化图像生成卡通重建图像；以及经由所述第一判别器和第二判别器，分别确定所述目标对象转化图像和所述卡通转化图像的真伪，以用于训练所述第一神经网络模型，经训练的第一神经网络模型用于基于所获取的用户图像生成关于用户的卡通图像。2.根据权利要求1所述的方法，还包括：交替地利用具有不同属性信息的多个输入图像组来训练所述第一输入神经网络模型，所述多个输入图像组中的每一个输入图像组中所包括的目标对象输入图像和卡通输入图像具有相同的属性信息。3.根据权利要求1所述的方法，其中基于所述卡通转化图像生成目标对象重建图像包括：将所述卡通转化图像输入所述第二生成器的编码器，以便生成第一编码；经由第二生成器的残差注意力模块，提取所述第一编码的特征；以及经由第二生成器的解码器，将所提取的第一编码的特征转化为所述目标对象重建图像。4.根据权利要求1所述的方法，其中基于目标对象转化图像生成卡通重建图像包括：将所述卡通转化图像输入所述第一生成器的编码器，以便生成第二编码；经由第一生成器的残差注意力模块，提取所述第二编码的特征；以及经由第一生成器的解码器，将所提取的第二编码的特征转化为所述卡通重建图像。5.根据权利要求1所述的方法，其中经由所述第一判别器和第二判别器分别确定所述目标对象转化图像和所述卡通转化图像的真伪包括：经由所述第一判别器，提取所述目标对象重建图像和所述目标对象输入图像的特征，以便生成关于所述目标对象转化图像的真伪；以及经由所述第二判别器，提取所述卡通重建图像和所述卡通输入图像的特征，以便...

【专利技术属性】
技术研发人员：刘思远，甘启，章子维，张良国，
申请(专利权)人：上海任意门科技有限公司，
类型：发明
国别省市：