本申请提供了一种图像风格迁移模型的训练方法、装置及电子设备,方法包括:获取原始图像和真实图像;将原始图像输入图像风格迁移模型的生成器,得到风格化图像;提取风格化图像中目标对象的第一边缘区域,以及真实图像中目标对象的第二边缘区域,根据第一边缘区域和第二边缘区域,训练生成器和图像风格迁移模型的判别器,并将训练后的生成器作为图像风格迁移模型。本申请中,模型的训练过程可以仅以边缘区域为输入,使得模型可以仅处理边缘区域的特征,降低了计算量。另外,训练过程可以更加聚焦于图像风格迁移过程中的边缘区域融合,使得边缘区域的细节纹理的变化可以轻易的被捕捉,提高了图像风格化结果的边缘区域修复效果。高了图像风格化结果的边缘区域修复效果。高了图像风格化结果的边缘区域修复效果。
【技术实现步骤摘要】
图像风格迁移模型的训练方法、装置及电子设备
[0001]本申请实施例涉及图像风格迁移模型的训练
,尤其涉及一种图像风格迁移模型的训练方法及装置、风格化图像生成方法及装置、电子设备、计算机存储介质及计算机程序产品。
技术介绍
[0002]图像风格化任务能够提供给用户各种各样的风格化图像,如人像染发任务中,头发区域需要进行色彩转换,而其他区域可以保持原状不变。这类任务可以将不同区域进行分割,分别进行风格转换后再进行拼接,拼接位置的融合效果好坏影响到风格化图像的质量。
[0003]相关技术中,可以利用生成式对抗网络(GAN,Generative Adversarial Networks)模型中的生成器进行风格化处理,得到风格化图像,并在风格化图像中标注风格区域的边缘位置,之后利用GAN模型的判别器识别风格化图像中风格区域的边缘融合效果,通过生成器和判别器之间的博弈式训练,达到提升生成器提供的风格化处理的效果。
[0004]但是,目前方案中,判别器需要处理整张图像,导致计算资源消耗过大。另外,由于整张图像中边缘位置所处区域占比太小,判别器难以捕捉边缘位置的差异,导致训练难度较大。
技术实现思路
[0005]本申请实施例提供一种图像风格迁移模型的训练方法及装置、风格化图像生成方法及装置、电子设备、计算机存储介质及计算机程序产品,以解决相关技术中判别器需要处理整张图像,导致计算资源消耗过大。另外,由于整张图像中边缘位置所处区域占比太小,判别器难以捕捉边缘位置的差异,导致训练难度较大的问题。<br/>[0006]第一方面,本申请实施例提供了一种图像风格迁移模型的训练方法,该方法包括:
[0007]获取原始图像和真实图像,所述原始图像和所述真实图像都包含目标对象,且所述原始图像包含的目标对象的风格属性与所述真实图像包含的目标对象的风格属性不同;
[0008]将所述原始图像输入神经网络模型的生成器,得到风格化图像,所述风格化图像为对所述原始图像中的目标对象进行风格化处理后得到的图像;所述神经网络模型还包括判别器;
[0009]提取所述风格化图像中所述目标对象的第一边缘区域,以及所述真实图像中所述目标对象的第二边缘区域;
[0010]根据所述第一边缘区域和所述第二边缘区域,训练所述生成器和所述判别器,并将训练后的生成器作为图像风格迁移模型。
[0011]在一种可选实施方式中,所述根据所述第一边缘区域和所述第二边缘区域,训练所述生成器和所述判别器,并将训练后的生成器作为图像风格迁移模型,包括:
[0012]对所述第一边缘区域进行图像分割,得到多个预设尺寸的第一图像块;
[0013]对所述第二边缘区域进行图像分割,得到多个所述预设尺寸的第二图像块;
[0014]根据所述第一图像块和所述第二图像块训练所述生成器和所述判别器,并将训练后的生成器作为所述图像风格迁移模型。
[0015]在一种可选实施方式中,所述根据所述第一图像块和所述第二图像块训练所述生成器和所述判别器,包括:
[0016]根据所述第一图像块和所述第二图像块,训练所述判别器;
[0017]根据所述第一图像块和所述判别器,训练所述生成器。
[0018]在一种可选实施方式中,所述根据所述第一图像块和所述第二图像块,训练所述判别器,包括:
[0019]将所述第一图像块和所述第二图像块分别输入所述判别器,得到对应所述第一图像块的第一判定结果,以及对应所述第二图像块的第二判定结果;
[0020]根据所述第一图像块的第一真实值与所述第一判定结果的差值,确定第一损失值,并根据所述第二图像块的真实值与所述第二判定结果的差值,确定第二损失值;所述第一真实值反映了所述判别器对输入对象的判别结果为假时的取值;所述第二图像块的真实值反映了所述判别器对输入对象的判别结果为真时的取值;
[0021]根据所述第一损失值和所述第二损失值,交替训练所述判别器。
[0022]在一种可选实施方式中,所述根据所述第一图像块和所述判别器,训练所述生成器,包括:
[0023]将所述第一图像块输入所述判别器,得到对应所述第一图像块的第三判定结果;
[0024]根据所述第一图像块的第二真实值与所述第三判定结果的差值,确定第三损失值;所述第二真实值反映了所述判别器对输入对象的判别结果为真时的取值;
[0025]根据所述第三损失值训练所述生成器。
[0026]在一种可选实施方式中,所述根据所述第一边缘区域和所述第二边缘区域,训练所述生成器和所述判别器,并将训练后的生成器作为图像风格迁移模型,包括:
[0027]在对所述生成器和所述判别器进行了预设次数的迭代训练操作后,终止训练,并将训练后的生成器作为图像风格迁移模型,一次迭代训练操作包括训练一次所述生成器和训练一次所述判别器。
[0028]第二方面,本申请实施例提供了一种风格化图像生成方法,该方法包括:
[0029]将待处理图像输入图像风格迁移模型,得到所述图像风格迁移模型输出的风格化图像;
[0030]其中,所述图像风格迁移模型是根据图像风格迁移模型的训练方法进行训练所得到的。
[0031]第三方面,本申请实施例提供了一种图像风格迁移模型的训练装置,该装置包括:
[0032]获取模块,被配置为获取原始图像和真实图像,所述原始图像和所述真实图像都包含目标对象,且所述原始图像包含的目标对象的风格属性与所述真实图像包含的目标对象的风格属性不同;
[0033]第一风格模块,被配置为将所述原始图像输入神经网络模型的生成器,得到风格化图像,所述风格化图像为对所述原始图像中的目标对象进行风格化处理后得到的图像;所述神经网络模型还包括判别器;
[0034]分割模块,被配置为提取所述风格化图像中所述目标对象的第一边缘区域,以及所述真实图像中所述目标对象的第二边缘区域;
[0035]训练模块,被配置为根据所述第一边缘区域和所述第二边缘区域,训练所述生成器和所述判别器,并将训练后的生成器作为图像风格迁移模型。
[0036]在一种可选实施方式中,所述训练模块包括:
[0037]第一分割子模块,被配置为对所述第一边缘区域进行图像分割,得到多个预设尺寸的第一图像块;
[0038]第二分割子模块,被配置为对所述第二边缘区域进行图像分割,得到多个所述预设尺寸的第二图像块;
[0039]训练子模块,被配置为根据所述第一图像块和所述第二图像块训练所述生成器和所述判别器,并将训练后的生成器作为所述图像风格迁移模型。
[0040]在一种可选实施方式中,所述训练子模块,包括:
[0041]第一训练单元,被配置为根据所述第一图像块和所述第二图像块,训练所述判别器;
[0042]第二训练单元,被配置为根据所述第一图像块和所述判别器,训练所述生成器。
[0043]在一种可选实施方式中,所述第一训练单元,包括:
[0044]本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像风格迁移模型的训练方法,其特征在于,所述方法包括:获取原始图像和真实图像,所述原始图像和所述真实图像都包含目标对象,且所述原始图像包含的目标对象的风格属性与所述真实图像包含的目标对象的风格属性不同;将所述原始图像输入神经网络模型的生成器,得到风格化图像,所述风格化图像为对所述原始图像中的目标对象进行风格化处理后得到的图像;所述神经网络模型还包括判别器;提取所述风格化图像中所述目标对象的第一边缘区域,以及所述真实图像中所述目标对象的第二边缘区域;根据所述第一边缘区域和所述第二边缘区域,训练所述生成器和所述判别器,并将训练后的生成器作为图像风格迁移模型。2.根据权利要求1所述的方法,其特征在于,所述根据所述第一边缘区域和所述第二边缘区域,训练所述生成器和所述判别器,并将训练后的生成器作为图像风格迁移模型,包括:对所述第一边缘区域进行图像分割,得到多个预设尺寸的第一图像块;对所述第二边缘区域进行图像分割,得到多个所述预设尺寸的第二图像块;根据所述第一图像块和所述第二图像块训练所述生成器和所述判别器,并将训练后的生成器作为所述图像风格迁移模型。3.根据权利要求2所述的方法,其特征在于,所述根据所述第一图像块和所述第二图像块训练所述生成器和所述判别器,包括:根据所述第一图像块和所述第二图像块,训练所述判别器;根据所述第一图像块和所述判别器,训练所述生成器。4.根据权利要求3所述的方法,其特征在于,所述根据所述第一图像块和所述第二图像块,训练所述判别器,包括:将所述第一图像块和所述第二图像块分别输入所述判别器,得到对应所述第一图像块的第一判定结果,以及对应所述第二图像块的第二判定结果;根据所述第一图像块的第一真实值与所述第一判定结果的差值,确定第一损失值,并根据所述第二图像块的真实值与所述第二判定结果的差值,确定第二损失值;所述第一真实值反映了所述判别器对输入对象的判别结果为假时的取值;所述第二图像块的真实值反映了所述判别器对输入对象的判别结果为...
【专利技术属性】
技术研发人员:方慕园,万鹏飞,
申请(专利权)人:北京达佳互联信息技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。