对象风格化模型的训练方法、风格迁移方法、装置及设备制造方法及图纸

本公开提供了一种对象风格化模型的训练方法、风格迁移方法、装置及设备，属于计算机技术领域。该方法包括：获取样本对象编码特征和样本风格编码特征；对所述样本对象编码特征和所述样本风格编码特征进行融合，得到样本融合特征；基于所述样本融合特征，生成样本自然对象图像和样本风格对象图像；基于所述样本自然对象图像、所述样本风格对象图像以及所述样本风格编码特征，对预设模型进行训练，得到对象风格化模型。上述方案无需任何真实的样本图像即可进行模型训练，降低了样本获取难度，提高了对象风格化模型所能转换的风格的多样性，提高了模型的训练效率。高了模型的训练效率。高了模型的训练效率。

【技术实现步骤摘要】
对象风格化模型的训练方法、风格迁移方法、装置及设备


[0001]本公开涉及图像处理
，特别涉及一种对象风格化模型的训练方法、风格迁移方法、装置及设备。

技术介绍

[0002]风格化技术能够将给定的自然对象图像转换为具有目标风格的风格对象图像，使风格对象图像具有与目标风格相似的艺术化效果，如，将自然对象图像转化为动漫、油画、铅笔画等的艺术化风格的风格对象图像。由于风格化技术具有较高的趣味性和可玩性，因此具有良好的业务发展前景。
[0003]相关技术中，通常是采用训练好的对象风格化模型来将自然对象图像转换为风格对象图像。其中，该对象风格化模型基于GAN(Generative Adversarial Networks，生成对抗网络)的图像翻译技术构建，该对象风格化模型能够有效保持风格对象图像与自然对象图像的特征一致性，不会产生异常的扭曲形变。
[0004]上述技术方案中，对于每种风格，都需要基于数百张真实的样本风格对象图像来对对象风格化模型进行训练，而真实的样本风格对象图像的获取难度较高，这就导致对象风格化模型所能转换的风格有限，使得模型训练的效率不高。

技术实现思路

[0005]本公开提供一种对象风格化模型的训练方法、风格迁移方法、装置及设备，无需任何真实的样本图像即可进行模型训练，降低了样本获取难度，提高了对象风格化模型所能转换的风格的多样性，提高了模型的训练效率。本公开的技术方案如下：
[0006]根据本公开实施例的一方面，提供一种对象风格化模型的训练方法，所述方法包括：
[0007]获取样本对象编码特征和样本风格编码特征，所述样本对象编码特征用于表示样本对象，所述样本风格编码特征用于表示样本风格；
[0008]对所述样本对象编码特征和所述样本风格编码特征进行融合，得到样本融合特征；
[0009]基于所述样本融合特征，生成样本自然对象图像和样本风格对象图像，所述样本自然对象图像用于表示自然环境中的所述样本对象，所述样本风格对象图像用于表示属于所述样本风格的环境中的所述样本对象，所述样本自然对象图像和所述样本风格对象图像中均包括所述样本对象；
[0010]基于所述样本自然对象图像、所述样本风格对象图像以及所述样本风格编码特征，对预设模型进行训练，得到对象风格化模型，所述对象风格化模型用于将自然对象图像转换为风格对象图像。
[0011]根据本公开实施例的另一方面，提供一种风格迁移方法，所述方法包括：
[0012]获取目标自然对象图像和目标风格编码特征，所述目标自然对象图像用于表示自
然环境中的目标对象，所述目标风格编码特征用于表示目标风格；
[0013]将所述目标自然对象图像以及所述目标风格编码特征，输入对象风格化模型进行风格迁移，得到风格对象图像；
[0014]其中，所述对象风格化模型为基于上述对象风格化模型的训练方法得到的。
[0015]根据本公开实施例的另一方面，提供一种对象风格化模型的训练装置，所述装置包括：
[0016]获取单元，被配置为执行获取样本对象编码特征和样本风格编码特征，所述样本对象编码特征用于表示样本对象，所述样本风格编码特征用于表示样本风格；
[0017]融合单元，被配置为执行对所述样本对象编码特征和所述样本风格编码特征进行融合，得到样本融合特征；
[0018]生成单元，被配置为执行基于所述样本融合特征，生成样本自然对象图像和样本风格对象图像，所述样本自然对象图像用于表示自然环境中的所述样本对象，所述样本风格对象图像用于表示属于所述样本风格的环境中的所述样本对象，所述样本自然对象图像和所述样本风格对象图像中均包括所述样本对象；
[0019]训练单元，被配置为执行基于所述样本自然对象图像、所述样本风格对象图像以及所述样本风格编码特征，对预设模型进行训练，得到对象风格化模型，所述对象风格化模型用于将自然对象图像转换为风格对象图像。
[0020]在一些实施例中，所述获取单元，被配置为执行基于第一预设分布，随机获取多个第一随机数；基于所述多个第一随机数，生成所述样本对象编码特征，所述样本对象编码特征中元素的个数等于所述多个第一随机数的个数；基于第二预设分布，随机获取多个第二随机数；基于所述多个第二随机数，生成所述样本风格编码特征，所述样本风格编码特征中元素的个数等于所述多个第二随机数的个数。
[0021]在一些实施例中，所述获取单元，被配置为执行基于第三预设分布，随机获取多个第三随机数；基于所述多个第三随机数，生成所述样本对象编码特征，所述样本对象编码特征中元素的个数等于所述多个第三随机数的个数；对风格参考图像进行特征提取，得到所述样本风格编码特征，所述风格参考图像用于提供风格信息。
[0022]在一些实施例中，所述获取单元，被配置为执行对对象参考图像进行特征提取，得到所述样本对象编码特征，所述对象参考图像用于提供对象信息；基于第四预设分布，随机获取多个第四随机数；基于所述多个第四随机数，生成所述样本风格编码特征，所述样本风格编码特征中元素的个数等于所述多个第四随机数的个数。
[0023]在一些实施例中，所述融合单元，被配置为执行基于图像生成模型中的融合数据和融合权重，确定融合参数，所述融合数据用于指示所述图像生成模型中每个网络层中的样本风格编码特征是否参与融合，所述融合权重与所述样本风格编码特征的样本风格相关联，所述融合参数用于表示所述样本对象编码特征和所述样本风格编码特征的融合程度；基于所述融合参数，对所述样本对象编码特征和所述样本风格编码特征进行融合，得到所述样本融合特征。
[0024]在一些实施例中，所述训练单元，包括：
[0025]迁移子单元，被配置为执行通过所述预设模型中的生成器，基于所述样本风格编码特征，对所述样本自然对象图像进行风格迁移，得到目标风格对象图像；
[0026]训练子单元，被配置为执行通过所述预设模型中的判别器，基于所述样本风格对象图像和所述目标风格对象图像之间的差异，对所述预设模型进行训练，得到所述对象风格化模型。
[0027]在一些实施例中，所述迁移子单元，包括：
[0028]编码子子单元，被配置为执行通过所述预设模型中的生成器，对所述样本自然对象图像进行编码，得到第一编码特征；
[0029]迁移子子单元，被配置为执行基于所述样本风格编码特征，对所述第一编码特征进行风格迁移，得到第二编码特征，所述第二编码特征包括所述样本风格编码特征中的风格信息；
[0030]解码子子单元，被配置为执行对所述第二编码特征进行解码，得到所述目标风格对象图像。
[0031]在一些实施例中，所述迁移子子单元，被配置为执行基于所述第一编码特征中多个元素的均值和标准差，对所述第一编码特征进行去风格化，得到中间编码特征；基于所述样本风格编码特征中多个元素的均值和标准差，对所述中间编码特征进行风格迁移，得到所述第二编码特征。
[0032]在一些实施例中，所述训练子单元，被配置为执本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象风格化模型的训练方法，其特征在于，所述方法包括：获取样本对象编码特征和样本风格编码特征，所述样本对象编码特征用于表示样本对象，所述样本风格编码特征用于表示样本风格；对所述样本对象编码特征和所述样本风格编码特征进行融合，得到样本融合特征；基于所述样本融合特征，生成样本自然对象图像和样本风格对象图像，所述样本自然对象图像用于表示自然环境中的所述样本对象，所述样本风格对象图像用于表示属于所述样本风格的环境中的所述样本对象，所述样本自然对象图像和所述样本风格对象图像中均包括所述样本对象；基于所述样本自然对象图像、所述样本风格对象图像以及所述样本风格编码特征，对预设模型进行训练，得到对象风格化模型，所述对象风格化模型用于将自然对象图像转换为风格对象图像。2.根据权利要求1所述的对象风格化模型的训练方法，其特征在于，所述获取样本对象编码特征和样本风格编码特征，包括：基于第一预设分布，随机获取多个第一随机数；基于所述多个第一随机数，生成所述样本对象编码特征，所述样本对象编码特征中元素的个数等于所述多个第一随机数的个数；基于第二预设分布，随机获取多个第二随机数；基于所述多个第二随机数，生成所述样本风格编码特征，所述样本风格编码特征中元素的个数等于所述多个第二随机数的个数。3.根据权利要求1所述的对象风格化模型的训练方法，其特征在于，所述获取样本对象编码特征和样本风格编码特征，包括：基于第三预设分布，随机获取多个第三随机数；基于所述多个第三随机数，生成所述样本对象编码特征，所述样本对象编码特征中元素的个数等于所述多个第三随机数的个数；对风格参考图像进行特征提取，得到所述样本风格编码特征，所述风格参考图像用于提供风格信息。4.根据权利要求1所述的对象风格化模型的训练方法，其特征在于，所述获取样本对象编码特征和样本风格编码特征，包括：对对象参考图像进行特征提取，得到所述样本对象编码特征，所述对象参考图像用于提供对象信息；基于第四预设分布，随机获取多个第四随机数；基于所述多个第四随机数，生成所述样本风格编码特征，所述样本风格编码特征中元素的个数等于所述多个第四随机数的个数。5.根据权利要求1所述的对象风格化模型的训练方法，其特征在于，所述对所述样本对象编码特征和所述样本风格编码特征进行融合，得到样本融合特征，包括：基于图像生成模型中的融合数据和融合权重，确定融合参数，所述融合数据用于指示所述图像生成模型中每个网络层中的样本风格编码特征是否参与融合，所述融合权重与所述样本风格相关联，所述融合参数用于表示所述样本对象编码特征和所述样本风格编码特征的融合程度；
基于所述融合参数，对所述样本对象编码特征和所述样本风格编码特征进行融合，得到所述样本融合特征。6.根据权利要求1所述的对象风格化模型的训练方法，其特征在于，所述基于所述样本自然对象图像、所述样本风格对象图像以及所述样本风格编码特征，对预设模型进行训练，得到对象风格化模型，包括：通过所述预设模型中的生成器，基于所述样本风格编码特征，对所述样本自然对象图像进行风格迁移，得到目标风格对象图像；通过所述预设模型中的判别器，基于所述样本风格对象图像和所述目标风格对象图像之间的差异，对所述预设模型进行训练，得到所述对象风格化模型。7.根据权利要求6所述的对象风格化模型的训练方法，其特征在于，所述通过所述预设模型中的生成器，基于所述样本风格编码特征，对所述样本自然对象图像进行风格迁移，得到目标风格对象图像，包括：通过所述预设模型中的生成器，对所述样本自然对象图像进行编码，得到第一编码特征；基于所述样本风格编码特征，对所述第一编码特征进行风格迁移，得到第二编码特征，所述第二编码特征包括所述样本风格的...

【专利技术属性】
技术研发人员：刘明聪，李强，秦泽奎，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：