一种图像风格迁移模型训练方法、装置及电子设备制造方法及图纸

本申请实施例提供的一种图像风格迁移模型训练方法、装置及电子设备，通过将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型；通过内容编码层对样本源域图像和样本目标域图像进行特征提取，得到源内容张量和源风格张量；通过风格编码层对样本源域图像和样本目标域图像进行特征提取，得到目标内容张量和目标风格张量；通过预设损失函数，根据源内容张量、源风格张量、目标内容张量和目标风格张量计算待训练的图像风格迁移模型的当前损失；根据当前损失对待训练的图像风格迁移模型的参数进行调整，直至当前损失小于预设阈值，得到训练好的图像风格迁移模型。实现了提取样本图像的多个维度的特征进行模型的训练，避免模型的内容敏感性。

【技术实现步骤摘要】
一种图像风格迁移模型训练方法、装置及电子设备
本申请涉及模型训练的
，特别是涉及一种图像风格迁移模型训练方法、装置及电子设备。
技术介绍
目前，图像风格迁移模型在电影业、摄影技术、时尚、美容相机和电子商务等领域，已经有着广泛的应用，通过图像风格迁移模型可以自动的将一幅图像转化为另一种风格的图像。然而，当前图像风格迁移模型在训练过程中，往往只提取样本图像单一维度的特征，然后根据提取的特征进行模型的训练，从而导致训练得到的模型对图像的内容较为敏感，所需要的样本数据的数据量也较多。
技术实现思路
本申请实施例的目的在于提供一种图像风格迁移模型训练方法、装置及电子设备，用以解决现有技术中训练图像风格迁移模型的过程中，样本数据需求多的问题。具体技术方案如下：本申请实施例的第一方面，首先提供了一种图像风格迁移模型训练方法，上述方法包括：将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型，其中，图像风格迁移模型包括内容编码层和风格编码层；通过内容编码层对样本源域图像和样本目标域图像进行特征提取本文档来自技高网...

【技术保护点】
1.一种图像风格迁移模型训练方法，其特征在于，所述方法包括：/n将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型，其中，所述图像风格迁移模型包括内容编码层和风格编码层；/n通过所述内容编码层对所述样本源域图像和样本目标域图像进行特征提取，得到源内容张量和源风格张量；/n通过所述风格编码层对所述样本源域图像和样本目标域图像进行特征提取，得到目标内容张量和目标风格张量；/n通过预设损失函数，根据所述源内容张量、所述源风格张量、目标内容张量和目标风格张量计算所述待训练的图像风格迁移模型的当前损失；/n根据所述当前损失对所述待训练的图像风格迁移模型的参数进行调整，返回所述将样本源域图像和样本...

【技术特征摘要】
1.一种图像风格迁移模型训练方法，其特征在于，所述方法包括：
将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型，其中，所述图像风格迁移模型包括内容编码层和风格编码层；
通过所述内容编码层对所述样本源域图像和样本目标域图像进行特征提取，得到源内容张量和源风格张量；
通过所述风格编码层对所述样本源域图像和样本目标域图像进行特征提取，得到目标内容张量和目标风格张量；
通过预设损失函数，根据所述源内容张量、所述源风格张量、目标内容张量和目标风格张量计算所述待训练的图像风格迁移模型的当前损失；
根据所述当前损失对所述待训练的图像风格迁移模型的参数进行调整，返回所述将样本源域图像和样本目标域图像输入待训练的图像风格迁移模型的步骤继续执行，直至所述当前损失小于预设阈值，得到训练好的图像风格迁移模型。


2.根据权利要求1所述的方法，其特征在于，所述通过预设损失函数，根据所述源内容张量、所述源风格张量、目标内容张量和目标风格张量计算所述待训练的图像风格迁移模型的当前损失，包括：
通过预设损失函数，根据所述源内容张量、所述源风格张量、目标内容张量和目标风格张量计算所述待训练的图像风格迁移模型的项目损失，其中，所述项目损失包括重构损失、潜在语义损失、循环重构损失、对抗损失、风格多样性损失和感知损失中的至少一种；
根据所述项目损失计算得到所述当前损失。


3.根据权利要求2所述的方法，其特征在于，所述项目损失包括所述重构损失，所述通过预设损失函数，根据所述源内容张量、所述源风格张量、目标内容张量和目标风格张量计算所述待训练的图像风格迁移模型的项目损失，包括：
通过预设生成器，根据所述源内容张量和所述源风格张量计算得到源域域内重构图；
通过预设生成器，根据所述目标内容张量和所述目标风格张量计算得到目标域域内重构图；
根据所述源域域内重构图和所述目标域域内重构图，通过第一预设损失函数计算得到重构损失。


4.根据权利要求2所述的方法，其特征在于，所述项目损失包括所述潜在语义损失，所述通过预设损失函数，根据所述源内容张量、所述源风格张量、目标内容张量和目标风格张量计算所述待训练的图像风格迁移模型的项目损失，包括：
通过预设生成器，根据所述源内容张量和所述目标风格张量计算得到目标域生成图；通过预设生成器，根据所述目标内容张量和所述源风格张量计算得到源域生成图；
将所述目标域生成图输入所述内容编码层，得到重构目标内容张量；将所述目标域生成图输入所述风格编码层，得到重构目标风格张量；将所述源域生成图输入所述内容编码层，得到重构源域内容张量；将所述源域生成图输入所述风格编码层，得到重构源域风格张量；
根据所述重构目标内容张量和所述重构目标风格张量，通过第二预设损失函数计算得到第一潜在语义损失；根据所述重构源域内容张量和所述重构源域风格张量，通过第二预设损失函数计算得到第二潜在语义损失；
计算所述第一潜在语义损失和所述第二潜在语义损失之和，得到所述潜在语义损失。


5.根据权利要求4所述的方法，其特征在于，所述项目损失包括所述循环重构损失，所述通过预设损失函数，根据所述源内容张量、所述源风格张量、目标内容张量和目标风格张量计算所述待训练的图像风格迁移模型的项目损失，包括：
通过预设生成器，根据所述重构源域内容张量计算得到循环重构源域图；通过预设生成器，根据所述重构源域风格张量计算得到循环重构目标域图；
根据所述循环重构源域图和所述循环重构目标域图，通过第三预设损失函数计算得到所述循环重构损失。


6.根...

【专利技术属性】
技术研发人员：李丽香，张雅盟，彭海朋，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京;11