一种基于半监督学习的多尺度图像翻译方法技术

本发明专利技术公开了一种基于半监督学习的多尺度图像翻译方法，其多尺度判别生成对抗网络用一个统一的框架来同时完成所有的图像翻译任务，并通过同时对生成图像的多个尺度进行判别，避免了生成的图像在局部出现很多不合理的伪造物体；结合生成对抗网络和对偶学习来利用非成对数据训练模型，提升半监督图像翻译的效果，同时有效利用非成对图像信息提升模型的性能，减少模型训练对于成对图像的需求。本发明专利技术提供的一种基于半监督学习的多尺度图像翻译方法有效克服监督图像翻译算法需要大量训练数据的缺点，同时能够加速模型收敛，提升模型的表现。本发明专利技术作用效果显著，适于广泛推广。适于广泛推广。适于广泛推广。

【技术实现步骤摘要】
一种基于半监督学习的多尺度图像翻译方法


[0001]本专利技术涉及图像翻译
，特别涉及，一种基于半监督学习的多尺度图像翻译方法。

技术介绍

[0002]图像翻译是指自动的将图像的一种表示场景变换到另一种场景的任务。目前卷积神经网络被用来作为图像翻译的模型，但对于具体任务的模型构建，其损失函数设计及优化策略都不太相同，大大加重了模型设计的负担。
[0003]通过最小化模型预测和真实标签之间的欧式距离会使模型输出模糊的图像。基于监督学习的图像翻译算法需要大量成对的输入-输出训练数据。现有的图像翻译任务是基于监督学习的模型，需要大量成对的训练数据，然而现实中，获得这种成对的数据很困难，而且成本高昂。
[0004]针对上述问题，设计一种解决不同任务模型构建复杂，模型设计负担重，模型训练学习需要的数据量大的问题的方法，从而实现高效率、高精度的图像翻译。

技术实现思路

[0005]针对上述缺陷，本专利技术解决的技术问题在于，提供一种基于半监督学习的多尺度图像翻译方法，以解决现在技术所存在的不同任务模型构建复杂，模型设计负担重，模型训练学习需要的数据量大的问题。
[0006]本专利技术提供了一种基于半监督学习的多尺度图像翻译方法，具体步骤包括：
[0007]基于多尺度生成对抗网络，根据成对数据监督训练模型；
[0008]基于对偶学习的循环一致性和多尺度生成对抗网络的判别损失，根据非成对数据无监督训练模型，得到高性能图像翻译模型。
[0009]优选地，所述基于多尺度生成对抗网络，根据成对数据监督训练模型的具体步骤包括：
[0010]获取由成对图像组成的数据集{x
i
,y
i
}，其中x
i
∈X,y
i
∈Y，X和Y为两个相关联的图像域；
[0011]根据成对图像数据同时监督训练对偶的两个卷积网络模型G和F，卷积网络模型G对应的判别器为D
X
，卷积网络模型F对应的判别器为D
Y
；
[0012]基于最小化输出与目标的L1距离优化模型；
[0013]基于对偶的两个卷积网络模型G和F，通过多尺度生成对抗网络的判别器得到生成器的输出与目标域相一致的模型。
[0014]优选地，所述基于多尺度生成对抗网络的判别损失进行训练的具体步骤包括：
[0015]通过多个判别器来判别不同尺度的图像，每个判别器D
i
的损失函数为其中x和y分别为数据集中成对的图像数据，G(x)为由生成器生成的尽量服从真实数据x分布的样本，D
i
(y)为判别器D
i
根据y得出的分类
概率，D
i
(G(x))为判别器D
i
根据G(x)得出的分类概率；
[0016]采用取平均值的方法来综合所有判别器损失函数的梯度，得到判别器总的损失函数
[0017]生成器基于所有判别器损失函数的梯度对模型进行迭代，得到生成器D的损失函数为：λ
D
(G,D,x,y)＝-∑logD
i
(G(x))+||G(x)-y||1；
[0018]依据上述步骤交替训练判别器和生成器，得到多尺度生成对抗网络模型。
[0019]优选地，所述基于对偶的两个卷积网络模型G和F，通过多尺度生成对抗网络训练得到其判别器的损失函数为：
[0020][0021][0022]其生成器的损失函数为：
[0023]λ
G
(G,D
Y
,x,y)＝-logD
Y
(G(x))+||G(x)-y||1，
[0024]λ
F
(F,D
X
,y,x)＝-logD
X
(F(y))+||F(y)-x||1，其中D
X
()为判别器D
X
得出的分类概率，D
Y
()为判别器D
Y
得出的分类概率，G()为由生成器生成的尽量服从真实数据x分布的样本，F()为原始图像与生成器样本间的变换关系。
[0025]优选地，所述基于对偶学习的循环一致性和多尺度生成对抗网络的判别损失，根据非成对数据无监督训练模型的具体步骤包括：
[0026]获取非成对的两个数据集X和Y；
[0027]基于监督训练得到的两个卷积网络模型G和F，根据非成对数据x
j
,y
j
无监督训练得到满足循环一致性的两个翻译模型G：x
→
y和F：y
→
x，其中x
j
∈X,y
j
∈Y；
[0028]训练得到两个翻译模型的同时，通过多尺度生成对抗网络的两个对抗判别器D
x
和D
y
判别生成数据和目标域真实数据的差异；
[0029]根据所述差异训练模型，将模型的输出分布与目标域图像的分布拟合，得到输出与目标域一致的样本的生成器。
[0030]优选地，所述两个翻译模型满足的循环一致性具体的是：对于任意的x∈X：x
→
G(x)
→
F(G(x))≈x，对于任意的y∈Y：y
→
F(y)
→
G(F(y))≈y。
[0031]优选地，所述高性能图像翻译模型的判别器的目标函数为：
[0032][0033][0034]生成器的对抗损失函数为：
[0035]λ
G
(G,D
Y
,x,y)＝-logD
Y
(G(x))，λ
F
(F,D
X
,y,x)＝-logD
X
(F(y))，其中D
X
()为判别器D
X
得出的分类概率，D
Y
()为判别器D
Y
得出的分类概率，G()为由生成器生成的尽量服从真实数据x分布的样本，F()为原始图像与生成器样本间的变换关系。
[0036]优选地，所述高性能图像翻译模型的循环一致性损失函数为：
[0037]λ
cons
(G,F,x,y)＝||F(G(x))-x||1+||G(F(y))-y||1；
[0038]优化对抗损失和循环一致损失函数来训练模型，得到生成器总损失函数为：l
unpaired
(G,F,x,y)＝l
G
(G,D
Y
,x,y)+l
F
(G,D
Y
,y,x)+λl
cons
(G,F,x,y)，其中λ是超参数，控制两
种损失的比率。
[0039]由上述方案可知，本专利技术提供的一种基于半监督学习的多尺度图像翻译方法，与现有技术相比，其多尺度判别生成对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于半监督学习的多尺度图像翻译方法，其特征在于，具体步骤包括：基于多尺度生成对抗网络，根据成对数据监督训练模型；基于对偶学习的循环一致性和多尺度生成对抗网络的判别损失，根据非成对数据无监督训练模型，得到高性能图像翻译模型。2.根据权利要求1所述的一种基于半监督学习的多尺度图像翻译方法，其特征在于，所述基于多尺度生成对抗网络，根据成对数据监督训练模型的具体步骤包括：获取由成对图像组成的数据集{x
i
,y
i
}，其中x
i
∈X,y
i
∈Y，X和Y为两个相关联的图像域；根据成对图像数据同时监督训练对偶的两个卷积网络模型G和F，卷积网络模型G对应的判别器为D
X
，卷积网络模型F对应的判别器为D
Y
；基于最小化输出与目标的L1距离优化模型；基于对偶的两个卷积网络模型G和F，通过多尺度生成对抗网络的判别器得到生成器的输出与目标域相一致的模型。3.根据权利要求2所述的一种基于半监督学习的多尺度图像翻译方法，其特征在于，所述基于多尺度生成对抗网络的判别损失进行训练的具体步骤包括：通过多个判别器来判别不同尺度的图像，每个判别器D
i
的损失函数为其中x和y分别为数据集中成对的图像数据，G(x)为由生成器生成的尽量服从真实数据x分布的样本，D
i
(y)为判别器D
i
根据y得出的分类概率，D
i
(G(x))为判别器D
i
根据G(x)得出的分类概率；采用取平均值的方法来综合所有判别器损失函数的梯度，得到判别器总的损失函数生成器基于所有判别器损失函数的梯度对模型进行迭代，得到生成器D的损失函数为λ
D
(G,D,x,y)＝-∑logD
i
(G(x))+||G(x)-y||1；依据上述步骤交替训练判别器和生成器，得到多尺度生成对抗网络模型。4.根据权利要求3所述的一种基于半监督学习的多尺度图像翻译方法，其特征在于，所述基于对偶的两个卷积网络模型G和F，通过多尺度生成对抗网络训练得到其判别器的损失函数为函数为其生成器的损失函数为λ
G
(G,D
Y
,x,y)＝-logD
Y
(G(x))+||G(x)-y||1，λ
F
(F,D
X
,y,x)＝-logD
X
(F(y))+||F(y)-x||1，其中D
X
()为判别器D
X
得出的分类概率，D
Y
()为判别器D
Y
得出的分类概率，G()为由生成器生成的尽量服从真实数据x分布的样本，F()为原始图像与生成器...

【专利技术属性】
技术研发人员：冷勇，
申请(专利权)人：北京享云智汇科技有限公司，
类型：发明
国别省市：