基于双判别器加权混合生成对抗网络的手写数字生成方法技术

本发明专利技术公开了一种基于双判别器加权混合生成对抗网络的手写数字生成方法，包括步骤：一、获取目标用户的真实手写数字图像；二、将目标用户的真实手写数字图像输入预先训练好的双判别器加权混合生成对抗网络中；步骤三、所述双判别器加权混合生成对抗网络对目标用户的真实手写数字图像进行处理，得到手写数字数据。本发明专利技术结合了多生成器和双鉴别器的优点，重建目标函数，设计模型结构，从网络模型结构和损失函数角度避免梯度消失的现象出现；结合正向KL散度和反向KL散度的优势，使生成的模式多样化，改善了GAN所出现的模式崩溃问题。改善了GAN所出现的模式崩溃问题。改善了GAN所出现的模式崩溃问题。

Handwritten numeral generation method based on dual discriminator weighted hybrid generation countermeasure network

【技术实现步骤摘要】
基于双判别器加权混合生成对抗网络的手写数字生成方法


[0001]本专利技术属于手写数字生成方法
，具体涉及一种基于双判别器加 权混合生成对抗网络的手写数字生成方法。

技术介绍

[0002]生成对抗网络(Generative Adversarial Networks，GAN)是近几年发 展起来的一种对抗性学习方法。GAN由一个生成器G和一个判别器D构成， 采用博弈论的思想，二者互相博弈，其目标是在具有高维参数的连续非凸问 题中找到纳什均衡(Nash equilibrium)。GAN被证明可以生成逼真的图像， 在数据增强、图像补全方面很有帮助，主要应用在图像超分辨率重建、迁移 学习、图像修复等领域。
[0003]但在给定一个最优的判别器时，生成器的损失函数等价于最小化真实数 据P
data
(x)与生成样本P
G
(z)之间的JS散度(Jensen
‑
Shannon)JS(P
data
||P
G
)。在高 维空间中两个分布很难相交，即使相交，其相交部分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双判别器加权混合生成对抗网络的手写数字生成方法，其特征在于，该方法包括以下步骤：步骤一、获取目标用户的真实手写数字图像；步骤二、将目标用户的真实手写数字图像输入预先训练好的双判别器加权混合生成对抗网络中；其中，所述双判别器加权混合生成对抗网络的训练过程为：步骤201、采用MNIST数据集作为训练样本；步骤202、搭建双判别器加权混合生成对抗网络模型；所述双判别器加权混合生成对抗网络模型包括并列设置的生成器G1～G
10
，以及并列连接在生成器G1～G
10
输出端的判别器D1、判别器D2和分类器C；步骤203、建立生成器、判别器和分类器的损失函数；步骤204、采用训练样本和损失函数，并通过反向传播对双判别器加权混合生成对抗网络模型进行训练，得到训练好的双判别器加权混合生成对抗网络；步骤三、所述双判别器加权混合生成对抗网络对目标用户的真实手写数字图像进行处理，得到手写数字数据。2.按照权利要求1所述的基于双判别器加权混合生成对抗网络的手写数字生成方法，其特征在于：步骤二中所述双判别器加权混合生成对抗网络的训练过程还包括步骤205、对训练好的双判别器加权混合生成对抗网络进行理论分析验证，验证在最优判别器下，通过最小化生成数据与真实数据之间的KL散度和反向KL散度，生成器生成真实的手写数字数据。3.按照权利要求1或2所述的基于双判别器加权混合生成对抗网络的手写数字生成方法，其特征在于：步骤202中所述搭建双判别器加权混合生成对抗网络模型时，所述生成器的目标函数为：其中，T(G
k
)为生成器G
k
的目标函数，k的取值为1～10的自然数，x'
(i)
为从当前生成器形成的分布中采样得到的第i个生成样本，i的取值为1～m的自然数，m为当前生成器形成的分布中生成样本的总数量，D1(x'
(i)
)为当输入为x'
(i)
时判别器D1的输出，D2(x'
(i)
)为当输入为x'
(i)
时判别器D2的输出，ρ为D1(x'
(i)
)的权值参数且ρ的取值范围为0≤ρ≤1，ω为logD2(x'
(i)
)的权值参数且ω的取值范围为0≤ω≤1，ρ+ω＝1，β为多样性超参数，为x'
(i)
由第u
i
个生成器生成的概率，u
i
为生成器的编号；所述判别器D1的目标函数为：其中，T(D1)为判别器D1的目标函数，x
(i)
为从真实数据分布P
data
中采样出的第i个样本，i的取值为1～m的自然数；D1(x
(i)
)为当输入为x
(i)
时判别器D1的输出；所述判别器D2的输入输出表达关系式为：
其中，T(D2)为判别器D2的目标函数，D2(x
(i)
)为当输入为x
(i)
时判别器D2的输出；所述分类器C的目标函数为：其中，T(C)为分类器C的目标函数。4.按照权利要求1或2所述的基于双判别器加权混合生成对抗网络的手写数字生成方法，其特征在于：步骤203中建立的所述生成器的损失函数为：其中，为当x服从多生成器形成的分布p
model
时[*]的数学期望，x为服从多生成器形成的分布p
model
的样本，D1(x)为当输入为x时判别器D1的输出，D2(x)为当输入为x时判别器D2的输出，π
k
为混合概率系数，为当x服从生成器G
k
分布时[*]的数学期望，C
k
(x)为x由生成器G
k
生成的概率；步骤203中建立的所述判别器的损失函数为：Loss_D＝Loss_D1+Loss_D2ꢀꢀꢀꢀꢀꢀꢀ
(F6)其中，Loss_D1为判别器D1的损失函数且为：其中，Loss_D2为判别器D2的损失函数且为：的损失函数且为：为当x服从真实数据分布P
data
时[*]的数学期望；步骤203中建立的所述分类器的损失函数为：5.按照权利要求1或2所述的基于双判别器加权混合生成对抗网络的手写数字生成方法，其特征在于：步骤204中所述采用训练样本和损失函数，并通过反向传播对双判别器加权混合生成对抗网络模型进行训练，得到训练好的双判别器加权混合生成对抗网络的具体过程为：步骤2041、对生成器G1～G
k
、判别器D1、判别器D2和分类器C进行初始化；步骤2042、训练分类器C、判别器D1和判别器D2，具体过程为：步骤20421、从MNIST数据集中采样得到m个样本，表示为{x
(1)
、x
(2)
、...、x
(m)
}；步骤20422、从当前生成器G1～G
k
形成的分布中采样得到m个样本，表示为{x
′
(1)
、x
′
(2)
、...、x
′
(m)
}，并记录其来自的生成器的编号{u1，u2，...，u
m
}；步骤20423、计算分类器C的损失函数；步骤20424、计算判别器D1的损失函数；步骤20425、计算判别器D2的损失函数；
步骤20426、通过Adam优化器反向传播更新判别器D1的参数来最大化判别器D1的损失函数，使判别器D1最优；步骤20427、通过Adam优化器反向传播更新判别器D2的参数来最大化判别器D2的损失函数，使判别器D2最优；步骤20428、通过Adam优化器反向传播更新判别器C的参数来最小化分类器C的损失函数，使分类器C最优；步骤2043、训练生成器G1～G
k
，具体过程为：步骤20431、从当前生成器G1～G
k
形成的分布中采样得到m个样本，表示为{x
′
(1)
、x
′
(2)
、...、x
′
(m)
}，并记录其来自的生成器的编号{u1，u2，...，u
m
}；步骤20432、计算生成器的损失函数；步骤20433、通过Adam优化器反向传播更新生成器的参数来最小化生成器...

【专利技术属性】
技术研发人员：刘宝，王良，宋美玉，翟晓航，张金玉，
申请(专利权)人：陕西中一时代科技有限公司，
类型：发明
国别省市：