一种基于条件GAN的图像合成装置及方法制造方法及图纸

本发明专利技术公开了一种基于条件GAN的图像合成装置及方法，包括以下单元：数据获取单元；数据预处理单元，进行数据归一化，数据划分和条件标签制作；条件生成器单元，通过条件映射和条件解码将条件标签映射到图像的合成过程中，输出与输入条件标签对应的合成图像；条件鉴别器单元，通过条件映射和条件编码将条件标签映射到编码过程，鉴别合成图像与真实图像；模型优化器单元，通过目标损失函数的反向传播计算条件生成器单元和条件鉴别器单元的参数梯度，并通过生成器梯度调整子单元对条件生成器单元内的参数梯度进行约束，实现条件生成器单元与条件鉴别器单元之间稳定的生成对抗训练。条件鉴别器单元之间稳定的生成对抗训练。条件鉴别器单元之间稳定的生成对抗训练。

【技术实现步骤摘要】
一种基于条件GAN的图像合成装置及方法


[0001]本专利技术涉及图像应用领域，尤其涉及一种基于条件GAN的图像合成装置及方法。

技术介绍

[0002]条件GAN网络是一种采用先验条件分布加以干预的生成对抗网络，包括生成器和鉴别器两个部分。在训练过程中将先验条件按一定规则施加到生成器和鉴别器中，从而达到控制生成器生成的目的。条件GAN网络已经被广泛应用于图像合成任务中，目前已有的条件GAN网络一般采用条件与输入或者中间特征图拼接融合的方式进行控制，这种控制方式存在控制不连续，条件标签中各属性解耦困难的缺点。此外，在条件GAN网络的训练过程中，往往存在由鉴别器传导至生成器的梯度不稳定的情况，从而导致生成对抗训练的失败。

技术实现思路

[0003]本专利技术的目的是提供一种基于条件GAN的图像合成装置及方法，能够提高条件GAN网络训练稳定性。
[0004]为实现以上专利技术目的，而采用的技术手段是：
[0005]一种基于条件GAN的图像合成装置，所述装置包括：
[0006]数据获取单元，用于获取图像数据集，并将所述图像数据集送入数据预处理单元；
[0007]数据预处理单元，用于对数据获取单元所获取的图像数据进行预处理，预处理过程包括统一图像尺寸，采用线性变换方法将图像像素值的范围规范到
‑
1到1之间，将图像数据集划分为训练集、验证集和测试集，制作每一图像所对应的条件标签；
[0008]条件生成器单元，用于利用卷积神经网络并根据输入的条件标签对输入条件生成器单元的图像进行编码和条件解码，输出合成图像I
s
，使合成图像I
s
具有条件标签c
′
所代表的风格特征和输入图像的形状特征；
[0009]条件鉴别器单元，用于利用卷积神经网络并根据输入的条件标签对条件生成器单元输出的合成图像I
s
和真实图像I
r
分别进行条件编码，输出两个分别反映条件生成器单元输出的合成图像I
s
和真实图像I
r
真假程度的鉴别器反馈值；
[0010]模型优化器单元，用于计算目标损失函数，并根据损失函数的反向传播计算条件生成器单元和条件鉴别器单元的梯度，对条件生成器单元输出的合成图像I
s
的梯度幅值进行调整，根据计算出的参数梯度对条件生成器单元和条件鉴别器单元的参数进行更新；
[0011]优选的，所述数据预处理单元中的统一图像尺寸利用裁剪和填充的方法将图像的尺寸进行统一；所述数据预处理单元中的线性变换方法通过乘以常数k和加常数b，将图像像素值的范围变换到
‑
1到1之间；
[0012]优选的，所述数据预处理单元中的数据划分将数据按6:2:2的比例划分为训练集，验证集和测试集；
[0013]优选的，所述数据预处理单元中的条件标签制作是根据每一个图像样本的属性定义其标签；条件标签是由“0”、“1”组成的一维数据，条件标签的每一位代表一种属性；
[0014]优选的，所述的条件生成器单元具体包括：
[0015]图像编码单元，用于对输入条件生成器单元的图像进行下采样编码，并将其转换为隐空间里的中间特征x1；
[0016]条件映射单元，用于将条件标签c
a
映射为由浮点数组成的条件向量v
a
；
[0017]条件解码单元，用于对中间特征x1进行解码，并将条件向量v
a
嵌入解码过程，输出中间特征x2；
[0018]串联解码单元，用于利用一个或更多个串联的条件解码单元对中间特征x2进行解码，最后解码得到与输入条件生成器单元的图像大小一致的输出图像；
[0019]图像输出单元，用于利用卷积进行加权求和，输出合成图像I
s
；
[0020]优选的，所述图像编码单元采用多个卷积单元提取图像特征，并通过步长为2的卷积进行下采样，每个卷积过程之后跟随一个实例标准化单元和非线性的Relu神经元激活函数。
[0021]优选的，所述的条件解码单元具体包括：
[0022]反卷积解码单元，用于利用反卷积对中间特征x1进行解码变换，输出尺寸为中间特征x1两倍的中间特征x
12
；
[0023]特征提取单元，用于对中间特征x
12
进行插值降采样，再从降采样后的结果中利用可学习的参数矩阵提取特征因子，得到一个代表中间特征x
12
的特征因子向量v
e
；
[0024]条件嵌入单元，包括融合转换单元和变换单元；融合转换单元用于将条件向量v
a
和特征因子向量v
e
进行拼接，通过可训练参数对拼接后的向量进行转换获得变换向量v
Tr
；变换单元用于利用变换向量v
Tr
与中间特征x
12
的点乘并经过非线性的Relu神经元激活函数输出中间特征x2；所述的变换向量v
Tr
的维度与中间特征x
12
的通道数量相同；所述的变换向量v
Tr
与中间特征x
12
的点乘为变换向量v
Tr
每一维的数值与中间特征x
12
每一通道的乘积过程。；
[0025]优选的，所述的条件鉴别器单元具体包括：
[0026]条件映射单元，用于分别将条件生成器单元的输出的合成图像I
s
对应的条件标签c
′
和真实图像I
r
对应的条件标签c映射为条件向量v
g
和v
r
；
[0027]条件编码单元，用于将条件向量v
g
和条件向量v
r
分别嵌入条件生成器单元的输出的合成图像I
s
和真实图像I
r
的编码过程，分别输出编码特征；
[0028]串联编码单元，用于利用一个或更多个串联的条件编码单元对编码特征进行连续编码；
[0029]反馈值输出单元，用于利用卷积进行加权求和并输出分别反映条件生成器单元输出的合成图像I
s
和真实图像I
r
真假程度的鉴别器反馈值；
[0030]优选的，所述的条件编码单元具体包括：
[0031]卷积单元，用于对条件编码单元的输入进行卷积变换；实例标准化单元，用于将卷积单元的输出的每一通道特征图的均值和方差变换为0和1；特征提取单元，用于对卷积单元的输出进行插值降采样并提取得到特征因子向量；条件嵌入单元，用于利用特征因子向量与条件向量对实例标准化单元的输出进行变换得到条件编码后的输出；
[0032]优选的，所述的模型优化器单元具体包括：
[0033]损失函数计算单元，用于计算条件生成器单元和条件鉴别器单元在训练过程中的
目标损失函数；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于条件GAN的图像合成装置，其特征在于，包括：数据获取单元，用于获取图像数据集，并将所述图像数据集送入数据预处理单元；数据预处理单元，用于对数据获取单元所获取的图像数据进行预处理，预处理过程包括将图像像素值的范围规范到
‑
1到1之间，将图像数据集划分为训练集、验证集和测试集，制作每一图像所对应的条件标签；条件生成器单元，用于利用卷积神经网络并根据输入的条件标签对输入条件生成器单元的图像进行编码和条件解码，输出合成图像I
s
，使合成图像I
s
具有条件标签c
′
所代表的风格特征和输入图像的形状特征；条件鉴别器单元，用于利用卷积神经网络并根据输入的条件标签对条件生成器单元输出的合成图像I
s
和真实图像I
r
分别进行条件编码，输出两个分别反映条件生成器单元输出的合成图像I
s
和真实图像I
r
真假程度的鉴别器反馈值；模型优化器单元，用于计算目标损失函数，根据损失函数的反向传播计算条件生成器单元和条件鉴别器单元内的参数梯度，并对条件生成器单元输出的合成图像I
s
的梯度幅值进行调整，最后根据计算出的参数梯度对条件生成器单元和条件鉴别器单元的参数进行更新。2.根据权利要求1所述的基于条件GAN的图像合成装置，其特征在于，所述数据预处理单元中的条件标签是由“0”、“1”组成的一维数据，代表图像的内容属性。3.根据权利要求1所述的基于条件GAN的图像合成装置，其特征在于，所述条件生成器单元具体包括：图像编码单元，用于对输入条件生成器单元的图像进行下采样编码，并将其转换为隐空间里的中间特征x1；条件映射单元，用于将条件标签c
′
映射为由浮点数组成的条件向量v
a
；条件解码单元，用于对中间特征x1进行解码，并将条件向量v
a
嵌入解码过程，输出中间特征x2；串联解码单元，用于利用一个或更多个串联的条件解码单元对中间特征x2进行解码，最后解码得到与输入条件生成器单元的图像大小一致的输出图像；图像输出单元，用于利用卷积进行加权求和，输出合成图像I
s
。4.根据权利要求3所述的基于条件GAN的图像合成装置，其特征在于，所述条件解码单元具体包括：反卷积解码单元，用于利用反卷积对中间特征x1进行解码变换，输出尺寸为中间特征x1两倍的中间特征x
12
；特征提取单元，用于对中间特征x
12
进行插值降采样，再从降采样后的结果中利用可学习的参数矩阵提取特征因子，得到一个代表中间特征x
12
的特征因子向量v
e
；条件嵌入单元，包括融合转换单元和变换单元；融合转换单元用于将条件向量v
a
和特征因子向量v
e
进行拼接，通过可训练参数对拼接后的向量进行转换获得变换向量v
Tr
；变换单元用于利用变换向量v
Tr
与中间特征x
12
的点乘并经过非线性的Relu神经元激活函数输出中间特征x2；所述的变换向量v
Tr
的维度与中间特征x
12
的通道数量相同；所述的变换向量v
Tr
与中间特征x
12
的点乘为变换向量v
Tr
每一维的数值与中间特征x
12
每一通道的乘积过程。5.根据权利要求1所述的基于条件GAN的图像合成装置，其特征在于，所述条件鉴别器
单元具体包括：条件映射单元，用于分别将条件生成器单元的输出的合成图像I
s
对应的条件标签c
′
和真实图像I
r
对应的条件标签c映射为条件向量v
g
和v
r
；条件编码单元，用于将条件向量v
g
和条件向量v
r
分别嵌入条件生成器单元的输出的合成图像I
s
和真实图像I
r
的编码过程，分别输出编码特征；串联编码单元，用于利用一个或更多个串联的条件编码单元对编码特征进行连续编码；反馈值输出单元，用于利用卷积进行加权求和并输出分别反映条件生成器单元输出的合成图像I
s
和真实图像I
r
真假程度的鉴别器反馈值。6.根据权利要求5所述的基于条件GAN的图像合成装置，其特征在于，所述条件编码单元具体包括：卷积单元，用于对条件编码单元的输入进行卷积变换；实例标准化单元，用于将卷积单元的输出的每一通道特征图的均值和方差变换为0和1；特征提取单元，用于对卷积单元的输出进行插值降采样并提取得到特征因子向量；条件嵌入单元，用于利用特征因子向量与条件向量对实例标准化单元的输出进行变换得到条件编码后的输出。7.根据权利要求1所述的基于条件GAN的图像合成装置，其特征在于，所述模型优化器单元具体包括：损失函数计算单元，用于计算条件生成器单元和条件鉴别器单元在训练过程中的目标损失函数；鉴别器梯度计算单元，用于利用生成对抗损失的反向传播计算条件鉴别器单元内的参数的梯度；生成器梯度调整单元，用于对生成对抗损失在反向传播过程中产生于生成器合成图像I
s
的梯度和循环一致损失产生于I
s
的梯度进行幅值调整使条件生成器单元的训练...

【专利技术属性】
技术研发人员：陈春晓，陈志颖，吴泽静，徐俊琪，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：