一种基于深度学习的双向图像转换系统及方法技术方案

本发明专利技术提供了一种基于深度学习的双向图像转换系统，包括：双向生成器：在双向生成器的正反两个方向上，可以分别进行一对图像域之间的图像转换任务，在双向生成器的任一个方向上，模型对输入的多通道图像数据，使用深度并行计算框架计算图像的目标转换图像；判别器：判别器对双向生成器得到的图像与真实图像进行质量评价，质量评价结果用于对双向生成器和判别器进行训练。同时提供了一种基于系统实现的双向图像转换方法。本发明专利技术提出了双向生成器结构，在不降低图像生成质量的前提下，极大的减少了深度学习模型的参数，并且有监督情况下可以实现在一个模型中同时进行两对图像转换任务。

【技术实现步骤摘要】
一种基于深度学习的双向图像转换系统及方法
本专利技术涉及图像转换
，具体地，涉及一种基于深度学习的双向图像转换系统及方法，该系统及方法基于最小均方误差重建，是一种对抗生成网络和深度并行计算框架的方法。
技术介绍
图像转换是指在两个图像域之间进行图像转换的任务，它将一张来自于图像A的图像按照一定的规则或者要求转换为一张属于图像B的图像。转换的结果可能是保持图像域A的内容不变，但是引入图像域B的特点，比如风格迁移任务，也可能是根据图像域A比较少的信息由神经网络生成包含更多信息(比如色彩信息)的图像域B的图像，比如着色(colorization)任务，还有可能改变图像域A的内容，使之适应图像域B的内容，比如(马和斑马之间的转换)。在配对数据集之间进行图像转换的任务上有很多成功的模型，其中Pix2Pix模型是比较成功的一种。Pix2Pix模型被提出来使用对抗生成网络(GAN)框架来处理此类任务。它可以被看作是一种条件对抗生成网络(CGAN)，条件就是生成器的输入图像(图像域A的样本)。Pix2Pix模型充分结合运用了DCGAN和CGAN的优点，可以实现高质量的生成结果。但是其训练过程需要成对的数据。这是因为在Pix2Pix模型的损失函数中有一项是生成图像和label图像的L1距离。如果模型使用的两个数据集是非配对的，那么就无法使用这项损失进行训练。CycleGAN模型被提出来解决不配对数据集之间的图像转换问题，解决的方法是通过引入循环一致性损失(cycleconsistency)来取代L1损失。假设两个翻译机f和g，f实现中文“我爱科学”到英文“Ilovescience”的翻译，g实现从英文“Ilovescience”到中文“我爱科学”的翻译。那么，可以认为两个翻译机是互为逆的关系。如果两个翻译机有足够好的性能，那么理论上，f和g应该满足f(g(Ilovescience))＝Ilovescience，这种性质成为循环一致性。CycleGAN模型用一对互为逆关系的生成器分别实现两个图像域(两个不配对数据集)之间的图像转换任务，这样可以让生成的图像在经过两个互逆的生成器后得到最初图像的重建，重建图像和输入图像之间可以使用L1损失。相应的模型也需要两个鉴别器分别判别生成器的生成质量。最小均方误差重建(Lmser)网络是一种经典的网络结构。它是通过将传统的自编码器(AE)沿中央隐藏层折叠在一起得到的，因为AE的编码器和解码器的对称结构，编码器的神经元会与解码器的神经元重合，编码器的权重也会与解码器的权重重合。在Lmser中，相邻层神经元之间的连接是一种分布式级联(distributedcascading)关系。在网络的训练过程中，相近两层之间会不断地双向的传递信息。在Lmser的众多属性中，有三个对偶性最为重要。即双向结构的对偶性(DBA)，连接权重的对偶性(DCW)和配对神经元(DPN)的对偶性。近年来Lmser在图像识别、医学图像分割和图片超分辨率等任务取得了不错的效果。但是，现有的图像转换技术，仍然存在模型参数量大、转换任务单一的问题，无法真正满足图像转换的需求。目前没有发现同本专利技术类似技术的说明或报道，也尚未收集到国内外类似的资料。
技术实现思路
针对现有技术中存在的上述不足，本专利技术的目的是提供一种基于深度学习的双向图像转换系统及方法，是一种基于最小均方误差重建，对抗生成网络和深度并行计算框架的双向图像转换的技术，可以采用一个双向生成器完成CycleGAN模型中两个单向生成器的图像转换任务，进一步地，还可以在一个双向生成器的两个方向上完成两对独立的图像转换任务。本专利技术是通过以下技术方案实现的。根据本专利技术的一个方面，提供了一种基于深度学习的双向图像转换系统，包括：双向生成器：在所述双向生成器的正反两个方向上，进行一对图像之间的图像转换任务；在其中任何一个方向上，均能够对输入的多通道图像数据，使用深度并行计算框架计算图像的目标转换图像；判别器：所述判别器对双向生成器得到的图像与真实图像进行质量评价，所述质量评价结果反馈至双向生成器对双向生成器进行训练。优选地，所述双向生成器，包括正反两个转换方向，每一个转换方向均包括：卷积层、残差网络和反卷积层；其中，正方向上用于卷积层和残差网络的卷积核，共享在反方向上的反卷积层和残差网络；两个转换方向上的第一层和最后一层没有共享卷积核。优选地，所述对双向生成器进行训练的过程中，更新机制采用的损失函数为对抗损失函数；其中：正方向和反方向的对抗损失函数分别为：LGAN(Gf，DB，A，B)＝logDB(y)+log(1-DB(Gf(x)))LGAN(Gb，DA，A，B)＝logDA(x)+log(1-DA(Gb(y)))其中，x和y表示分别来自于两个不同数据集A和B的图像，DA和DB代表两个判别器，Gf和Gb为一个双向发生模块的正、反方向，分别在向前和向后的方向运行。优选地，所述更新机制采用随机梯度下降的优化方法：其中，η是更新率，用于控制模型更新的幅度；是更新机制计算后对深度并行计算框架反馈的信息。优选地，所述图像的目标转换图像，通过以下方式得到：利用深度并行计算框架，将输入的多通道图像数据，经过15层的计算模块，使图像数据的大小先减小到64再恢复到256，使通道数量先增加到128，再减小恢复到最初的通道数，最后输出的图像转换结果即为目标转换图像。优选地，所述判别器进行质量评价的方法为：利用深度并行计算框架，经过5层的计算模块，将输入的图像的大小逐渐压缩到32，通道数量先增加到512，最后压缩到1，最后输出的结果作为判别器对输入图像质量评价的结果。根据本专利技术的另一个方面，提供了一种基于深度学习的双向图像转换方法，包括：在双向生成器的正反两个方向上，进行一对图像之间的图像转换任务；在其中任何一个方向上，均能够对输入的多通道图像数据，使用深度并行计算框架计算图像的目标转换图像；判别器对双向生成器得到的图像与真实图像进行质量评价。优选地，还包括：将判别器的质量评价结果反馈至双向生成器对双向生成器进行训练。优选地，所述训练的过程中，更新机制采用的损失函数为对抗损失函数；其中：正方向和反方向的对抗损失函数分别为：LGAN(Gf，DB，A，B)＝logDB(y)+log(1-DB(Gf(x)))LGAN(Gb，DA，A，B)＝logDA(x)+log(1-DA(Gb(y)))其中，x和y表示分别来自于两个不同数据集A和B的图像，DA和DB代表两个判别器，Gf和Gb为一个双向发生模块的正、反方向，分别在向前和向后的方向运行。优选地，所述更新机制采用随机梯度下降的优化方法：其中，η是更新率，用于控制模型更新的幅度；是更新机制计算后对深度并行计算框架反馈的信息。优选地，所述图像的目标转换图像，通过以下方式得到：利用深度并行计算框架，将输入的多通道图本文档来自技高网...

【技术保护点】
1.一种基于深度学习的双向图像转换系统，其特征在于，包括：/n双向生成器：在所述双向生成器的正反两个方向上，进行一对图像之间的图像转换任务；在其中任何一个方向上，均能够对输入的多通道图像数据，使用深度并行计算框架计算图像的目标转换图像；/n判别器：所述判别器对双向生成器得到的图像与真实图像进行质量评价，所述质量评价结果反馈至双向生成器对双向生成器进行训练。/n

【技术特征摘要】
1.一种基于深度学习的双向图像转换系统，其特征在于，包括：
双向生成器：在所述双向生成器的正反两个方向上，进行一对图像之间的图像转换任务；在其中任何一个方向上，均能够对输入的多通道图像数据，使用深度并行计算框架计算图像的目标转换图像；
判别器：所述判别器对双向生成器得到的图像与真实图像进行质量评价，所述质量评价结果反馈至双向生成器对双向生成器进行训练。


2.根据权利要求1所述的基于深度学习的双向图像转换系统，其特征在于，所述双向生成器，包括正反两个转换方向，每一个转换方向均包括：卷积层、残差网络和反卷积层；其中，正方向上用于卷积层和残差网络的卷积核，共享在反方向上的反卷积层和残差网络；两个转换方向上的第一层和最后一层没有共享卷积核。


3.根据权利要求1所述的基于深度学习的双向图像转换系统，其特征在于，所述对双向生成器进行训练的过程中，更新机制采用的损失函数为对抗损失函数；其中：正方向和反方向的对抗损失函数分别为：
LGAN(Gf,DB,A,B)＝logDB(y)+log(1-DB(Gf(x)))
LGAN(Gb,DA,A,B)＝logDA(x)+log(1-DA(Gb(y)))
其中，x和y表示分别来自于两个不同数据集A和B的图像，DA和DB代表两个判别器，Gf和Gb为一个双向发生模块的正、反方向，分别在向前和向后的方向运行。


4.根据权利要求3所述的基于深度学习的双向图像转换系统，其特征在于，所述更新机制采用随机梯度下降的优化方法：



其中，η是更新率，用于控制模型更新的幅度；是更新机制计算后对深度并行计算框架反馈的信息。


5.根据权利要求1所述的一种基于深度学习的双向图像转换系统，其特征在于，所述图像的目标转换图像，通过以下方式得到：
利用深度并行计算框架，将输入的多通道图像数据，经过15层的计算模块，使图像数据的大小先减小到64再恢复到256，使通道数量先增加到128，再减小恢复到最初的通道数，最后输出的图像转换结果即为目标转换图像。


6.根据权利要求1所述的一种基于深度学习的双向图像转换系统，其特征在于，所述判别器...

【专利技术属性】
技术研发人员：杨浩特，涂仕奎，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31