一种生成式对抗网络模型的图像融合方法和判别器技术

本发明专利技术实施例提供了一种生成式对抗网络模型的图像融合方法和判别器，其中，该方法包括：S1：获取到生成器生成的图像；S2：对所述图像进行分解得到颜色通道；S3：在通过预置卷积核对所述颜色通道进行单层卷积得到特征图后，对所述特征图进行融合得到融合后的所述图像；S4：循环执行S2和S3直至卷积次数等于预置次数。本发明专利技术在每一层卷积结束之后，都对图像各个颜色通道的特征图进行融合，再进行后续训练。在这种情况下，整个网络的鲁棒性得到了进一步增强。本发明专利技术实施例提供了一种生成式对抗网络模型。

【技术实现步骤摘要】
一种生成式对抗网络模型的图像融合方法和判别器
本专利技术涉及生成式对抗网络领域，尤其涉及一种生成式对抗网络模型的图像融合方法。
技术介绍
生成式对抗网络(GenerativeAdversarialNetwork，GAN)是由Goodfellow在2014年提出的深度学习框架，它基于“博弈论”的思想，构造生成器(generator)和判别器(discriminator)两种模型，前者通过输入(0，1)的均匀噪声或高斯随机噪声生成图像，后者对输入的图像进行判别，确定是来自数据集的图像还是由生成器产生的图像。在传统的网络模型中，判别器对生成器生成的图像进行多层卷积后，得到图像的特征图，再对特征图进行融合得到融合后的图像并将图像用于后续对整个模型的训练，这种训练过程会导致整个网络模型的泛化能力和鲁棒性低下。
技术实现思路
本专利技术实施例提供了一种生成式对抗网络模型的图像融合方法和判别器，解决了当前对生成式对抗网络训练过程存在缺陷，导致整个网络模型的泛化能力和鲁棒性低下的技术问题。本专利技术实施例提供了一种生成式对抗网络模型的图像融合方法，包括S1：获取到生成器生成的图像；S2：对所述图像进行分解得到颜色通道；S3：在通过预置卷积核对所述颜色通道进行单层卷积得到特征图后，对所述特征图进行融合得到融合后的所述图像；S4：循环执行S2和S3直至卷积次数等于预置次数。优选地，S4之后还包括：S5：确定与最后一次卷积操作对应的所述图像为最终图像，根据所述最终图像生成损失函数，并将所述损失函数发送至所述生成器；其中，所述损失函数为：式中，D(x)为判别器对生成器生成的图像的判别结果，pr表示预置数据集图像的分布，pg表示最终图像的分布，λ为超参数，为梯度。优选地，步骤S1具体为：获取到生成器根据文本和噪声生成的图像。优选地，所述文本为编码后的文本，所述噪声为随机噪声。优选地，本专利技术实施例提供了一种生成式对抗网络模型的判别器，包括：获取模块，用于获取到生成器生成的图像；分解模块，用于对所述图像进行分解得到颜色通道；卷积模块，用于在通过预置卷积核对所述颜色通道进行单层卷积得到特征图后，对所述特征图进行融合得到融合后的所述图像；循环模块，用于循环触发分解模块和卷积模块直至卷积次数等于预置次数。优选地，所述判别器还包括：反馈模块，用于确定与最后一次卷积操作对应的所述图像为最终图像，根据所述最终图像生成损失函数，并将所述损失函数发送至所述生成器；其中，所述损失函数为：式中，D(x)为判别器对生成器生成的图像的判别结果，pr表示预置数据集图像的分布，pg表示最终图像的分布，λ为超参数，为梯度。优选地，所述获取模块还用于获取到生成器根据文本和噪声生成的图像。优选地，所述文本为编码后的文本，所述噪声为随机噪声。优选地，本专利技术实施例还提供了一种生成式对抗网络模型，包括：生成器和如以上所述的判别器。优选地，所述生成器和所述判别器由深度卷积神经网络构建。从以上技术方案可以看出，本专利技术实施例具有以下优点：本专利技术实施例提供了一种生成式对抗网络模型的图像融合方法和判别器，其中，该方法包括：S1：获取到生成器生成的图像；S2：对所述图像进行分解得到颜色通道；S3：在通过预置卷积核对所述颜色通道进行单层卷积得到特征图后，对所述特征图进行融合得到融合后的所述图像；S4：循环执行S2和S3直至卷积次数等于预置次数。本专利技术在每一层卷积结束之后，都对图像各个颜色通道的特征图进行融合，再进行后续训练。在这种情况下，整个网络的鲁棒性得到了进一步增强。更进一步地，利用文本编码器与噪声相结合的方式，使得网络能够生成与文本内容相符合的图像。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。图1为本专利技术实施例提供的一种生成式对抗网络模型的图像融合方法的一个实施例的流程示意图；图2为本专利技术实施例提供的一种生成式对抗网络模型的判别器的一个实施例的结构示意图。具体实施方式本专利技术实施例提供了一种生成式对抗网络模型的图像融合方法和判别器，解决了当前对生成式对抗网络训练过程存在缺陷，导致整个网络模型的泛化能力和鲁棒性低下的技术问题。为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本专利技术一部分实施例，而非全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。请参阅图1，本专利技术提供的一种生成式对抗网络模型的图像融合方法的一个实施例，包括：101、获取到生成器根据文本和噪声生成的图像；在本实施例中，生成器根据对其输入的文本和噪声生成相应的图像。预先通过对将要输入的文件进行编码操作，可以使整个生成式对抗网络能够生成符合文本描述内容的图像。在对文件进行编码操作后，将文件结合随机噪声输入生成器，该生成器将生成对应的图像，然后判别器可以获取到该图像并进行后续操作。需要说明的是，判别器获取该图像的方式可以是生成器向判别器发送的方式也可以是网络使用者向判别器输入该图像的方式，此处不做具体的限定。102、对图像进行分解得到颜色通道；判别器在获取到生成器生成的图像后，将该图像进行分解得到多个颜色通道。多个颜色通道指不同颜色通道，如红、黄、蓝三个颜色通道，实际一个图像远远不止三个颜色通道。103、在通过预置卷积核对颜色通道进行单层卷积得到特征图后，对特征图进行融合得到融合后的图像；判别器在得到颜色通道后，可以通过预置卷积核对颜色通道进行单层卷积得到特征图。需要说明的是，预置卷积核是通过预先构造的多个卷积核，不同的卷积核，代表着在学习的过程中，能够学习到不同的图像特征。不同的颜色通道使用不同卷积核，不同的卷积核体现在尺寸、数值上。事实上，哪条通道对应哪种卷积核，并没有硬性规定，可根据实际情况决定，只要各个通道对应的卷积核是不同的即可。例如，红色通道对应3*3卷积核，黄色通道对应4*4卷积核，蓝色通道对应5*5卷积核等。在生成式对抗网络的传统卷积方式中，对图像进行多层卷积后才进行融合，本专利技术的判别器在对图像每进行一层卷积后，则对得到的特征图进行融合，再对融合后的图像再次进行分解、单层卷积和融合，反复执行这些操作，在每层卷积并融合得到的图像均不同于上一次得到的图像，因为每一次卷积并融合后得到的图像的特征与上一次得到的图像的特征不同。104、循环执行102和103直至卷积次数等于预置次数；循环执行步骤102和步骤103直至卷积次数等于预先设定的次数，可以理解的是，该预置次数即为判别器中的卷积层数，可以在构造判别器时进行设定。105、确定与最后一次卷积操作对应的图像为最终图像，根据最终图像生成损失函数，并将损失函数发送至生成器；将与判别器最后一次卷积操作对应的图像确定为最终图像，需要说明的是，在判别器对生成器生成的图像进行分解前，会根据预置数据集图像对该图像进行判别，得到判别结果，然后才对该图像进行分解即步骤102。本文档来自技高网...

【技术保护点】
一种生成式对抗网络模型的图像融合方法，其特征在于，包括：S1：获取到生成器生成的图像；S2：对所述图像进行分解得到颜色通道；S3：在通过预置卷积核对所述颜色通道进行单层卷积得到特征图后，对所述特征图进行融合得到融合后的所述图像；S4：循环执行S2和S3直至卷积次数等于预置次数。

【技术特征摘要】
1.一种生成式对抗网络模型的图像融合方法，其特征在于，包括：S1：获取到生成器生成的图像；S2：对所述图像进行分解得到颜色通道；S3：在通过预置卷积核对所述颜色通道进行单层卷积得到特征图后，对所述特征图进行融合得到融合后的所述图像；S4：循环执行S2和S3直至卷积次数等于预置次数。2.根据权利要求1所述的生成式对抗网络模型的图像融合方法，其特征在于，S4之后还包括：S5：确定与最后一次卷积操作对应的所述图像为最终图像，根据所述最终图像生成损失函数，并将所述损失函数发送至所述生成器；其中，所述损失函数为：式中，D(x)为判别器对生成器生成的图像的判别结果，pr表示预置数据集图像的分布，pg表示最终图像的分布，λ为超参数，为梯度。3.根据权利要求1所述的生成式对抗网络模型的图像融合方法，其特征在于，步骤S1具体为：获取到生成器根据文本和噪声生成的图像。4.根据权利要求3所述的生成式对抗网络模型的图像融合方法，其特征在于，所述文本为编码后的文本，所述噪声为随机噪声。5.一种生成式对抗网络模型的判别器，其特征在于，包括：获取模块，用于获取到生...

【专利技术属性】
技术研发人员：朱湘军，李立军，李利苹，彭永坚，汪壮雄，周智恒，胥静，
申请(专利权)人：广州视声智能科技有限公司，广州视声智能股份有限公司，华南理工大学，
类型：发明
国别省市：广东,44