一种基于文本-图像对抗网络模型的分解卷积方法技术

本发明专利技术公开了一种基于文本‑图像对抗网络模型的分解卷积方法，属于深度学习神经网络领域，包括以下步骤：S1、构造文本‑图像生成对抗网络模型；S2、利用深度卷积神经网络充当生成器、判别器的功能；S3、对文本进行编码之后随机噪声结合，输入至生成器中；S4、对在文本‑图像生成对抗网络的卷积核进行分解操作；S5、将分解卷积操作得到的损失函数输入生成器进行后续训练。本方法构建的基于分解卷积的文本‑图像对抗网络模型，改变了判别器、生成器接收图片后的卷积方式，让判别器、生成器能够学习到数据集图像中更加细节的特征，同时减少了参数量，从能够提高整个网络训练模型的效率。

【技术实现步骤摘要】
一种基于文本-图像对抗网络模型的分解卷积方法
本专利技术涉及深度学习神经网络
，具体涉及一种基于文本-图像对抗网络模型的分解卷积方法。
技术介绍
生成式对抗网络(GenerativeAdversarialNetwork,简称GAN)是由Goodfellow在2014年提出的深度学习框架，它基于“博奕论”的思想，构造生成器(generator)和判别器(discriminator)两种模型，前者通过输入(0，1)的均匀噪声或高斯随机噪声生成图像，后者对输入的图像进行判别，确定是来自数据集的图像还是由生成器产生的图像。在传统的对抗网络模型中，生成器、判别器对图像的特征进行提取时，往往采用的是较大的卷积核进行提取，在这种情况下产生的参数量较多，计算量也较大。在本专利技术中，将卷积过程中所使用的卷积核分解成多个较小的卷积层，减少了参数和计算量，同时能够在训练的过程中学习到图像的更多细节特征。另外，能使生成器能够生成符合文本描述的图像特征，使整个网络的训练更有针对性。
技术实现思路
本专利技术的目的是为了解决现有技术中的上述缺陷，构建了一种基于文本-图像对抗网络模型的分解卷积方法。本专利技术的目的可以通过采取如下技术方案达到：一种基于文本-图像对抗网络模型的分解卷积方法，所述的分解卷积方法包括下列步骤：S1、构造文本-图像生成对抗网络模型，生成器通过生成图像输入至判别器进行网络训练；S2、利用深度卷积神经网络充当生成器、判别器的功能；在本专利技术所涉及到的网络模型中，相对于传统的生成对抗网络模型，多了对于文本内容的编码操作，从而使整个网络能够生成符合文本描述内容的图像。S3、对文本进行编码之后随机噪声结合，输入至生成器中；S4、对在文本-图像生成对抗网络的卷积核进行分解操作；S5、将分解卷积操作得到的损失函数输入生成器进行后续训练。进一步地，所述的步骤S2中构造的神经网络包含多个卷积核，其中卷积核的个数根据数据集图像特征的复杂程度设置。进一步地，所述的步骤S4中对在文本-图像生成对抗网络的卷积核进行分解操作，具体过程如下：S41、将卷积核分解成多个较小的卷积核；S42、采用已构造的卷积核，分别对生成器生成的多张图像进行卷积，从而得到多张特征图。进一步地，所述的步骤S5中，将分解卷积操作得到的损失函数输入生成器进行后续训练，具体过程如下：S51、对S4中卷积之后的特征图，输入判别器进行判别；S52、将分解卷积操作得到的损失函数输入生成器进行后续训练。S53、将所有损失函数的均值输入至生成器中继续进行训练。本专利技术相对于现有技术具有如下的优点及效果：高效性：本专利技术根据分解卷积的操作过程，设置构造了多个分解卷积核，通过将大卷积核分解成多个小卷积核的方式，应用在以深度卷积神经网络充当生成器与判别器的对抗网络模型中，同时编码器输入文本，使生成器能够生成符合文本内容的图像，也提高了整个网络的训练效率。附图说明图1是本专利技术中基于分解卷积的文本-图像对抗网络模型训练流程图；图2是本专利技术中对卷积核进行分解操作的示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例本实施例公开了一种基于文本-图像对抗网络模型的分解卷积方法，具体包括下列步骤：步骤S1、构造文本-图像生成对抗网络模型，生成器通过生成图像输入至判别器进行网络训练。步骤S2、利用深度卷积神经网络充当生成器、判别器的功能；不同的卷积核，体现在矩阵数值的不同、行列数的不同。构造多个卷积核，在处理图像的过程中，不同的卷积核意味着能够在网络训练的过程中学习到生成图像的不同特征。在本专利技术所涉及到的网络模型中，相对于传统的生成对抗网络模型，多了对于文本内容的编码操作，从而使整个网络能够生成符合文本描述内容的图像。在传统的对抗网络模型中，生成器、判别器对图像的特征进行提取时，往往采用的是较大的卷积核进行提取，在这种情况下产生的参数量较多，计算量也较大。在本专利技术中，将卷积过程中所使用的卷积核分解成多个较小的卷积层，减少了参数和计算量，同时能够在训练的过程中学习到图像的更多细节特征。在实际应用中，应该根据数据集图像特征的复杂程度，设置卷积核的个数。步骤S3、对文本进行编码之后随机噪声结合，输入至生成器中。步骤S4、对在文本-图像生成对抗网络的卷积核进行分解操作。具体方法如下：S41、将卷积核分解成多个较小的卷积核；S42、采用已构造的卷积核，分别对生成器生成的多张图像进行卷积，从而得到多张特征图。步骤S5、将分解卷积操作得到的损失函数输入生成器进行后续训练。具体过程如下：S51、将多个分解的卷积层结果进行融合；S52、将分解卷积操作得到的损失函数输入生成器进行后续训练。损失函数的作用是衡量判别器对生成图像判断的能力。损失函数的值越小，说明在当前迭代中，判别器能够有较好的性能辨别生成器的生成图像；反之则说明判别器的性能较差。损失函数的表达式为：其中，D(x)表示判别器对图像的判别，pr表示数据集图像的分布，pg表示生成图像的分布，λ为超参数，为梯度。综上所述，本实施例公开了一种基于文本-图像对抗网络模型的分解卷积方法，相比于传统的原始对抗网络模型，改变了判别器接收图片后的对图像特征进行学习的方式。在传统的对抗网络模型中，生成器、判别器对图像的特征进行提取时，往往采用的是较大的卷积核进行提取，在这种情况下产生的参数量较多，计算量也较大。在本专利技术中，将卷积过程中所使用的卷积核分解成多个较小的卷积层，减少了参数量，提高了整个网络的训练效率。上述实施例为本专利技术较佳的实施方式，但本专利技术的实施方式并不受上述实施例的限制，其他的任何未背离本专利技术的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于文本‑图像对抗网络模型的分解卷积方法，其特征在于，所述的分解卷积方法包括下列步骤：S1、构造文本‑图像生成对抗网络模型；S2、利用深度卷积神经网络充当生成器、判别器的功能；S3、对文本进行编码之后随机噪声结合，输入至生成器中；S4、对在文本‑图像生成对抗网络的卷积核进行分解操作；S5、将分解卷积操作得到的损失函数输入生成器进行后续训练。

【技术特征摘要】
1.一种基于文本-图像对抗网络模型的分解卷积方法，其特征在于，所述的分解卷积方法包括下列步骤：S1、构造文本-图像生成对抗网络模型；S2、利用深度卷积神经网络充当生成器、判别器的功能；S3、对文本进行编码之后随机噪声结合，输入至生成器中；S4、对在文本-图像生成对抗网络的卷积核进行分解操作；S5、将分解卷积操作得到的损失函数输入生成器进行后续训练。2.根据权利要求1所述的一种基于文本-图像对抗网络模型的分解卷积方法，其特征在于，所述的步骤S2中构造的神经网络包含多个卷积核，其中卷积核的个数根据数据集图像特征的复杂程度设置。3.根据权利要求1所述的一种基于文本-图像对抗网络模型的分解卷积方法，其特征在于，所...

【专利技术属性】
技术研发人员：周智恒，李立军，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44