一种基于对比学习和生成对抗网络的图像生成方法技术

该发明专利技术公开了一种基于对比学习和生成对抗网络的图像生成方法，属于计算机视觉领域。该方法首先选择使用生成对抗网络作为基本框架，训练生成对抗网络时，需要分别为判别器和生成器的查询对象构造正负样本，目的是利用判别器将图像映射到表示空间中，使得判别器能在自监督下学习到图像的合理表示，并能减少引入额外的模型参数，而生成器则能在自监督下将相似的输入随机向量映射为相似的图像，而将不相似的随机向量映射为不同的图像，从而提升生成图像的多样性。在训练好生成对抗网络后，通过往生成器中输入噪声即可生成图像。通过上述方法，本发明专利技术充分利用了对比学习和生成对抗网络的优势，提高了现有生成方法的生成图像多样性。性。性。

【技术实现步骤摘要】
一种基于对比学习和生成对抗网络的图像生成方法


[0001]本专利技术属于计算机视觉领域，主要涉及提升图像生成多样性的问题；主要应用于影视娱乐产业，人机交互以及机器视觉理解等方面。

技术介绍

[0002]目前，影视娱乐，计算机视觉理解等领域，对图像生成的需求越来越大。例如：在角色扮演游戏中，玩家可以根据喜好控制参数生成人物头像；在早期教育中，可以根据文本生成匹配的图像，利用图像引导幼儿认识世界的多彩多样。常见的图像生成模型包括自回归模型、变分自动编码器、生成对抗网络(GAN,Generative Adversarial Networks)、流模型。其中生成对抗网络由于具有计算量小，生成图像质量高，模型构造简单等优点，被广泛应用到图像生成中。近年来，针对生成对抗网络的模型改进主要集中在结构改进和损失函数改进两个方面。
[0003]对生成对抗网络结构改进的方法十分多，主要目的是为了提高生成对抗网络的模型能力，例如SAGAN，它在模型中引入了自注意力模块，使得模型能兼顾模拟远距离依赖、效率和计算量这三个方面，提升了模型的生成能力，但这类对模型结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习和生成对抗网络的图像生成方法，该方法包括：步骤1：对数据集进行预处理；获取真实图像，并将这些真实图像按照图像显示的物体进行分类标注，对所有图片像素值进行归一化；步骤2：构建生成对抗神经网络的生成器网络和判别器网络；1)生成器网络输入为随机向量，输出为图片；生成器网络的第一层为线性层，之后接着三个上采样残差网络块，然后依次接着批归一化层、ReLU激活层、卷积层，最后再跟着一个Tanh激活层；2)判别器网络输入为图片，输出为一个标量和一个向量；判别器网络分为三个模块：特征提取模块D1、对抗损失模块D2和表征映射模块H；特征提取模块D1的输入为图片，输出为图片的特征向量，特征提取模块D1的第一层为优化后下采样残差网络块，之后接着三个标准下采样残差网络块，然后依次接着ReLU激活层、全局平均池化层；对抗损失模块D2的输入为特征提取模块D1的输出，输出为标量：真或假，对抗损失模块D2采用一个线性层构成；表征映射模块H的输入为特征提取模块D1的输出，输出为表征向量，表征映射模块H采用一个线性层构成；步骤3：为查询对象构造正负样本；1)为判别器构造正负样本时，对真实图像x进行随机图像变换操作，包括图像旋转，图像翻转，调整图像饱和度、对比度和明暗度，得到它的正样本x
+
，随机抽取其他真实图像作为查询图像的负样本i＝1，...，N，N为负样本数；2)为生成器构造正负样本时，对于一个查询变量z，定义一个半径为R；在真实图像中，以查询变量z为中心的超球体，在该超球体内随机采样得到正样本z
+
：||z
+
‑
z||2≤R，在该超球体外随机采样得到负样本球体外随机采样得到负样本N为负样本数；步骤4：设计损失函数；1)针对判别器网络设计损失函数，设由生成器随机生成的图像为x
g
～p
g
，真实图像中随机抽取查询图像x
r
，为查询图像x
r
按照步骤3中方法1)构造正样本x
+
和负样本利用判别器的特征提取模块D1来提取查询图像...

【专利技术属性】
技术研发人员：张亮，王博文，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：