基于标注图在无监督训练下的真实图像生成方法及存储介质技术

本发明专利技术公开了一种基于标注图在无监督训练下的真实图像生成方法及存储介质，该方法包括将标注图输入生成器生成3张不同尺寸的输出图像；采用分级视觉感知判别器得到6个判别结果；将判别结果采用对抗损失函数转化为对抗损失；生成模糊图片，之后计算模糊图片输入分级视觉感知判别器得到的判别结果的对抗损失；将输出图像进行相邻两两分组后，输入VGG19网络中，之后计算图像一致损失；将输出图片输入到三个不共享参数的语义分割网络ICNet中，计算返还分割损失；采集四个损失值得到的最终损失对整个网络进行优化，并在网络未收敛时返回第一步，收敛时将优化后的生成器作为图像生成模型；采用图像生成模型将输入的标注图生成真实图像。

【技术实现步骤摘要】
基于标注图在无监督训练下的真实图像生成方法及存储介质
本专利技术涉及图像处理方法，具体涉及一种基于标注图在无监督训练下的真实图像生成方法及存储介质。
技术介绍
随着深度神经网络的发展，图像分类、图像分割和图像目标检测等技术已经相对较为成熟并得到了广泛的应用。但是，图像生成相关的技术由于其面对高质量高分辨率要求时效果较差，且模型训练和使用时不稳定，而未得到广泛的应用支持。其中基于标注图像的真实图像生成是功能性最强的方向之一，它利用用户给出的标注图，可以是语义标注图，也可以是手绘的近似轮廓图，生成对应的真实图像。由于生成的真实图像具有现实且丰富的内容，而生成源作为标注图和生成结果有语义及边界轮廓上的对应关系，因此该方向的研究有助于实现计算机视觉中的其他高级任务，如图像分割，也可以直接用于现实的应用程序。目前来说，已有的应用于基于标注图像的真实图像生成方法主要有以下几个方面的缺陷：1)现有模型在向更高分辨率的图片生成拓展时效果会急剧下降；2)现有模型无法做到生成质量与生成效率的良好平衡；3)现有架构大多为通用性模型，针对的是广泛的图像转换生成本文档来自技高网...

【技术保护点】
1.基于标注图在无监督训练下的真实图像生成方法，其特征在于，包括：/nS1、抽取数据集中一张真实图片和一张标注图，并将标注图输入生成器生成3张不同尺寸的输出图像；/nS2、将真实图片缩小为三张与输出图像尺寸对应的缩放图，并将三组缩放图和对应的输出图像分别输入三个不共享参数的分级视觉感知判别器得到6个判别结果；/nS3、将所有的判别结果采用对抗损失函数转化为对抗损失；/nS4、采用三张缩放图缩小并放大至原始尺寸形成的模糊图片更新输出图像，之后执行步骤S2和步骤S3，之后进入步骤S5；/nS5、将步骤S1的三张输出图像进行相邻两两分组，将两组中大尺寸降采样至等于小尺寸后，同时将两组输入在Image...

【技术特征摘要】
1.基于标注图在无监督训练下的真实图像生成方法，其特征在于，包括：
S1、抽取数据集中一张真实图片和一张标注图，并将标注图输入生成器生成3张不同尺寸的输出图像；
S2、将真实图片缩小为三张与输出图像尺寸对应的缩放图，并将三组缩放图和对应的输出图像分别输入三个不共享参数的分级视觉感知判别器得到6个判别结果；
S3、将所有的判别结果采用对抗损失函数转化为对抗损失；
S4、采用三张缩放图缩小并放大至原始尺寸形成的模糊图片更新输出图像，之后执行步骤S2和步骤S3，之后进入步骤S5；
S5、将步骤S1的三张输出图像进行相邻两两分组，将两组中大尺寸降采样至等于小尺寸后，同时将两组输入在ImageNet数据集上预训练好的VGG19网络中，取其中五层输出进行二范数求距离并归一化得到图像一致损失；
S6、将步骤S1的三张输出图片分别输入到三个不共享参数的语义分割网络ICNet中，得到返还的语义分割结果，将语义分割结果与标注图进行比对，采用交叉熵损失计算函数计算得到返还分割损失；
S7、将两个对抗损失、图像一致损失和返还分割损失按权重加权得到整个网络需要优化的最终损失，之后按照最终损失对应参数对整个网络进行优化，并在网络未收敛时返回步骤S1，收敛时将优化后的生成器作为图像生成模型；
S8、获取待处理标注图，并对待处理标注图进行归一化处理，之后将归一化处理后的标注图输入图像生成模型，得到真实图像。


2.根据权利要求1所述的基于标注图在无监督训练下的真实图像生成方法，其特征在于，所述对抗损失函数为：









其中，为对抗损失；为生成器的对抗损失；为判别器的对抗损失；E[.]为数据的期望，为经过前景增强的判别期望；为对于判别器Di的第l个输出的前景增强图；λi1＝1，λil和λi(l+1)分别为和在损失函数中的权重；Xi为第i张输出图像，Yi为第i个缩放图，Di为第i个分级式视觉感知判别器，1≤i≤3；为判别器Di的第l个输出。


3.根据权利要求1所述的基于标注图在无监督训练下的真实图像生成方法，其特征在于，所述图像一致损失的计算公式为：



其中，为步长为2的池化操作；Φl为卷积l_2的输出；Xi+1为第i+1张输出图像；‖.‖2为欧几里得范数。


4.根据权利要求1所述的基于标注图在无监督训练下的真实图像生成方法，其特征在于，所述交叉熵损失计算函数为：



其中，为返还分割损失；H和W分别为图片的高和宽，N为整个数据涉及到的物体类别；为语义分割网络Si在(h,w)位置上对于第n个类别的输出，为图片中物体正确的类别。


5.根据权利要求1所述的基于标注图在无监督训练下的真实图像生成方法，其特征在于，所述步骤S2和步骤S3之间还包括：
A1、判断输入的标注图是否为语义标注图，若是，执行步骤A2，否则执行步骤S3；
A2、对标注图进行前景和背景划分，得到0-1二值的前景图和背景图，并计算前景图所有前景像素点数量之和A和背景图所有背景像素点数量之和B；
A3、根据前景像素点数量之和A和背景像素点数量之和B，计算背景弱化权重P＝(A+B)/(T×A+B)，前景增强权重为T×P，T为增强比；
A4、将前景增强权重T×P回填至前景图值为1的位置，其余位置填为...

【专利技术属性】
技术研发人员：高联丽，朱俊臣，宋井宽，
申请(专利权)人：贵州大学，电子科技大学，
类型：发明
国别省市：贵州;52