一种基于非对称循环生成对抗损失的智能修图方法技术

本发明专利技术公开一种基于非对称循环生成对抗损失的智能修图方法，将用于图像翻译CycleGAN中的循环一致性思想应用于智能修图领域，提出了非对称循环生成对抗损失，将wGAN运用在循环生成对抗网络的训练中。本发明专利技术使用四个子网络组成整体网络结构，并利用非对称循环生成对抗损失来训练，最终得到的正向生成器能改善未修图的色彩、亮度、人像效果等多方特征，提高了图像的视觉感受。

【技术实现步骤摘要】
一种基于非对称循环生成对抗损失的智能修图方法
本专利技术涉及图像增强领域，尤其涉及一种基于非对称循环生成对抗损失的智能修图方法。
技术介绍
修图属于图像增强领域，将图片的色调、纹理、亮度等进行一定的处理，调整，从而达到更好的视觉效果。随着生活水平的提高，人们对修图的要求也随之提高，如今修图已是业余摄影以及专业摄影都不可或缺的技术之一。传统的图像增强方法可分为两大类：频域法与空域法。在频域法方面，陈春宁等人[6]改进了频域高斯高通滤波器、巴特沃斯高通滤波器、指数高通滤波器，得出了三种同态滤波器，并通过实验结果给出适用的滤波模型和表达式参数。该方法对图像进行灰度动态范围压缩和对比度增强的效果显著；在空域法方面，Bea等人[4]提出了一种双尺度色调管理方法，其使用大规模色调平衡管理来控制图像大尺度空间色调变化，同时引入了一种计算局部高频成分来处理强边缘纹理的滤波器。该方法对图像的纹理细节进行增强，使得图像更清晰。Edwin.H.Land等人[7]提出了一种以色感一致性为基础的图像增算法Retinex，该方法在动态范围压缩、边缘增强和颜色恒常三个方面达到平衡，因此可以对各种不同类型的图像进行本文档来自技高网...

【技术保护点】
1.一种基于非对称循环生成对抗损失的智能修图方法，其特征在于：其包括如下步骤：步骤1，将未修图与修后图处理后组成训练数据集；从图像数据库的未修图I中按d*d截图子图像Ic，并同时从修后图J中截取相应大小的子图像Jc；Ic与Jc形成包含N个子图像的配对集

【技术特征摘要】
1.一种基于非对称循环生成对抗损失的智能修图方法，其特征在于：其包括如下步骤：步骤1，将未修图与修后图处理后组成训练数据集；从图像数据库的未修图I中按d*d截图子图像Ic，并同时从修后图J中截取相应大小的子图像Jc；Ic与Jc形成包含N个子图像的配对集步骤2，预训练正向生成器；当训练结果生成的修后图与真实的修后图比较时已获得预期的修图效果，则保存获得步骤2对应的最终所获得的卷积权值参数和偏置参数；步骤3，加载步骤2保存的最优卷积权值参数和偏置参数至正向生成器，在此基础上训练由正向生成器和修后图域判别器组成的Wasserstein生成对抗网络；当训练结果生成的修后图与真实的修后图比较时已获得预期的修图效果，则保存步骤3对应的最终所获得的卷积权值参数和偏置参数；步骤4，预训练反向生成器；反向生成器的网络结构与正向生成器完全相同，并使用同样的方法进行预训练；并在训练结果生成的未修图与真实的未修图比较时已获得预期的还原效果时，保存获得步骤4所对应的卷积权值参数和偏置参数；步骤5，加载步骤4保存的最优卷积权值参数和偏置参数至反向生成器，在此基础上训练由反向生成器和未修图域判别器组成的Wasserstein生成对抗网络；并在训练结果生成的未修图与真实的未修图比较时已获得预期的还原效果时，保存获得步骤5所对应的卷积权值参数和偏置参数；步骤6，加载步骤3保存的最优卷积权值参数和偏置参数至正向生成器和修后图域判别器，且加载步骤5保存的最优卷积权值参数和偏置参数至反向生成器和未修图域判别器，在此基础上训练由这四个子网络组成的整体网络。2.根据权利要求1所述的一种基于非对称循环生成对抗损失的智能修图方法，其特征在于：步骤2具体包括以下步骤：步骤2.1，将配对集的未修图的子图像作为模型的输入数据，进行初始卷积阶段、特征结合阶段、不同尺度卷积阶段，最终获得一幅与对应的修后图像步骤2.2，更新优化正向生成器：基于正向生成器网络的总体损失不断更新并优化获得最优的卷积权值参数和偏置参数，总体损失由感知损失和均方误差组成；感知损失是生成的修后图经VGG-19网络提取的特征值与真实修后图经VGG-19网络提取的特征值之间的欧氏距离，均方误差是生成修后图与真实修后图对应像素之间差值平方的平均值；步骤2.3，当训练结果生成的修后图与真实的修后图比较后没有获得预期的修图效果，则继续进行反向传播，利用梯度下降优化算法更新卷积权值参数和偏置参数，再跳转执行步骤2.1；当训练结果生成的修后图与真实的修后图比较后已获得预期的修图效果，则继续停止反向传播，并保存步骤2.2最终所获得的卷积权值参数和偏置参数。3.根据权利要求2所述的一种基于非对称循环生成对抗损失的智能修图方法，其特征在于：步骤2.1具体包括以下步骤：步骤2.1.1，初始卷积阶段：将未修图像进行一次卷积运算和一次激活函数运算得到其初试卷积阶段的结果其计算公式是：其中和分别是本发明生成器的第一层网络的卷积权值参数和偏置参数；步骤2.1.2，特征结合阶段：将初始卷积处理阶段得到的结果依次经过四个连接模块，连接模块采用了跨越连接方式，将模块输入与其经过两层卷积后的处理结果相加作为模块输出，最终得到特征结合阶段的结果其计算公式是：其中和是连接模块中第1层和第2层的输出、和分别是生成器的第k个连接模块中第1层和第2层的卷积权值参数、和分别是第k个连接模块中第1层和第2层的偏置参数，第k个连接模块的输出为步骤2.1.3，不同尺度卷积阶段：将特征结合阶段的结果G5(I(xi))经过卷积核尺度不完全相同的三个卷积层，得到最终的输出图像G(I(xi))，其计算公式是：其中和分别是不同尺度卷积处理阶段第1个、第2个和3个的卷积层的卷积权值参数，和分别是不同尺度卷积处理阶段第1个、第2个和3个的卷积层的偏置参数，是本发明正向生成器的输出。4.根据权利要求2所述的一种基于非对称循环生成对抗损失的智能修图方法，其特征在于：步骤2.2中总体损失的计算公式是：其中，为生成修后图与真实修后图之间的均方误差，n为图像的像素点总数；为生成修后图与真实修后图之间的感知损失，是VGG-19网络第j层网络的特征映射，Cj、Hj和Wj分别表示此时图像的通道数、高度和宽度；为正向生成器网络Gf的总体损失。5.根据权利要求1所述的一种基于非对称循环生成对抗损失的智能修图方法，其特征在于：所述步骤3具体包括以下步骤：步骤3.1，生成修后图像；将未修图作为正向生成器Gf的输入数据，得到与对应的修后图像步骤3.2，获取真实修后图像J的判别值；将真实修后图作为修后图域判别器的输入，经过卷积处理阶段与全连接处理阶段，得到判别值步骤3.3，获取正向生成器生成的修后图像的判别值，将生成修后图作为修后图域判别器的输入，如步骤3.2得到判别值步骤3.4，执行n次更新优化正向生成器：以步骤2训练的网络为基础，基于总体损失不断更新并优化正向生成器网络，获得最优的卷积权值参数和偏置参数，其中总体损失由感知损失、均方误差与对抗损失组成；对抗损失是由生成修后图的判别值取反所得，所述损失的计算公式是：其中为生成修后图的对抗损失；为此时正向生成器网络Gf的总体损失；步骤3.5，执行m次更新优化修后图域判别器：基于判别损失不断更新并优化修后图域判别器网络，获得最优的卷积权值参数和偏置参数；其中判别损失是由生成修后图的判别值减去真实的修后图的判别值所得，其计算公式是：其中为正向生成器生成的修后图像，为真实修后图，为正向生成器生成的修后图的判别值，为真实修后图的判别值...

【专利技术属性】
技术研发人员：高钦泉，高哲玲，刘文哲，童同，
申请(专利权)人：福建帝视信息科技有限公司，
类型：发明
国别省市：福建,35