一种图像增强方法技术

本发明专利技术涉及一种图像增强方法，该方法包括采集拍摄图像，归一化所述拍摄图像为一特定尺寸，将归一化后的所述拍摄图像输入循环对抗生成cycleGAN网络模型，得到仿增强图像，所述cycleGAN网络模型根据样本拍摄图像和样本增强图像训练生成。该图像增强方法基于循环对抗生成cycleGAN网络模型，利用无监督学习，最终使用从源域到目标域映射的生成器得到了图像增强结果，该方法在保持输入图像内容不变的条件下使之融合HDR图片的特点，将输入的普通拍摄图片转换为高质量的增强图片，达到了色彩明艳，整体细节清晰，高对比度，高饱和度，较广亮度的效果，提高了图片的视觉体验，更好的满足了用户的需求。

An image enhancement method

【技术实现步骤摘要】
一种图像增强方法
本专利技术涉及图像处理领域，具体涉及一种图像增强方法。
技术介绍
手机拍摄的原图通常噪音大，颜色不完整，分辨率和动态范围有限。相机传感器对入射光具有线性响应，而人的感知则执行更为复杂的非线性映射。因此，用户可能会因为照片不符合他们的期望和视觉体验，而对他们拍摄的照片感到失望。图像增强方法试图解决色彩再现和图像清晰度方面的问题。为此，有交互式工具和半自动方法。大多数交互式软件提供诸如直方图均衡、锐化、对比度调整和颜色映射等基本工具以及一些高级功能，如局部和自适应调整。但是结果的质量很大程度上取决于用户的技术和审美判断。此外，通常需要花费大量的时间才能达到令人满意的修饰效果。半自动方法通过仅需要调整少数几个参数来简化该过程。但是，结果可能对参数非常敏感。另外，这些方法通常基于一些关于人类感知的启发式规则，例如增强细节或拉伸对比度。因此，它们可能脆弱并导致不好的结果。生成式对抗网络GAN(GenerativeAdversarialNetworks)是Goodfellow等在2014年提出的一种生成式模型。GAN在结构上受博弈论中的二人零和博弈(即二人的利益之和为零，一方的所得正是另一方的所失)的启发，系统由一个生成器和一个判别器构成。生成器捕捉真实数据样本的潜在分布，并生成新的数据样本；判别器是一个二分类器,判别输入是真实数据还是生成的样本。在当前的人工智能热潮下，GAN的提出满足了许多领域的研究和应用需求，同时为这些领域注入了新的发展动力。但是目前的GAN模型在用于图像领域时，获得的图像在色彩明艳，整体细节清晰以及高对比度方面依然有待提高。
技术实现思路
针对现有技术中存在的技术问题，本专利技术的首要目的是提供一种图像增强训练方法，所述方法包括：基于循环对抗生成cycleGAN网络模型，将拍摄图像转化为仿增强图像；所述循环对抗生成cycleGAN网络模型包括：第一生成器和第二生成器，所述第一生成器用于接收所述样本拍摄图像或仿真实图像，并生成仿增强图像，所述第二生成器用于接收样本增强图像或仿增强图像，并生成仿真实图像；第一判别器和第二判别器，所述第一判别器用于判别样本增强图像与仿增强图像，所述第二判别器用于判别样本拍摄图像与仿真实图像。进一步的，基于循环对抗生成cycleGAN网络模型，将拍摄图像转化为仿增强图像之前，还包括：根据样本拍摄图像和样本增强图像训练所述cycleGAN网络模型。进一步的，所述第一生成器和所述第二生成器采用Unet网络，所述Unet网络包括前期压缩路径和后期扩展路径，共14个层级结构，其中前4层级中的每一级均采用下卷积层、激活层以及BN层，第5层采用下卷积层、激活层以及全连接层。进一步的，所述Unet网络中的激活层使用LReLU激活函数：其中，x为上层卷积的输出。进一步的，所述第一判别器和所述第二判别器采用cnn网络模型，所述cnn网络模型采用7个层级结构，每个层级均包括卷积层、Irelu激活以及BN层。进一步的，所述第一生成器以及所述第二生成器设置身份映射损失、循环一致性损失以及对抗损失；所述第一判别器以及所述第二判别器设置有对抗损失。进一步的，所述第一生成器以及所述第二生成器还设置有梯度损失函数；所述第一判别器以及所述第二判别器还设置有梯度惩罚。一种图像增强方法，所述方法包括：采集拍摄图像，归一化所述拍摄图像为一特定尺寸，将归一化后的所述拍摄图像输入循环对抗生成cycleGAN网络模型，得到仿增强图像，所述cycleGAN网络模型根据样本拍摄图像和样本增强图像训练生成。一种图像增强装置，其包括：采集模块，用于采集拍摄图像；图像预处理模块，用于归一化所述拍摄图像为一特定尺寸；仿增强图像生成模块，用于根据采集模块采集的所述拍摄图像输出仿增强图像，所述仿增强图像基于循环对抗生成cycleGAN网络模型生成，所述循环对抗生成cycleGAN网络模型根据样本拍摄图像和样本增强图像训练生成。一种存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集被处理器执行时，实现上述图像增强训练方法，或实现上述图像增强方法。与现有技术相比，本专利技术至少具有如下有益效果：(1)本专利技术基于循环对抗生成cycleGAN网络模型，利用无监督学习，最终使用从源域到目标域映射的生成器得到了图像增强结果，该方法在保持输入图像内容不变的条件下使之融合HDR图片的特点，将输入的普通拍摄图片转换为高质量的增强图片，达到了色彩明艳，整体细节清晰，高对比度，高饱和度，较广亮度的效果，提高了图片的视觉体验，更好的满足了用户的需求。(2)本专利技术cycleGAN网络模型中的生成器采用Unet网络，通过对该Unet网络中层级结构的设置将局部特征与整体特征融合，扩大了整体风格对局部的影响。另外通过对生成器和判别器加入身份映射损失及循环一致性损失，在此基础上融合了缓解图像噪声的梯度损失，对图像进行微小的平滑同时有效的去除椒盐噪声，达到较优的增强并保留原图内容的效果。附图说明图1是本专利技术所采用的MIT5K以及HDR效果对比图。图2是本专利技术图像增强方法的总体流程图。图3是本专利技术cycleGAN网络模型中生成器Unet网络框架示意图。图4是本专利技术cycleGAN网络模型中判别器cnn网络框架示意图。图5是本专利技术cycleGAN网络模型的框架示意图。具体实施方式接下来将结合本专利技术的附图对本专利技术实施例中的技术方案进行清楚、完整地描述，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，均属于本专利技术保护的范围。下面来对本专利技术做进一步详细的说明。本专利技术的训练图片采用开源数据集MIT5K的原图集以及开源的HDR(High-DynamicRange)图库中筛选收集的图集。MIT5K的原图集作为样本拍摄图像，HDR的图集为样本增强图像，MIT5K图集与HDR图集无需是一一对应的图像对。HDR图集的内容构成为1/8食物、1/8动物、1/4人像、1/2风景，共871张。其中851张用于训练，20张用于同步测试。MIT5K的原图集为用户手机拍摄的原始图片集，所对应的图像域为原始域X；HDR的图集为高动态光照渲染数据集，所对应的图像域为增强域Y。本专利技术通过基于循环对抗生成cycleGAN的图像增强方法在保持输入图像内容不变的条件下使之融合HDR图片的特点，达到色彩明艳，整体细节清晰，高对比度，高饱和度，较广亮度的效果，本专利技术采用的MIT5K和HDR的效果图如图1所示。如图2所示，本专利技术的图像增强方法包括：采集拍摄图像，归一化该拍摄图像的尺寸为一特定尺寸，之后将归一化的拍摄图像输入循环对抗生成cycleGAN网络模型，该cycleGAN网络模型输出仿增强图像，本文档来自技高网...

【技术保护点】
1.一种图像增强训练方法，其特征在于，所述方法包括：/n基于循环对抗生成cycleGAN网络模型，将拍摄图像转化为仿增强图像；/n所述循环对抗生成cycleGAN网络模型包括：/n第一生成器和第二生成器，所述第一生成器用于接收所述样本拍摄图像或仿真实图像，并生成仿增强图像，所述第二生成器用于接收样本增强图像或仿增强图像，并生成仿真实图像；/n第一判别器和第二判别器，所述第一判别器用于判别样本增强图像与仿增强图像，所述第二判别器用于判别样本拍摄图像与仿真实图像。/n

【技术特征摘要】
1.一种图像增强训练方法，其特征在于，所述方法包括：
基于循环对抗生成cycleGAN网络模型，将拍摄图像转化为仿增强图像；
所述循环对抗生成cycleGAN网络模型包括：
第一生成器和第二生成器，所述第一生成器用于接收所述样本拍摄图像或仿真实图像，并生成仿增强图像，所述第二生成器用于接收样本增强图像或仿增强图像，并生成仿真实图像；
第一判别器和第二判别器，所述第一判别器用于判别样本增强图像与仿增强图像，所述第二判别器用于判别样本拍摄图像与仿真实图像。


2.根据权利要求1的所述图像增强训练方法，其特征在于，基于循环对抗生成cycleGAN网络模型，将拍摄图像转化为仿增强图像之前，还包括：根据样本拍摄图像和样本增强图像训练所述cycleGAN网络模型。


3.根据权利要求1或2的所述图像增强训练方法，其特征在于，所述第一生成器和所述第二生成器采用Unet网络，所述Unet网络包括前期压缩路径和后期扩展路径，共14个层级结构，其中前4层级中的每一级均采用下卷积层、激活层以及BN层，第5层采用下卷积层、激活层以及全连接层。


4.根据权利要求3的所述图像增强训练方法，其特征在于，所述Unet网络中的激活层使用LReLU激活函数：

其中，x为上层卷积的输出。


5.根据权利要求3的所述图像增强训练方法，其特征在于，所述第一判别器和所述第二判别器采用cnn网络模型，所述cnn网络模型采用7个层级结构，每个层级均包括卷...

【专利技术属性】
技术研发人员：游文婧，张浪文，谢巍，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44