一种基于细节弥补网络的单幅图像再增强方法技术

本发明专利技术涉及一种基于细节弥补网络的单幅图像再增强方法。本发明专利技术是通过对图像进行分解，将其中的高频分量提出，再利用卷积网络强大的学习能力对其中的图像细节进行学习。它可以充分利用卷积层对局部空间相关性和高维特征的表达能力。为了更加充分训练模型，采取数据增强。最后对已采用传统方法增强的图像进行图像细节弥补。本发明专利技术所提出的方法具有较强的图像细节补充能力，提高了图像增强的效果。

【技术实现步骤摘要】
一种基于细节弥补网络的单幅图像再增强方法
本专利技术属于图像处理领域，涉及一种基于细节弥补网络的单幅图像再增强方法。
技术介绍
以良好的对比度、生动的色彩和丰富的细节再现自然场景是数码摄影的基本目标。然而，由于照明条件差和成像设备的动态范围有限，获取的图像存在对比度较低的问题。由此产生的低对比度和低质量图像不仅会降低人们的视觉感受，而且许多计算机视觉和图像分析算法的性能也可能受到影响。因此，对比度增强作为提高记录图像质量和使图像细节更加清晰的一个重要手段就显得非常重要。传统的单图像对比度增强技术包括基于直方图的算法以及基于Retinex的算法等。基于直方图的方法通过在直方图上重新分配亮度来增强图像的对比度。基于Retinex的方法是分别增强了图像的反射率和光照分量，进而达到增强图像的目的。然而，这些方法由于自然场景复杂，信息有限，难以在一幅低对比度图像中再现高质量的图像。特别是对于一些图像细节的恢复，总是差强人意。基于这种细节恢复不佳的情况，也是随着成像设备的发展，我们能够在短时间内捕获一系列多曝光图像，以满足场景的动态范围。基于这一前提下，前人提出了利用多幅图像来进行图像增强的方法。利用得到的一系列图像序列，多曝光图像融合(MEF)和基于堆栈的高动态范围成像方法可用于将不同曝光的多幅图像融合到一幅视觉效果更好的图像中。一般来说，MEF和基于堆栈的HDR方法将产生比那些传统的单幅图像增强方法更好的视觉质量的图像，这是因为在多曝光序列中可以获得更多的信息，这些额外的信息对于图像的恢复非常有用，特别是对于图像细节的恢复。意识到了额外信息的重要性，这使得本专利技术对图像增强有了新的想法。然而，多幅图像的图像增强技术虽然增强效果要优于大多数单幅图像的增强方法，但是其弊端也同样的明显。多曝光图像的获取将会使得成像过程复杂化，而且相机抖动或物体的运动还将有可能导致融合伪影，如鬼影伪影。因此，虽然MEF等方法可以恢复更多的图像细节，这是传统的单幅图像增强方法无法做到的，但是由于物体运动所引起的不同帧的位移，MEF等方法会产生一些伪影。相反，单幅图像的增强方法将不会有这样的伪影，因为它只需要一个曝光图像作为输入。由于上述原因，单幅图像的增强方法在实际应用中更加具有吸引力并且更容易实现，但由于单个图像中信息量有限，其中对于图像细节的恢复是一个重大的挑战。
技术实现思路
本专利技术的目的是针对现有技术存在的不足，提出了一种基于细节弥补网络的单幅图像再增强方法。关键点在于可以对利用传统方法增强后的图像进行再次的处理，弥补其在图像增强过程中丢失的图像细节。本专利技术解决技术问题所采取的技术方案为：本专利技术包括以下步骤：步骤1、图像分解。根据Retinex理论将图像分为高频分量和低频分量。I(x,y)＝IL(x,y)+IR(x,y)其中I表示原图像，IL表示图像的低频分量，IR表示图像的高频分量。式中的(x,y)表示的是图像中像素点的坐标位置。步骤2、数据增强。将分解之后的图像高频分量进行数据增强操作来扩大数据量。数据增强包括将图像高频分量进行水平翻转和垂直翻转。步骤3、训练细节弥补网络。将增强之后的图像数据集输入到细节弥补网络之中训练细节弥补网络。细节弥补网络的设计借鉴ResNet的思想。细节弥补网络是一个十七层的细节增强网络，其卷积核选择3x3的卷积核，步长stride选择为1；为确保图像的大小不变，在卷积之前先进行填充操作pad＝1；并且在个别层之间进行了连接使其能够信息共享，并且给了网络一种选择退化的权利。使用LReLU(LeakyReLU)来作为细节弥补网络中隐含层的激活函数，增加网络模型的非线性能力。其中i表示不同的通道，xi表示的是第i通道的输入，ai是选择的通道系数，需要根据网络训练的实际情况进行调整。aixi表示第i通道的输入xi与系数ai的乘积。关于图像增强的网络学习，即是将原图的像素值向着参考图像的像素值进行映射，可以将其广义的归结为回归问题。考虑到图像的高频分量一般还包含一些其它的噪声问题和一些离群点，因此最小化的损失函数选择L1范数损失函数：其中Ireal表示标签像素值的高频分量，IR表示输入图像像素值的高频分量。H(·,W)表示将原图像的高频分量增强到参考图像高频分量的映射函数。网络中还对个别的卷积层进行了连接操作，这样做不仅可以增加网络的信息共享还可以给网络一种选择退化的权利，有利于模型的训练。步骤4、利用训练完成的细节弥补网络，对采用传统方法增强后的图像进行细节分量的弥补,其中传统方法可以是gamma变换和直方图均衡化等方法。首先对采用传统方法增强之后的图像进行图像分解，得到图像的高频分量，在将高频分量输入到经过步骤(3)训练好的细节弥补网络之中。最后再利用细节弥补网络输出的弥补之后的细节分量与图像的低频分量相加，得到最后经过细节弥补的增强图像。本专利技术的有益效果具体是：创新提出对传统增强方法进行细节弥补，并通过构造弥补网络，弥补了传统方法在图像增强过程中丢失的图像细节。提高了图像增强的效果。本专利技术充分利用卷积网络对于图像高维细节特征的表达能力，对于图像丢失的细节具有较好的补充能力。附图说明图1.细节弥补网络结构示意图；图2.训练样本数据增强示意图。具体实施方式以下结合附图和实施例对本专利技术作进一步说明。本实施例包括以下步骤：1、图像分解。对于的到的数据集需要进行图像的分解操作，根据Retinex理论，图像可以分为高频分量和低频分量。I(x,y)＝IL(x,y)+IR(x,y)(1)其中I表示原图像，IL表示图像的低频分量，IR表示图像的高频分量。式中的(x,y)表示的是图像中像素点的坐标位置。图像的分解部分是通过先对图像进行低通滤波处理得到图像的低频部分，然后使得原图像与得到的图像低频分量相减即得到图像的高频分量。低通滤波器采用高斯滤波器，高斯滤波是属于空域滤波的一种。空域滤波是一种像素点及其邻域的运算，每一个输出图像的像素点都是输入图像像素点及其邻域的线性组合或非线性组合。其中像素点及其邻域的组合系数称为滤波模板，对于滤波模板的设计是图像能否有效的分解为高频和低频分量的关键。高斯滤波的模板是由高斯分布得到的：可以将模板的中心坐标设置为原点(0,0)，按每格间距为1计算，算出模板中各个位置的坐标。再将坐标的值带入到式(2)中，最后将得到的值进行取整处理，就得到了一个高斯滤波模板。得到模板之后需要对图像进行卷积操作，利用公式(3)就可以得到低通滤波之后的像素值。其中W代表滤波模板，X代表原图像各个位置的像素，将他们对应位置相乘在相加之后就完成了卷积处理。对公式(1)的变换就可以得到公式(4)。IR(x,y)＝I(x,y)-IL(x,y)(4)得到图像的低频部分之后再利用公式(4)就可以得到图像的高频分量。2、数据增强。将经过步骤(本文档来自技高网...

【技术保护点】
1.一种基于细节弥补网络的单幅图像再增强方法，其特征在于该方法包括以下步骤：/n步骤1、图像分解；/n根据Retinex理论将图像分为高频分量和低频分量：/nI(x,y)＝I

【技术特征摘要】
1.一种基于细节弥补网络的单幅图像再增强方法，其特征在于该方法包括以下步骤：
步骤1、图像分解；
根据Retinex理论将图像分为高频分量和低频分量：
I(x,y)＝IL(x,y)+IR(x,y)
其中I表示原图像，IL表示图像的低频分量，IR表示图像的高频分量；(x,y)表示图像中像素点的坐标位置；
步骤2、数据增强
将分解之后的图像高频分量进行数据增强操作来扩大数据量；
步骤3、训练细节弥补网络
将增强之后的图像数据集输入到细节弥补网络之中训练细节弥补网络；
所述的细节弥补网络是一个十七层的细节增强网络，其卷积核选择3x3的卷积核，步长stride选择为1；为确保图像的大小不变，在卷积之前先进行填充操作pad＝1；并且在个别层之间进行了连接使其能够信息共享，同时给了网络一种选择退化的权利；使用LReLU来作为细节弥补网络中隐含层的激活函数，增加网络模型的非线性能力；



其中i表示不同的通道，xi表示的是第i通道的输入，ai是选择的通道系数，aixi表示第i通道的输入xi与系数ai的乘积；
图像增强的网络学习，即是将原图的像素值向着参考图像的像素值进行映射，将其广义的归结为回归问题；考虑到图像的高频分...

【专利技术属性】
技术研发人员：文成林，沈硕，郑乐军，沈平旭，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33