一种基于持续性记忆密集网络的图像高效去噪方法技术

本发明专利技术涉及基于持续性记忆密集网络的图像高效去噪方法，属图像处理领域。本发明专利技术首先选取训练集、验证集及测试集，并进行预处理，得到带噪声的退化块与不带噪声的清晰块；通过浅层特征抽取模块、持续性记忆密集网络模块、内层嵌套网络模块和残差求值模块对带噪声的退化块进行处理，得到预估去噪块；使用网络输出的预估去噪块与已知不带噪声的清晰块计算均方误差，以进行损失值度量；从网络末端开始，使用Adam算子求权值梯度值并更新网络参数；待网络收敛后训练终止并获得去噪模型；在训练好的去噪模型输入含高斯噪声图像得到去除噪声的图像。本发明专利技术在不破坏原图像纹理边缘信息的情况下，能以较高精度处理自然图像中存在的高斯白噪声。

An Efficient Image Denoising Method Based on Continuous Memory Dense Network

The invention relates to an efficient image denoising method based on a continuous memory intensive network, which belongs to the field of image processing. Firstly, the training set, verification set and test set are selected and preprocessed to obtain the degraded block with noise and clear block without noise; then, the degraded block with noise is processed by shallow feature extraction module, continuous memory intensive network module, inner nested network module and residual evaluation module, and the predicted denoising block is obtained by using network output. Mean square error is calculated with known clear blocks without noise to measure the loss value; from the end of the network, the weight gradient is calculated by Adam operator and the network parameters are updated; after the network convergence, the training is terminated and the denoising model is obtained; and the denoising image with Gauss noise is input into the trained denoising model to get the denoised image. Without destroying the texture edge information of the original image, the invention can process the Gauss white noise existing in the natural image with high precision.

【技术实现步骤摘要】
一种基于持续性记忆密集网络的图像高效去噪方法
本专利技术涉及一种基于持续性记忆密集网络的图像高效去噪方法，属于图像处理

技术介绍
图像去噪是计算机视觉中的一个经典基本问题，该问题在学术研究以及工业应用中均获得了广泛关注。去噪的目标是从一个含噪图像y＝x+n中恢复出清晰图像x，其中的噪声n常被假设为加性高斯白噪声。从贝叶斯分析的角度看，在似然值已知的条件下，图像的先验模型对去噪起到相当关键的作用。在过去的数十年里，去噪方法已囊括了大部分的图像先验，包括非局部自相似性模型，稀疏模型，梯度模型和隐马尔科夫域模型等，其中基于自相似模型的方法，如BM3D等的去噪效果均表现良好。然而，基于先验方法的去噪模型存在的一个明显不足之处在于，测试阶段需要较长的时间进行优化计算，并且鉴于原有技术基础理论突破有限，图像的去噪性能已到达瓶颈阶段，要进一步大幅度提高复原效果正变得越来越难。同时，由于去噪模型为非凸问题，优化过程中涉及到的一些参数需要进行手动设定，这也进一步约束了去噪性能的进一步提高。近几年来，随着深度学习技术在图像分类、识别等工程领域接连出现较大突破，学术界正试图结合使用深度卷积网络来进行图像去噪，并在探索过程中引入了一些性能突出的算法。2008年，VirenJain等人提出使用卷积网络的方法(NaturalImageDenoisingwithConvolutionalNetworks，简称CN1)来进行自然图像的去噪，该方法结合特定的噪声模型来生成训练样本，通过训练，获得了优于基于小波方法和基于马尔科夫随机场的相关方法，在盲去噪中的性能与其他基于非盲设定的模型不相上下。作者认为，基于卷积网络与基于马尔科夫随机场(MRF)的方法在数学表示上有一定的联系，但MRF方法在概率模型的参数估计和推断中占用了大量的计算资源。卷积网络的方法则避免进行密度估计的统计分析，而是将去噪过程转化为回归分析问题。2012年，XieJunyuan等人提出堆叠稀疏噪声自编码方法(Stackedsparsedenoisingauto-encoderarchitecture，简称SSDA)，该方法结合使用稀疏编码和深度网络来进行图像去噪，其中深度网络使用预训练的去噪自编码来进行初始化。与CN1的训练过程相似，SSDA逐层增加网络隐藏层，并利用前面多层的权重参数来初始化下一个隐藏层的初始参数值。而在每增加一个隐藏层后，引入KL散度来计算当前所有层状态下模型的损失值，即通过使用较小的对数权重来使隐藏单元的均值激活值尽可能趋于零从而达到稀疏的效果。以上两种方法的网络是逐层训练的，并且网络的权重初始值并非自动生成，而是在每层内部都需要人为干预，该做法会在一定程度上约束原模型性能的达到最优值，并且整体的训练过程费时。同时，模型的构造都是全连接网络上的逐层堆叠，这将促使生成模型的总体参数在网络深度较浅时也异常大。2016年，MaoXiaojiao等人提出对称跨层连接的深度卷积编码解码网络RED30用于图像去噪，该网络由多个卷积层与去卷积层作为基本单元，直接进行从噪声图像到清晰图像之间的端到端学习。由于使用了对称连接，使得图像信号能在反向传播的过程直接传递回距离输入图像较近的浅层，故能极大程度上加速网络整体的训练，且很好地缓解了梯度消失问题；同时由于卷积过程是从原图像中直接进行信息提取，而去卷积层负责对提取特征进行重建，故信息之间的直接流动能最大程度上避免原图像信号的丢失。从该网络开始，与图像去噪相关的神经网络开始逐步向更深层发展。2017年，ZhangKai等人提出DnCNN,该方法使用残差学习和批量归一化来加速网络训练。其中残差学习策略的应用使网络仅学习噪声信息，通过输入值与噪声信息之间的差值来得到最终输出。上述两种算法在图像去噪上均表现出优异性能，但并未在有限层内充分利用图像的特征信息，而仅仅是使用卷积层进行简单的平面堆叠或使用残差块进行堆叠。基本块的链式连接结构到一定深度后容易导致梯度消失的问题，而其深度不足又难以获得一个复杂的映射过程。为此，本专利技术通过引入密集网络结构来解除这两个因素之间存在的相互制约关系。
技术实现思路
本专利技术提供了一种基于持续性记忆密集网络的图像高效去噪方法，能实现图像的高效去噪，同时尽可能多地保留原图像的细节。本专利技术的技术方案是：一种基于持续性记忆密集网络的图像高效去噪方法(HierarchicalNestingDenseBlockforSingle-imageSuper-resolution,简称DBSR)，包括如下步骤：Step1、选取训练集、验证集及测试集，并对训练集和验证集进行预处理，得到带噪声的退化块与不带噪声的清晰块；Step2、通过浅层特征抽取模块、持续性记忆密集网络模块、内层嵌套网络模块和残差求值模块对带噪声的退化块进行处理，得到预估去噪块；首先使用浅层特征抽取模块对输入图像进行初步噪声特征抽取，随后将抽取所得的信息传递到持续性记忆密集网络模块，由该模块使用残差密集单元的堆叠进行精细噪声特征的提取；经过多个残差密集单元输出的三维组合后，所得信息进一步传递到二通路的内层嵌套网络模块进行特征精细化过程；此时所得到的信息为即为网络的抽取得到的噪声，由浅层特征抽取模块的输出与内层嵌套网络模块的输出值进行相减即可得到预估去噪块；Step3、使用网络输出的预估去噪块与已知不带噪声的清晰块计算均方误差，以进行损失值度量；Step4、从网络末端开始，使用Adam算子求权值梯度值并更新网络参数；Step5、循环步骤Step2-Step4，待网络收敛后训练终止并获得去噪模型；Step6、在训练好的去噪模型输入含高斯噪声图像得到去除噪声的图像。进一步地，所述步骤Step1中，选用图像复原与增强比赛NTIRE中所使用的900张2K高清png图像作为模型的训练集、验证集，其中前800张图像用于模型训练，后100张用于验证；选用图像去噪标准数据集Set12，BSD68对网络模型进行测试，在训练集与验证集中，对每张2K高清原图添加高斯白噪声，随后以步长27分别在高清原图和噪声图的相同位置截取大小为96×96的图像块，得到不带噪声的清晰块ynf和带噪声的退化块x。进一步地，所述步骤2中，网络首层使用包含单个卷积块的浅层特征抽取模块初步抽取噪声特征；随后，以残差密集单元作为基本单位，并通过基本单位的逐层嵌套来构造持续性记忆密集网络模块，以抽取多粒度噪声特征信息；在网络的后半部分，内层嵌套网络使用两个并行子网络对噪声特征图谱进行通道整合，通过不同个数、不同大小的卷积核实现噪声信息特征的精细化，以得到图像高频噪声信息；最后，网络末端将包含高频噪声信息的图像内容与初步抽取的噪声特征进行综合，通过残差求值模块中求差值的做法来去除噪声的图像。进一步地，所述步骤Step2的具体步骤：Step2.1、浅层特征抽取模块初步抽取噪声特征：以带噪声的退化块x作为输入值，通过浅层特征抽取模块增加输入块的通道数，并对其进行噪声信息的初步提取；浅层特征抽取模块以带噪声的退化块x作为输入，经过卷积操作Conv、权值偏置和带参数修正线性单元PReLU后，输出T-1；该过程用数学公式表达为：T-1＝PReLU(aC1,C1)，其中C1＝W1*x+b1为卷积偏本文档来自技高网...

【技术保护点】
1.一种基于持续性记忆密集网络的图像高效去噪方法，其特征在于：包括如下步骤：Step1、选取训练集、验证集及测试集，并对训练集和验证集进行预处理，得到带噪声的退化块与不带噪声的清晰块；Step2、通过浅层特征抽取模块、持续性记忆密集网络模块、内层嵌套网络模块和残差求值模块对带噪声的退化块进行处理，得到预估去噪块；首先使用浅层特征抽取模块对输入图像进行初步噪声特征抽取，随后将抽取所得的信息传递到持续性记忆密集网络模块，由该模块使用残差密集单元的堆叠进行精细噪声特征的提取；经过多个残差密集单元输出的三维组合后，所得信息进一步传递到二通路的内层嵌套网络模块进行特征精细化过程；此时所得到的信息为即为网络的抽取得到的噪声，由浅层特征抽取模块的输出与内层嵌套网络模块的输出值进行相减即可得到预估去噪块；Step3、使用网络输出的预估去噪块与已知不带噪声的清晰块计算均方误差，以进行损失值度量；Step4、从网络末端开始，使用Adam算子求权值梯度值并更新网络参数；Step5、循环步骤Step2‑Step4，待网络收敛后训练终止并获得去噪模型；Step6、在训练好的去噪模型输入含高斯噪声图像得到去除噪声的图像。...

【技术特征摘要】
1.一种基于持续性记忆密集网络的图像高效去噪方法，其特征在于：包括如下步骤：Step1、选取训练集、验证集及测试集，并对训练集和验证集进行预处理，得到带噪声的退化块与不带噪声的清晰块；Step2、通过浅层特征抽取模块、持续性记忆密集网络模块、内层嵌套网络模块和残差求值模块对带噪声的退化块进行处理，得到预估去噪块；首先使用浅层特征抽取模块对输入图像进行初步噪声特征抽取，随后将抽取所得的信息传递到持续性记忆密集网络模块，由该模块使用残差密集单元的堆叠进行精细噪声特征的提取；经过多个残差密集单元输出的三维组合后，所得信息进一步传递到二通路的内层嵌套网络模块进行特征精细化过程；此时所得到的信息为即为网络的抽取得到的噪声，由浅层特征抽取模块的输出与内层嵌套网络模块的输出值进行相减即可得到预估去噪块；Step3、使用网络输出的预估去噪块与已知不带噪声的清晰块计算均方误差，以进行损失值度量；Step4、从网络末端开始，使用Adam算子求权值梯度值并更新网络参数；Step5、循环步骤Step2-Step4，待网络收敛后训练终止并获得去噪模型；Step6、在训练好的去噪模型输入含高斯噪声图像得到去除噪声的图像。2.根据权利要求1所述的基于持续性记忆密集网络的图像高效去噪方法，其特征在于：所述步骤Step1中，选用图像复原与增强比赛NTIRE中所使用的900张2K高清png图像作为模型的训练集、验证集，其中前800张图像用于模型训练，后100张用于验证；选用图像去噪标准数据集Set12，BSD68对网络模型进行测试，在训练集与验证集中，对每张2K高清原图添加高斯白噪声，随后以步长27分别在高清原图和噪声图的相同位置截取大小为96×96的图像块，得到不带噪声的清晰块ynf和带噪声的退化块x。3.根据权利要求1所述的基于持续性记忆密集网络的图像高效去噪方法，其特征在于：所述步骤2中，网络首层使用包含单个卷积块的浅层特征抽取模块初步抽取噪声特征；随后，以残差密集单元作为基本单位，并通过基本单位的逐层嵌套来构造持续性记忆密集网络模块，以抽取多粒度噪声特征信息；在网络的后半部分，内层嵌套网络使用两个并行子网络对噪声特征图谱进行通道整合，通过不同个数、不同大小的卷积核实现噪声信息特征的精细化，以得到图像高频噪声信息；最后，网络末端将包含高频噪声信息的图像内容与初步抽取的噪声特征进行综合，通过残差求值模块中求差值的做法来去除噪声的图像。4.根据权利要求1所述的基于持续性记忆密集网络的图像高效去噪方法，其特征在于：所述步骤Step2的具体步骤：Step2.1、浅层特征抽取模块初步抽取噪声特征：以带噪声的退化块x作为输入值，通过浅层特征抽取模块增加输入块的通道数，并对其进行噪声信息的初步提取；浅层特征抽取模块以带噪声的退化块x作为输入，经过卷积操作Conv、权值偏置和带参数修正线性单元PReLU后，输出T-1；该过程用数学公式表达为：T-1＝PReLU(aC1,C1)，其中C1＝W1*x+b1为卷积偏置过程的输出，W1为卷积操作的权重参数，b1为偏置量，a为带参数修正线性单元PReLU的初始值；Step2.2、持续性记忆密集网络模块精细化噪声特征信息：持续性记忆密集网络模块(persistentmemorydenseblock,PMDB)以残差密集单元(ResidualDenseUnit,RDU)作为其基本单位，通过在RDU内部进一步嵌套RDU的做法来达到抽取多粒度噪声特征信息的目的；具体做法为：PMDB以浅层特征抽取模块的输出值T-1作为输入，经过一个卷积块后得到输出值T0；随后T0被传递到含有递归连接的多个RDU单元，得到输出值TPMDB；由于PMDB整个模块的主要构成为RDU单元，故先对RDU单元展开描述；为方便理解，首先对不带嵌套的...

【专利技术属性】
技术研发人员：刘辉，梁祖仲，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：云南,53