一种去噪模型及其建立方法及装置、图像去噪方法及装置制造方法及图纸

本文提供了一种去噪模型及其建立方法及装置、图像去噪方法及装置，其中，去噪模型建立方法包括：根据噪声图像相邻像素的非局部相似性，构造参考干净图像；根据噪声图像及参考干净图像，训练去噪模型中的参数；其中，去噪模型中的第一网络层的输入与第二网络层的输入通过边缘检测模块连接，第一网络层的输出与第二网络层的输出点乘后连接至第一图像重构层；图像重构层用于对点乘得到的特征进行重构处理，得到干净图像。本文能够提取增强局部特征及增强边缘特征，利用提取的边缘特征以注意力机制方式引导第一网络层获得更多的边缘细节信息，能够获得更准确的干净图像细节信息，实现遏制噪声的作用，提高鲁棒性及去噪能力。提高鲁棒性及去噪能力。提高鲁棒性及去噪能力。

【技术实现步骤摘要】
一种去噪模型及其建立方法及装置、图像去噪方法及装置


[0001]本文涉及图像复原领域，尤其涉及一种去噪模型及其建立方法及装置、图像去噪方法及装置。

技术介绍

[0002]图像是人机交互的重要媒介。因此，图像已经被广泛应用于航空探索、海洋探测、大气监测、医疗诊病和大众娱乐等。但相机在收集图像过程中，常受到相机抖动、拍摄环境以及运动物体的影响，导致收集到图像是带有噪声的。针对此问题，学者们提出了图像去噪方法。学者们首先根据图像在相机受损的机制，用先验知识构建去噪模型，处理噪声图像。例如：块匹配的三维过滤器方法把两维的图像转为三维的数组，然后通过协同过滤器增强这些三维数组的稀疏性，实现遏制噪声的效果。为了进一步提高去噪效率，学者们提出用相似的稀疏性模式分解相似的图像块，将非局部平均和稀疏编码方法集成到一个框架中，解决图像去噪和去除马赛克问题；在提高去噪性能方面，学者们用图像非局部自相似性来获得原始图像稀疏编码的估计，然后通过中心化观察图像的稀疏编码系数，调控对这些估计的作用，这能有效地处理，如图像去噪、图像去模糊和图像超分辨等多种图像复原问题。加权核规范最小化方法能利用奇异值获得不同的权值作为解，然后依靠非局部自相似性进行图像去噪。
[0003]虽然先验知识能获得更好的去噪效果，但这些方法需要手动设置参数和复杂的优化算法来获得更优参数。为了拟补这些方法的不足，判别学习方法用来训练图像先验模型。例如，通过半二次方分裂优化方法来构建收缩场级联模型，复原受腐蚀的图像；利用梯度下降推理专家域的图像先验知识思路，训练去噪模型。虽然判别学习方法在图像去噪上获得了较好的性能，但这些方法都受所用先验的限制。同时，这些方法要求几种手动调参来获得更优的参数。此外，这些方法仅仅使用一个固定噪声级别来训练去噪器，这使得它对盲去噪是无效的。
[0004]最近提出的卷积神经网络(Convolutional Neural Network,CNN)因具有即插即用的灵活结构，已广泛应用在图像去噪上。例如，利用块归一化和残差学习操作来构建一种深度卷积神经去噪网络。其中，因CNN训练过程中卷积操作引起的训练样本分布不均匀的问题，归一化问题能对块内样本进行归一化来解决这个问题。同时，残差学习操作作用在给定的噪声图像和预测噪声映射图像上，重构干净图像。两个技术的协同工作使得到去噪器能有效地处理多种底层视觉任务，如：图像去噪、图像超分辨和图像解压缩。这些技术能处理多任务是依靠设计网络结构实现的。如果所设计的网络不能很好地处理复杂底层视觉任务，如真实的噪声图像和盲噪声图像等，这将不能很好地恢复干净图像的细节信息，将导致这些方法不能获得更有效的去噪性能。对此，学者们提出多特征融合方法来增强获得特征的鲁棒性，解决这个问题。例如，为了进一步解决更严重的受损图像去噪问题，采用扩大网络宽度来构建双网络结构，复原更复杂的噪声图像。同时，为了防止深度信息的丢失，仅将空洞卷积用到一个子网络中，让其通过空洞因子来捕获更多的上下文深度信息，这与双网
络提取宽度的特征是互补的，有利于进一步促使获得更鲁棒的特征。此外，为了解决硬件资源受限的训练过程中样本分布不均匀问题，将重归一化样本用到两个子网络中，它们通过对整个样本进行归一化来统一样本分布，同时加快去噪网络收敛速度。此外，为了进一步遏制噪声，将残差学习操作分别用到两个子网络的末端，获得阶段性的潜在干净图像，并用过连接操作融合两幅干净的图像，这能增强干净图像的像素。这些关键技术的协同工作促使获得的双网络去噪器对真实噪声图像等复杂腐蚀图像的复原非常有效。虽然这些方法都能有效地解决图像去噪问题，但这些方法都是依靠给定有类标的干净图像(Ground Truth)来训练去噪器。然而，真实捕获的噪声图像受损程度不是相同的。同时，收集到的噪声图像也没有对应的参考干净图像，这使得以上涉及的去噪网络在没有配对的真实噪声图像去噪上受限。

技术实现思路

[0005]本文用于解决现有神经网络去噪器训练过程不适用于无参考干净图像，训练出的去噪器无法适用盲噪声图像，具有适应范围窄、识别效果差的技术问题。
[0006]为了解决上述技术问题，本文的第一方面提供一种去噪模型，包括：
[0007]第一网络层、边缘检测模块、第二网络层及图像重构层；
[0008]所述第一网络层的输入与所述第二网络层的输入通过边缘检测模块连接，所述第一网络层的输出与所述第二网络层的输出点乘后连接至所述图像重构层；
[0009]所述第一网络层用于从所述噪声图像中提取增强局部特征；
[0010]所述边缘检测模块用于根据所述噪声图像生成边缘图像；
[0011]所述第二网络层用于从所述边缘图像中提取增强边缘特征；
[0012]所述图像重构层用于对点乘得到的特征进行重构处理得到干净图像。
[0013]作为本文进一步实施例中，所述第一网络层包括N层，其中的每一层均由相互连接的异构卷积层和第一激活函数组成；
[0014]所述第二网络层包括N
‑
1层，其中的每一层均由单一卷积层和第二激活函数组成，前N
‑
2层卷积核相同，第N
‑
1层卷积层为1
×
1；
[0015]所述第一网络层的第N层输出与所述第二网络层第N
‑
1层的输出进行点乘处理。
[0016]作为本文进一步实施例中，所述第一网络层中每层的第一激活函数与下一层的异构卷积层连接，所述异构卷积层至少包括三个不同的卷积，所述第一激活函数为Swish函数。
[0017]作为本文进一步实施例中，所述第二网络层中的每一层的第二激活函数与下一层的单一卷积层连接，所述第二激活函数为ReLU函数。
[0018]作为本文进一步实施例中，将所述第二网络层中距离最近的奇数层的单一卷积层和偶数层的单一卷积层分别连接。
[0019]作为本文的进一步实施例中，所述第二网络层还包括第N层，所述第N层包括单一卷积层和第二激活函数，第N层的单一卷积层的卷积核与前N
‑
2层的单一卷积层相同。
[0020]本文第二方面提供一种去噪模型建立方法，适用于前述任一实施例所述的去噪模型，包括：
[0021]根据噪声图像相邻像素的非局部相似性，构造参考干净图像；
[0022]根据所述噪声图像及参考干净图像，训练所述去噪模型中的参数。
[0023]作为本文进一步实施例中，根据所述噪声图像及参考干净图像，训练去噪模型中的参数包括：
[0024]将所述噪声图像及参考干净图像均划分为多个原始图像块；
[0025]将所述噪声图像的原始图像块输入至所述去噪模型中，由所述去噪模型计算得到干净图像块；
[0026]利用所述噪声图像计算得到的干净图像块以及所述参考干净图像的原始图像块，构造第一损失函数；
[0027]利用所述第一损失函数优化所述去噪模型中的参数。
[0028]作为本文进一步实施例中，若第二网络层还包括第N层，所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种去噪模型，其特征在于，包括：第一网络层、边缘检测模块、第二网络层及图像重构层；所述第一网络层的输入与所述第二网络层的输入通过边缘检测模块连接，所述第一网络层的输出与所述第二网络层的输出点乘后连接至所述图像重构层；所述第一网络层用于从噪声图像中提取增强局部特征；所述边缘检测模块用于根据所述噪声图像生成边缘图像；所述第二网络层用于从所述边缘图像中提取增强边缘特征；所述图像重构层用于对点乘得到的特征进行重构处理得到干净图像。2.如权利要求1所述的去噪模型，其特征在于，所述第一网络层包括N层，其中的每一层均由相互连接的异构卷积层和第一激活函数组成；所述第二网络层包括N
‑
1层，其中的每一层均由单一卷积层和第二激活函数组成，前N
‑
2层卷积核相同，第N
‑
1层卷积层为1
×
1；所述第一网络层的第N层输出与所述第二网络层第N
‑
1层的输出进行点乘处理。3.如权利要求2所述的去噪模型，其特征在于，所述第一网络层中每层的第一激活函数与下一层的异构卷积层连接，所述异构卷积层至少包括三个不同的卷积，所述第一激活函数为Swish函数。4.如权利要求2所述的去噪模型，其特征在于，所述第二网络层中的每一层的第二激活函数与下一层的单一卷积层连接，所述第二激活函数为ReLU函数。5.如权利要求4所述的去噪模型，其特征在于，将所述第二网络层中距离最近的奇数层的单一卷积层和偶数层的单一卷积层分别连接。6.如权利要求1所述的去噪模型，其特征在于，所述第二网络层还包括第N层，所述第N层包括单一卷积层和第二激活函数，第N层的单一卷积层的卷积核与前N
‑
2层的单一卷积层相同。7.一种去噪模型建立方法，其特征在于，适用于权利要求1至6任一项所述的去噪模型，包括：根据噪声图像相邻像素的非局部相似性，构造参考干净图像；根据所述噪声图像及参考干净图像，训练所述去噪模型中的参数。8.如权利要求7所述的去噪模型建立方法，其特征在于，根据所述噪声图像及参考干净图像，训练所述去噪模型中的参数包括：将所...

【专利技术属性】
技术研发人员：田春伟，袁奕萱，
申请(专利权)人：香港城市大学，
类型：发明
国别省市：