一种基于胶囊生成对抗网络的噪声建模的图像盲去噪方法技术

本发明专利技术公开了一种基于胶囊生成对抗网络的噪声建模的图像盲去噪方法，其步骤包括：1、对于给定的噪声图像提取平滑的噪声块，2、基于胶囊生成对抗网络的噪声建模，3、对深层CNN进行训练，得到一个降噪模型以实现对图像的盲去噪。本发明专利技术能够改善以往方法在面对噪声信息未知或者传感器不确定的情况下降噪效果不良的缺点，从而提高降噪效果。

【技术实现步骤摘要】
一种基于胶囊生成对抗网络的噪声建模的图像盲去噪方法
本专利技术属于计算机视觉领域，具体的说是一种基于胶囊生成对抗网络的噪声建模的图像盲去噪方法。
技术介绍
图像去噪是低视力视觉中的经典话题，也是许多视觉任务中重要的预处理步骤。遵循退化模型y＝x+v,图像去噪的目标是通过降低噪声v从嘈杂的观测值y中恢复无噪声的图像x。现有的去噪方法基本有三种：基于图像先验的去噪方法，基于噪声建模的盲去噪方法，基于判别学习的去噪方法。基于图像先验的去噪方法所采用的图像先验主要是基于人类知识来定义的，并且可能会限制去噪性能；此外，在对图像优先级进行建模时，大多数方法仅利用输入图像的内部信息，而未充分利用来自其他图像的外部信息。基于噪声建模的盲去噪方法仅利用单个输入图像的内部信息并明确定义噪声模型，这可能会限制噪声建模的能力并进一步影响降噪性能。基于判别学习的去噪方法尽管实现了很高的去噪质量，但是缺少成对的训练数据的情况下却无法工作。
技术实现思路
本专利技术是为了解决上述现有技术存在的不足之处，提出一种基于胶囊生成对抗网络的噪声建模的图像盲去噪方法，以期能在面对诸如图像中的噪声信息不可用或者传感器的不确定性这样的情况下依然可以实现图像有效的降噪，并提高降噪效果。本专利技术为达到上述专利技术目的，采用如下技术方案：本专利技术一种基于胶囊生成对抗网络的噪声建模的图像盲去噪方法的特点是按如下步骤进行：步骤1、对于给定的噪声图像提取平滑的噪声块：步骤1.1、定义循环变量i和j，并初始化i＝1；步骤1.2、以步长sg对一张噪声图像提取大小为c×c的第i个图像块pi；步骤1.3、初始化j＝1；步骤1.4、以步长为sl对第i个图像块pi提取大小为h×h的第j个局部图像块qij；步骤1.5、判断第i个图像块pi和第j个局部图像块是否同时满足式(1)和式(2)，若同时满足，则表示第i个图像块pi为一个平滑的噪声块，并将噪声块pi加入到平滑噪声块集合S中后，执行步骤1.6；否则，直接执行步骤1.6；式(1)和式(2)中，Mean()表示求平均数，var()表示求方差，μ，γ是取值属于(0,1)的常数系数且μ和γ∈(0，1)；步骤1.6、将j+1赋值给j后，返回步骤1.4，直到j＝jmax为止；其中，jmax表示对第i个图像块pi最多所能提取的大小h×h的局部图像块的个数，步骤1.7、将i+1赋值给i后，返回步骤1.3，直到i＝imax为止；从而得到最终的平滑噪声块集合S＝{s1,s2,…,si,…st}；其中，imax表示对一张噪声图片最多所能提取的大小c×c的图像块个数，w表示一张噪声图片的宽度，l表示一张噪声图片的高度；t表示平滑噪声块的总个数；步骤1.8、利用式(3)得到第i个近似噪声块vi，从而得到近似噪声块集合V＝{v1,v2,…,vi,…vt}：vi＝si-Mean(si)(3)步骤2、基于胶囊生成对抗网络的噪声建模：步骤2.1、将生成对抗网络的判别器重构成胶囊神经网络并作为胶囊生成对抗网络中的判别器：在所述判别器的卷积层中使用c1个大小为N×N的卷积核，且步长设置为s1，在PrimaryCaps层使用c2个大小为N×N的卷积核，且步长设置为s2，DigitCaps层的胶囊个数设为K；步骤2.2、将生成对抗网络的生成器仿照深度卷积对抗网络DCGAN中生成器的结构，并作为胶囊生成对抗网络中的生成器：在所述生成器的反卷积层中使用大小为M×M的微步幅卷积核；所述生成器的最后一层输出层使用Tanh函数作为激活函数，而所述生成器的其他层均使用ReLU作为激活函数；由胶囊生成对抗网络中的判别器和生成器构成胶囊生成对抗网络；步骤2.3、选取WGAN的损失函数作为所述胶囊生成对抗网络训练过程的目标函数；步骤2.4、设置胶囊生成对抗网络中的判别器和生成器的迭代次数之比为1∶2；利用所述近似噪声集合V训练所述胶囊生成对抗网络，从而生成噪声样本V′；步骤3、对深层CNN进行训练，得到一个降噪模型：步骤3.1、将所获取的一张无噪声图像分成大小为c×c的E个小块，并构成小块集合X＝{x1,x2,…,xe,…xE}，其中，xe表示第e个小块，且e＝1,2,…,E；利用式(4)将噪声样本V′中的第k个噪声块v′k随机添加到小块集合X的第e个小块xe中，从而得到第f个噪声图片yf，从而得到噪声图片集合Y＝{y1,y2,…,yf,…yF}，且f＝1,2,…,F：yf＝xe+v′k(4)由小块集合X和噪声图片集合Y构成训练数据集{X,Y}；步骤3.2、令所述深层CNN与DnCNN的网络结构相似：令所述深层CNN的卷积核的大小为Q×Q，所述深层CNN的深度为M，所述深层CNN的每一层均采用零填充的方式使得每一层输入和输出的图片尺寸相同；步骤3.3、选取DnCNN的损失函数作为训练过程中的目标函数；步骤3.4、利用所述训练数据集{X,Y}训练所述深层CNN，从而得到降噪模型，以实现对图像的盲去噪。与现有技术相比，本专利技术的有益效果在于：1.本专利技术方法训练了基于胶囊生成对抗网络，以估计输入噪声图像上的噪声分布并生成噪声样本，从得到的噪声样本中采样的噪声补丁被用于构建配对的训练数据集，该训练数据集又用于训练深度卷积神经网络(CNN)进行降噪。通过整体的流程，在面对诸如图像中的噪声信息不可用或者传感器的不确定性这样的情况下，本专利技术比现存在的技术表现出一定的优越性。2.本专利技术通过将生成对抗网络的判别器重构成胶囊神经网络，重构之后的胶囊神经网络可以改善传统生成对抗网络的判别器在识别对象时没有完全利用人脑的特点，以及改善了传统生成对抗网络的判别器在采样的时候会浪费一些信息的缺点。3.本专利技术中使用胶囊生成对抗网络生成更多的噪声数据，使得训练集数据得到加强，比现有的技术中直接训练深层CNN得到降噪模型的效果要更加的优秀。附图说明图1为本专利技术所构建的基于胶囊生成对抗网络的模型示意图；图2为本专利技术使用的深层CNN的架构示意图；图3为本专利技术使用的胶囊生成对抗网络判别网络架构示意图；图4本专利技术使用的胶囊生成对抗网络生成网络架构示意图。具体实施方式在本实例中，参见图1，一种基于胶囊生成对抗网络的噪声建模的图像盲去噪方法是按如下步骤进行：步骤1、对于给定的噪声图像提取平滑的噪声块：步骤1.1、定义循环变量i和j，并初始化i＝1；本实施例中，采用的噪声图像数据集是BSD68。步骤1.2、以步长sg对一张噪声图像提取大小为c×c的第i个图像块pi，本实施例中，设置sg＝32，c＝64；步骤1.3、初始化j＝1；步骤1.4、以步长为sl对第i个图像块pi提取大小为h×h的第j个局部图像块本实施例中，设置sl＝16，h＝16；步骤本文档来自技高网...

【技术保护点】
1.一种基于胶囊生成对抗网络的噪声建模的图像盲去噪方法，其特征是按如下步骤进行：/n步骤1、对于给定的噪声图像提取平滑的噪声块：/n步骤1.1、定义循环变量i和j，并初始化i＝1；/n步骤1.2、以步长s

【技术特征摘要】
1.一种基于胶囊生成对抗网络的噪声建模的图像盲去噪方法，其特征是按如下步骤进行：
步骤1、对于给定的噪声图像提取平滑的噪声块：
步骤1.1、定义循环变量i和j，并初始化i＝1；
步骤1.2、以步长sg对一张噪声图像提取大小为c×c的第i个图像块pi；
步骤1.3、初始化j＝1；
步骤1.4、以步长为sl对第i个图像块pi提取大小为h×h的第j个局部图像块
步骤1.5、判断第i个图像块pi和第j个局部图像块是否同时满足式(1)和式(2)，若同时满足，则表示第i个图像块pi为一个平滑的噪声块，并将噪声块pi加入到平滑噪声块集合S中后，执行步骤1.6；否则，直接执行步骤1.6；






式(1)和式(2)中，Mean()表示求平均数，var()表示求方差，μ，γ是取值属于(0,1)的常数系数且μ和γ∈(0，1)；
步骤1.6、将j+1赋值给j后，返回步骤1.4，直到j＝jmax为止；其中，jmax表示对第i个图像块pi最多所能提取的大小h×h的局部图像块的个数，
步骤1.7、将i+1赋值给i后，返回步骤1.3，直到i＝imax为止；从而得到最终的平滑噪声块集合S＝{s1,s2,…,si,…st}；其中，imax表示对一张噪声图片最多所能提取的大小c×c的图像块个数，w表示一张噪声图片的宽度，l表示一张噪声图片的高度；t表示平滑噪声块的总个数；
步骤1.8、利用式(3)得到第i个近似噪声块vi，从而得到近似噪声块集合V＝{v1,v2,…,vi,…vt}：
vi＝si-Mean(si)(3)
步骤2、基于胶囊生成对抗网络的噪声建模：
步骤2.1、将生成对抗网络的判别器重构成胶囊神经网络并作为胶囊生成对抗网络中的判别器：
在所述判别器的卷积层中使用c1个大小为N×N的卷积核，且步长设置为s1...

【专利技术属性】
技术研发人员：史明光，汤亚晨，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：安徽;34