一种基于压缩型卷积神经网络的图像去噪方法技术

本发明专利技术公开了一种基于压缩型卷积神经网络的图像去噪方法，包括：构造训练数据集；构造压缩型去噪卷积神经网络模型；利用训练数据集对网络模型进行训练；将有噪声的图像输入到训练好的网络中，并用所述有噪声的图像减去网络的输出图像得到清晰的去噪图像。本发明专利技术中的去噪卷积神经网络主要特征在于将原始的去噪卷积神经网络的卷积层替换成了经由低秩矩阵分解压缩后的卷积层。本发明专利技术通过改进一种已有的去噪卷积神经网络DnCNN，将其网络参数减少了至少75％，精简了网络，同时保持了优异的去噪效果。

An image denoising method based on compressed convolutional neural network

The invention discloses a method for denoising, image compression based on convolutional neural network includes: constructing the training data set; structural compression denoising convolutional neural network model; set the neural network model is trained using the training data; there will be noise image input to the trained network, and the network output image minus with the noise to get clear image denoising. The main feature of the denoising convolutional neural network in this paper is that the convolutional layer of the original denoising convolutional neural network is replaced by the convolutional layer compressed by low rank matrix decomposition. By improving an existing denoising convolutional neural network DnCNN, the network parameter is reduced by at least 75%, the network is simplified, and the excellent denoising effect is maintained.

【技术实现步骤摘要】
一种基于压缩型卷积神经网络的图像去噪方法
本专利技术涉及数字图像领域，具体涉及一种基于压缩型卷积神经网络的图像去噪方法。
技术介绍
在图像去噪技术上，有传统的去噪方式，也有新兴的利用深度卷积神经网络去噪的方法。本专利技术基于两项
技术介绍
：1.最新的去噪卷积神经网络DnCNN，该网络利用20或17层左右深度的卷积神经网络对高斯加性噪声进行去噪，据DnCNN的文献(ZhangK,ZuoW,ChenY,etal.BeyondaGaussianDenoiser:ResidualLearningofDeepCNNforImageDenoising[J].arXivpreprintarXiv:1608.03981,2016)中所指出的，该方法可以达到目前最好的去噪水平，但是该网络的参数量巨大，对硬件要求较高。2.一种网络压缩技术，即低秩矩阵分解(Low-RankMatrixDecomposition，LRD)，该技术将权值矩阵分解成两个低秩的矩阵，从而降低了网络需要保存的参数数量。基于这两种技术，本专利技术构造了一种有效的精简的压缩型去噪卷积神经网络。1.去噪卷积神经网络(DnCNN)DnCNN的残差学习策略采用了ResNet中的方式。CNN的残差学习一开始是被提出来解决深度卷积网络(DNN)中的退化问题的，也就是说，随着网络层数的增加，训练的精度(分类问题中)反而会下降。通过假设神经网络中的残差映射比原始映射更加容易学习，残差网络直接为几个堆叠的卷积层学习残差映射。如图1所示，假设原始映射为H(x)，让这些非线性的层学习另外的映射F(x):＝H(x)-x，那么就可以间接的得到原始映射。而该假设也被实验证明是正确的。有了这样的一种学习策略，即使是非常深的网络也容易被训练，且能在图像分类和物体检测中提高精度。DnCNN模型同样采用了残差学习方式。但是与ResNet不同的是，它没有采用许多个小型的残差单元，而是用整个网络来构成一个大的残差单元，以此来预测残差图像(也就是噪声图像)。假设DnCNN的输入是一个有加性噪声的样本y＝x+v，DnCNN将会学习到一个函数R(y)≈v，这样就可以恢复原始图像x＝y-R(y)。因此，DnCNN是一个用于解决回归问题的网络，其代价函数是残余图像和估计出的噪声图像的均方差：式(1)中Θ表示网络的参数，这里表示噪声污染过的图像块和原始图像块的集合。如图2示，DnCNN采用堆叠式的全卷积结构。不考虑输入的带噪声图像和输出层，假设一共有D层，那么图2中一共有三种不同的卷积块分布在首、中、尾三个地方。第一种卷积块是Conv+ReLU构成了第一层，也就是对输入图像卷积，而后使用校正线性单元(ReLU)。第二种也就是中间的2～(D-1)层使用了Conv+BN+ReLU的组合，也就是在卷积层和ReLU之间加了一层BatchNormalization，这是一个比较重要的层，DnCNN极大的受益于残差学习和BatchNormalization的结合。在使用批量的SGD进行网络的学习时，使用BatchNormalization可以减缓训练过程中非线性输入单元的输入分布的变化，从而加快训练的收敛。而最后一种卷积块内仅仅使用卷积层来重建输出层。在DnCNN中深度D被设置为17和20，卷积核大小为3×3×nChannel×nOut，按照原始的17层的网络结构计算，整个网络约有0.56M参数，如果按照单精度浮点数来存储(占4个字节)的话，在训练过程中将会至少存储4.48MB参数，而在测试过程中也将会存储至少2.24MB的参数。尽管DnCNN取得了比较好的去噪结果，但是同传统的去噪方法，例如基于空间域的滤波和基于变换域的滤波去噪相比，它也付出了较多的空间代价。而本专利技术正好可以解决这种问题。2.低秩矩阵分解技术低秩矩阵分解技术(LRD)有多种实现方式，有提倡使用奇异值分解(SVD)的，也有采用矩阵因子分解的，也就是简单来说，假设权值矩阵为其中并且k＜＜min(m,n)。本专利技术采用了这种形式，这种形式的LRD分解关键在于矩阵U的构造。本专利技术将基于核岭回归(kernelridgeregression)的方法做了些简化。核岭回归方法大致如下：假设wα表示在位置域中的某个子集中的权值向量(例如滤波器的部分系数)，是每个像素的坐标集合。引进一个核矩阵Kα来建模在位置(i,j)∈α上的权值协方差，其矩阵元素为(Kα)ij＝k(i,j)。在这些位置上的参数表示为(wα)i和(wα)j。核矩阵使得我们能够在图像的所有位置域上对参数向量做出比较光滑的预测，使用如下公式：其中kα是一个矩阵，元素值(kα)ij＝k(i,j)，λ是一个正则化系数。
技术实现思路
为了克服现有技术中存在的不足，本专利技术提出了一种基于压缩型卷积神经网络的图像去噪方法。所构造的网络不仅可以得到同样好的去噪效果，而且相比于原始的去噪神经网络，它具有更小的网络规模，更少的参数量。为实现上述目的，本专利技术采用的技术方案为：一种基于压缩型卷积神经网络的图像去噪方法，包括：构造训练数据集；构造去噪卷积神经网络模型；利用训练数据集对网络模型进行训练；将有噪声的图像输入到训练好的网络中，并用所述有噪声的图像减去网络的输出图像得到清晰的去噪图像；其中，所述神经网络模型包括若干压缩型卷积层，所述压缩型卷积层将卷积单元的四维的权值参数矩阵重新排列成二维矩阵W，并将该二维矩阵W分解为两个低秩矩阵U和V的乘积，实现权值参数的压缩；二维矩阵W的行数是满足的最大值，且能被nIn·nOut·kw·kh整除；其中nIn表示的输入的通道数，nOut表示输出的通道数，kw表示卷积核的宽度，kh表示卷积核的高度。作为优选，对二维矩阵W进行低秩矩阵分解时直接构造低秩矩阵U，U的元素uij满足如下区间的均匀分布：其中，R表示压缩率。作为优选，训练数据集为被噪声污染过的图像和污染噪声的集合，表示为其中N表示集合大小，yi表示被噪声污染过的图像，vi表示噪声图像，其中噪声图像为指定噪声级别的高斯随机噪声或噪声级别在指定范围内的高斯随机噪声。本专利技术中的去噪卷积神经网络的卷积层使用了低秩矩阵分解的压缩技术，使得在取得优秀去噪效果的同时能够大幅压缩网络层数。与现有技术相比，本专利技术的有益效果是：图像去噪效果优良，即使是将原始网络参数压缩掉75％，去噪后视觉效果与与现有去噪卷积神经网络技术DnCNN相比也无明显差异。同时，该网络对硬件要求大大降低，只需要有4GB显存的显卡即可。附图说明图1为残差学习单元示意图。图2为原始去噪网络DnCNN示意图。图3为本专利技术的压缩型去噪卷积神经网络DnCNN结构的示意图；其中LRDConv表示基于低秩矩阵分解技术压缩过的卷积层。图4为标准DnCNN-S对于σ＝25的高斯噪声去噪效果图；其中从左往右依次为原图、噪声污染图和去噪后效果图，PSNR为30.63。图5为本专利技术的压缩型DnCNN-S对于σ＝25的高斯噪声去噪效果图；其中(a)压缩比R＝1/2，PSNR为30.58(b)压缩比R＝1/4，PSNR为30.42(c)压缩比R＝1/8，PSNR为30.06(d)压缩比R＝1/16，PSNR为29.87(e)压缩比R＝1/32，PSNR为29.25；图(a)～(e)中从左往右依次是原图，噪本文档来自技高网...

【技术保护点】
一种基于压缩型卷积神经网络的图像去噪方法，包括：构造训练数据集；构造去噪卷积神经网络模型；利用训练数据集对网络模型进行训练；将有噪声的图像输入到训练好的网络中，并用所述有噪声的图像减去网络的输出图像得到清晰的去噪图像；其特征在于：所述神经网络模型包括若干压缩型卷积层，所述压缩型卷积层将卷积单元的四维的权值参数矩阵

【技术特征摘要】
1.一种基于压缩型卷积神经网络的图像去噪方法，包括：构造训练数据集；构造去噪卷积神经网络模型；利用训练数据集对网络模型进行训练；将有噪声的图像输入到训练好的网络中，并用所述有噪声的图像减去网络的输出图像得到清晰的去噪图像；其特征在于：所述神经网络模型包括若干压缩型卷积层，所述压缩型卷积层将卷积单元的四维的权值参数矩阵重新排列成二维矩阵W，并将该二维矩阵W分解为两个低秩矩阵U和V的乘积，实现权值参数的压缩；二维矩阵W的行数Row满足:的最大值，且能被nIn·nOut·kw·kh整除；其中nIn表示的输入的通道数，nOut表示输出的通道数，kw表示卷积核的...

【专利技术属性】
技术研发人员：伍家松，达臻，陈雄辉，杨启晗，姜龙玉，孔佑勇，舒华忠，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏,32