基于深度学习的图像去噪方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种基于深度学习的图像去噪方法，搭建神经网络图像去噪模型，选取训练集，并设置训练参数；根据神经网络图像去噪模型及其训练参数，以最小平方差函数作为损失函数，应用在模型训练过程，形成深度学习的神经网络图像去噪模型；将待处理的图像输入到所述神经网络图像去噪模型，输出去噪后的无噪声图像，根据噪声的分布程度引入相应的权重到网络模型中，为了防止梯度消失或者梯度爆炸的情况，引入残差学习过程，并采用LN横向规范化形式将经过卷积层得到特征进行归一化来统一数据的分布，使数据保存在相同的范围，并加快网络收敛速度，可广泛适用于高斯噪声、真实图像噪声、超分辨等低水平视觉的图像任务处理过程。

Image denoising methods, devices, devices and storage media based on depth learning

The invention discloses an image denoising method based on depth learning, builds a neural network image denoising model, chooses training set and sets training parameters; according to the neural network image denoising model and training parameters, takes the least square difference function as loss function, and applies it in the model training process to form a neural network image denoising model of depth learning; and processes the neural network image denoising model to be processed. The image is input into the denoising model of the neural network image, and the denoised image is output. According to the distribution degree of noise, the corresponding weight is introduced into the network model. In order to prevent the gradient disappearing or gradient explosion, the residual learning process is introduced, and the features obtained through the convolution layer are normalized in the form of LN horizontal normalization to unify the distribution of data. The data are stored in the same range and the convergence speed of the network is accelerated. It can be widely used in image task processing of low-level vision such as Gauss noise, real image noise and super-resolution.

【技术实现步骤摘要】
基于深度学习的图像去噪方法、装置、设备和存储介质
本专利技术涉及模式识别与计算机视觉领域，尤其是一种基于深度学习的图像去噪方法、装置、设备和存储介质。
技术介绍
随着互联网迅速发展，图像处理已经被广泛应用到航空探索、大气监控、医疗诊病以及公安侦查等领域。其中图像去噪是图像处理问题的重要组成部分，它一般是通过y＝x+v模型来复原图像，y是噪声图像，x是无噪声图像，v是噪声图像，从贝叶斯角度来看，先验是很重要对于图像去噪。例如：自适应方法和稀疏方法结合能很好地进行图像去噪和减少图像去噪的运算量，例如BM3D方法利用把2维图像转为3维数组和利用稀疏方法来处理3维数据的噪声，而增加梯度直方图方法也是处理图像去噪很有效的方法。虽然以上方法已经获得很好性能，但是它们需要手动调参来获得最优结果，同时它们需要用复杂的优化算法来提高去噪性能。深度学习技术因为GPU和较强的自学习能力已经成为图像去噪关键技术之一，同时也能解决上述方法不足，但是已有的深度学习方法在高斯噪声图像去噪的方面性能较好，但是这些方法对于真实的噪声图像是无效的，因此需要提出一种基于噪声权值的卷积神经网络的图像去噪方法是很有意义的。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的目的是提供一种能够作用于真实噪声图像的基于深度学习的图像去噪方法、装置、设备和存储介质。本专利技术所采用的技术方案是：第一方面，本专利技术提供一种基于深度学习的图像去噪方法，包括步骤：搭建神经网络图像去噪模型，所述神经网络图像去噪模型由多个卷积层和多种激活函数构成；选取训练集，并设置所述神经网络图像去噪模型的训练参数；根据所述神经网络图像去噪模型及其训练参数，以最小平方差函数作为损失函数并应用于所述神经网络图像去噪模型进行模型训练，形成深度学习的神经网络图像去噪模型；将待处理的图像输入到所述神经网络图像去噪模型，输出去噪后的无噪声图像；所述神经网络图像去噪模型的结构中包括一层去噪图像的权重层。进一步地，还包括对所述待处理的图像进行预处理，所述预处理具体步骤为：扩充待处理图像样本；对所述扩充后的待处理图像样本进行重叠分块；所述扩充待处理图像样本具体为：将待处理图像样本缩小到原来的1/2、1/3和1/4，再利用双三次插值方法，将缩小的图像扩大到和原来图像一样的大小，将一幅待处理图像样本扩展成具有相关性的4副不同的图像样本。进一步地，所述神经网络图像去噪模型为19层网络，其中第2层至第16层采用LN横向规范化形式，所述LN具体是将经过卷积层得到特征进行归一化来统一数据的分布。进一步地，所述神经网络图像去噪模型中第17层为去噪图像的权重，所述权重即根据噪声的分布程度确定的相应的权重。进一步地，所述神经网络图像去噪模型中包括残差学习过程，具体实现为：将输入与第19层的输出相加。进一步地，所述多种激活函数包括Sigmoid激活函数、Tanh激活函数和ReLU激活函数；其中第1层和第17层采用Sigmoid激活函数，第2层至第16层采用Tanh激活函数。进一步地，所述神经网络图像去噪模型中第18层为1x1的卷积核，其余各层均是3x3的卷积核。第二方面，本专利技术提供一种基于深度学习的图像去噪装置，包括：卷积网络模型搭建装置，用于搭建神经网络图像去噪模型，所述神经网络图像去噪模型由多个卷积层和多种激活函数构成；训练集选取装置，用于选取训练集，并设置所述神经网络图像去噪模型的训练参数；图像去噪模型生成装置：根据所述神经网络图像去噪模型及其训练参数，以最小平方差函数作为损失函数并应用于所述神经网络图像去噪模型进行模型训练，形成深度学习的神经网络图像去噪模型；待处理图像去噪装置，用于将待处理的图像输入到所述神经网络图像去噪模型，输出去噪后的无噪声图像。第三方面，本专利技术提供一种基于深度学习的图像去噪的控制设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。第四方面，本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面所述的方法。本专利技术的有益效果是：本专利技术通过采用搭建一个19层的卷积神经网络，不同于传统的去除噪声的方法需要复杂的优化算法以及需要手动选择参数来提升去除噪声性能，而是将待处理图像输入神经网络图像去噪模型中，进行去除噪声处理，根据噪声的分布程度引入相应的权重到网络模型中，即所谓的注意力机制，用于提高该网络模型在去除噪声方面的性能，使得该模型能够适用于真实噪声的处理。另外，本专利技术还通过对待处理图像进行预处理，扩充样本并把噪声图像进行重叠分块，有利用减少计算资源，同时重叠分块图像能更好捕获各块之间的信息，随后，将分块的噪声图像放入模型进行去除噪声处理。为了防止网络模型在训练过程中出现梯度消失或者梯度爆炸的情况，引入残差学习过程，由于训练数据经过卷积操作后，其的分布范围会改变，因此采用LN横向规范化形式将经过卷积层得到特征进行归一化来统一数据的分布，使数据保存在相同的范围，并加快网络收敛速度。本专利技术可广泛适用于高斯噪声、真实图像噪声、超分辨等低水平视觉的图像任务处理过程。附图说明图1a～图1c是现有技术中利用卷积神经网络搭建的去噪模型；图2是本专利技术一种实施方式的基于深度学习的图像去噪方法基本流程图；图3是本专利技术一种实施方式的基于深度学习的图像去噪方法整体实现步骤；图4a～图4d是本专利技术一种实施方式的扩充图像示意图；图5是本专利技术一种实施方式的进行重叠分块后的噪声图像示意图；图6是本专利技术一种实施方式的具体的神经网络图像去噪模型结构示意图；图7是本专利技术一种实施方式的分块噪声图像经过神经网络图像去噪模型示意图；图8是本专利技术一种实施方式的基于深度学习的图像去噪装置结构框图。具体实施方式为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对照附图说明本专利技术的具体实施方式。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。如图1a～图1c所示，为现有技术中利用卷积神经网络搭建的去噪模型，可见图1a中DnCNN模型利用卷积，激活函数ReLu以及BN技术提出一种图像去噪方法；图1b中FFDNet模型把噪声映射和无噪声图像同时作为训练去噪模型的类别，该方法能很好地进行仿真噪声的盲去噪；图1c中IRCNN模型优化方法和CNN结合来处理噪声。其中，DnCNN可以有效地去除均匀高斯噪声，且对一定噪声水平范围的噪声都有抑制作用，然而真实的噪声并不是均匀的高斯噪声，其是信号依赖的，各颜色通道相关的，而且是不均匀的，可能随空间位置变化的，FFDNet使用噪声估计图作为输入，权衡对均布噪声的抑制和细节的保持，从而应对更加复杂的真实场景，但是三种模型均不是针对真实的噪声图像进行处理，因此本专利技术提供一种能够用于真实噪声图像的图像去噪方法。实施例一：如图2所示，为本实施例的基于深度学习的图像去噪方法基本流程图，包括步骤：S1：搭建神经网络图像去噪模型，具体的本文档来自技高网...

【技术保护点】
1.一种基于深度学习的图像去噪方法，其特征在于，包括步骤：搭建神经网络图像去噪模型，所述神经网络图像去噪模型由多个卷积层和多种激活函数构成；选取训练集，并设置所述神经网络图像去噪模型的训练参数；根据所述神经网络图像去噪模型及其训练参数，以最小平方差函数作为损失函数并应用于所述神经网络图像去噪模型进行模型训练，形成深度学习的神经网络图像去噪模型；将待处理的图像输入到所述神经网络图像去噪模型，输出去噪后的无噪声图像；所述神经网络图像去噪模型的结构中包括一层去噪图像的权重层。

【技术特征摘要】
1.一种基于深度学习的图像去噪方法，其特征在于，包括步骤：搭建神经网络图像去噪模型，所述神经网络图像去噪模型由多个卷积层和多种激活函数构成；选取训练集，并设置所述神经网络图像去噪模型的训练参数；根据所述神经网络图像去噪模型及其训练参数，以最小平方差函数作为损失函数并应用于所述神经网络图像去噪模型进行模型训练，形成深度学习的神经网络图像去噪模型；将待处理的图像输入到所述神经网络图像去噪模型，输出去噪后的无噪声图像；所述神经网络图像去噪模型的结构中包括一层去噪图像的权重层。2.根据权利要求1所述的一种基于深度学习的图像去噪方法，其特征在于，还包括对所述待处理的图像进行预处理，所述预处理具体步骤为：扩充待处理图像样本；对所述扩充后的待处理图像样本进行重叠分块；所述扩充待处理图像样本具体为：将待处理图像样本缩小到原来的1/2、1/3和1/4，再利用双三次插值方法，将缩小的图像扩大到和原来图像一样的大小，将一幅待处理图像样本扩展成具有相关性的4副不同的图像样本。3.根据权利要求1所述的一种基于深度学习的图像去噪方法，其特征在于，所述神经网络图像去噪模型为19层网络，其中第2层至第16层采用LN横向规范化形式，所述LN具体是将经过卷积层得到特征进行归一化来统一数据的分布。4.根据权利要求3所述的一种基于深度学习的图像去噪方法，其特征在于，所述神经网络图像去噪模型中第17层为去噪图像的权重，所述权重即根据噪声的分布程度确定的相应的权重。5.根据权利要求3所述的一种基于深度学习的图像去噪方法，其特征在于，所述神经网络图像去噪模型中包括残差学习过程，具...

【专利技术属性】
技术研发人员：田春伟，徐勇，文杰，吴坚，刘川意，
申请(专利权)人：哈尔滨工业大学深圳，深圳云安宝科技有限公司，
类型：发明
国别省市：广东,44