基于像素级全局噪声估计编解码网络的图像去噪方法技术

本发明专利技术涉及一种基于像素级全局噪声估计编解码网络的图像去噪方法，包括：将原始含噪图片输入编码网络的输入模块，利用卷积对原始含噪图片进行初步特征提取，输出原始特征图；将原始特征图经过所述编码网络中的若干级联的编码模块进行处理，输出去噪后的空间尺寸较小、语义层次较高的高层次特征图；将高层次特征图经过与所述编码网络对称的解码网络中的多个跳连结构的解码模块进行处理，获取兼顾空间信息和语义信息的噪声去除后的输出特征图；将解码网络的输出特征图经过解码网络的输出模块，利用卷积处理映射到输出的特征维度，输出最终的清晰图像。本方法充分考虑真实图像噪声和全局信息以及本身像素值相关的特点，兼顾去噪效果和运行速度。

Image denoising method based on global noise estimation codec network at pixel level

【技术实现步骤摘要】
基于像素级全局噪声估计编解码网络的图像去噪方法
本专利技术涉及计算机视觉图像
，尤其是涉及一种基于像素级全局噪声估计编解码网络的图像去噪方法。
技术介绍
数字图像作为重要的信息载体在日常生产生活中扮演着越来越重要的角色，图像信息因其直观生动，包含信息量大的特点而广泛应用于航空航天，工业生产，军事，医疗，通信等领域，与我们的工作生活紧密相关。然而现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，导致图像质量下降，为后续的研究处理带来困难。因此，图像去噪作为一项基础的同时又十分重要的低层次计算机视觉任务，具有很高的科学价值和实际意义。图像去噪技术是指去除图像在获取过程中引入的噪声，从而得到原始清晰图像的技术，是从软件的角度解决图像噪声问题的重要技术手段。图像去噪作为重要的低层次计算机视觉任务，为使计算机能够更好地观察、分析、处理图片提供重要的技术支持，在医学影像、卫星成像、监控系统等很多领域都具有非常重要的应用价值。目前最优的传统图像去噪算法包括非局部自相似算法，稀疏编码算法，块匹配模型等等，但是这些算法共同的缺点是在使用阶段涉及复杂的优化步骤，因此时间代价较高，此外这些算法使用过程中设计的可调参数较多，也为快速使用带来麻烦。随着深度学习的发展，更多的端到端的深度神经网络被用于处于图像去噪任务，比如深度去噪卷积神经网络(DnCNN)引入残差连接和批归一化操作降低深度网络训练的难度，获得较好的去除高斯噪声的效果；极深残差编解码网络(REDNet)使用全卷积组成的编解码网络，并且引入对称跳连结构来平衡空间信息和感受野信息。神经网络强大的学习能力和端到端的简洁性极大的提高了图像去噪的效果，降低了时间消耗。但是上述的深度学习方法针对的是人工添加高斯噪声的合成图像，图像中的高斯噪声是与像素值无关的，未能考虑到真实世界的图像的噪声除了高斯特性之外，还和像素值本身相关，因此上述方法在真实噪声图像上的泛化能力很差，从而取得了较为受限的效果。
技术实现思路
有鉴于此，有必要针对上述的问题，提供一种基于像素级全局噪声估计编解码网络的图像去噪方法，充分考虑真实图像噪声和全局信息以及本身像素值相关的特点，兼顾去噪效果和运行速度。一种基于像素级全局噪声估计编解码网络的图像去噪方法，包括：步骤1、将原始含噪图片输入编码网络的输入模块，利用卷积对原始含噪图片进行初步特征提取，输出原始特征图；步骤2、将所述原始特征图经过所述编码网络中的若干级联的编码模块进行处理，每一所述编码模块由下采样层、卷积层和像素级全局噪声估计子模块构成，由下采样层和卷积层对原始特征图进行高层次特征提取，由像素级全局噪声估计子模块，对各级特征进行噪声估计和去除，最后输出去噪后的空间尺寸较小、语义层次较高的高层次特征图；步骤3、将所述高层次特征图经过与所述编码网络对称的解码网络中的多个跳连结构的解码模块进行处理，每一所述解码模块由上采样层和卷积层构成，将前层的空间信息和编码模块输出的高层特征信息结合，最后获取兼顾空间信息和语义信息的噪声去除后的输出特征图；步骤4、将解码网络的输出特征图经过解码网络的输出模块，利用卷积处理映射到输出的特征维度，输出最终的清晰图像。具体在步骤1中，将原始含噪图片输入编码网络的输入模块，进行四次3×3×32的卷积的特征提取，输出原始特征图。所述解码网络的输出模块的卷积核输出通道和输入模块输入原始含噪图片的通道数一致。所述编码网络中包括四个级联的编码模块，编码模块由下采样层、四个卷积层和两个像素级全局噪声估计子模块构成。所述步骤2的编码模块处理输入特征的具体方法包括以下步骤：步骤⑴在每个编码模块的开头，使用最大值池化将输入特征的尺寸降低为原来的1/2，进行空间特征融合，提高卷积网络的感受野，提取更多语义信息；步骤⑵使用两个级联的卷积层提取尺寸下降后的特征信息，并将特征的通道数增大两倍，提取更多特征，在级联的四个编码模块中，使用的卷积核分别依次是3×3×64，3×3×128，3×3×256，3×3×512，并且模块内部使用相同通道数的卷积核；步骤⑶通过一个像素级全局噪声估计子模块，提取特征中包含的像素级全局噪声信息，并通过模块中的残差连接将提取到的噪声信息去除；步骤⑷使用一个卷积层对初次去噪后的特征进行整合和缓冲为进一步去噪做准备，在级联的四个编码模块中，使用的卷积核分别依次是3×3×64，3×3×128，3×3×256，3×3×512；步骤⑸再通过一个像素级全局噪声估计子模块，进一步提取特征中包含的像素级全局噪声信息，并通过模块中的残差连接将提取到的噪声信息去除；步骤⑹模块最后再使用一个卷积层对二次去噪后的特征进行整合和缓冲为进入下一个模块做准备，在级联的四个编码模块中，使用的卷积核分别依次是3×3×64，3×3×128，3×3×256，3×3×512，因此四个级联的编码模块输出的通道数依次分别是64，128，256，512。所述步骤⑶和⑸的像素级全局噪声估计子模块处理输入特征的具体方法包括以下步骤：①像素级全局噪声估计子模块的输入为高度为H，宽度为W，通道数为C的特征图，长度和宽度和输入网络的噪声图像的尺寸以及下采样的次数相关，通道数和当前像素级全局噪声估计子模块所在的编码模块内部的特征通道数一致，四个编码模块内部通道数分别为64，128，256，512，输入特征首先进入第一个分支，并且作为残差分支直接输出，用于提供去噪前的特征图；②输入特征同时进入第二个分支，全局通道信息融合分支，维度为H×W×C的特征图进入两个级联的1×1×1的卷积层，将C个通道的信息融合成一个通道的全局通道信息，同时特征的空间信息得以保留，得到尺寸为H×W×1的特征图，得到将该特征形变成HW×1，作为融合了全局通道信息的特征输出；③输入特征同时进入第三个分支，全局空间信息融合分支，维度为H×W×C的特征图通过全局均值池化层，将尺寸为H×W的空间信息融合成单点信息，同时特征的通道信息得以保留，得到尺寸为1×C的特征图，然后依次连接一个维度为C/4的全连接层和一个维度为C的全连接层进行通道特征矫正，输出尺寸仍为1×C，得到融合了全局空间信息的特征输出；④将尺寸为HW×1全局通道信息融合特征和尺寸为1×C的全局空间信息融合特征二者进行矩阵相乘，得到尺寸为HW×C的特征图，该特征既融合了通道和空间的全局特征，在计算过程中空间和通道像素级的部分信息又得以保留，完成了像素级的全局噪声估计，然后将噪声估计形变成H×W×C，时期和输入特征尺寸一致，最后使用一个1×1×1的卷积层进行特征映射，得到噪声估计特征并输出；⑤将输出的像素级全局噪声估计和残差分支逐像素相加，从噪声图片中去除估计到的噪声值，得到像素级全局噪声估计子模块的最终输出。所述解码网络中包括四个解码模块，解码模块由双线性插值上采样层、四个卷积层构成。所述步骤3的解码模块处理输入特征的具体方法包括以下步骤：a.在每个解本文档来自技高网...

【技术保护点】
1.一种基于像素级全局噪声估计编解码网络的图像去噪方法，其特征在于，包括：/n步骤1、将原始含噪图片输入编码网络的输入模块，利用卷积对原始含噪图片进行初步特征提取，输出原始特征图；/n步骤2、将所述原始特征图经过所述编码网络中的若干级联的编码模块进行处理，每一所述编码模块由下采样层、卷积层和像素级全局噪声估计子模块构成，由下采样层和卷积层对原始特征图进行高层次特征提取，由像素级全局噪声估计子模块，对各级特征进行噪声估计和去除，最后输出去噪后的空间尺寸较小、语义层次较高的高层次特征图；/n步骤3、将所述高层次特征图经过与所述编码网络对称的解码网络中的多个跳连结构的解码模块进行处理，每一所述解码模块由上采样层和卷积层构成，将前层的空间信息和编码模块输出的高层特征信息结合，最后获取兼顾空间信息和语义信息的噪声去除后的输出特征图；/n步骤4、将解码网络的输出特征图经过解码网络的输出模块，利用卷积处理映射到输出的特征维度，输出最终的清晰图像。/n

【技术特征摘要】
1.一种基于像素级全局噪声估计编解码网络的图像去噪方法，其特征在于，包括：
步骤1、将原始含噪图片输入编码网络的输入模块，利用卷积对原始含噪图片进行初步特征提取，输出原始特征图；
步骤2、将所述原始特征图经过所述编码网络中的若干级联的编码模块进行处理，每一所述编码模块由下采样层、卷积层和像素级全局噪声估计子模块构成，由下采样层和卷积层对原始特征图进行高层次特征提取，由像素级全局噪声估计子模块，对各级特征进行噪声估计和去除，最后输出去噪后的空间尺寸较小、语义层次较高的高层次特征图；
步骤3、将所述高层次特征图经过与所述编码网络对称的解码网络中的多个跳连结构的解码模块进行处理，每一所述解码模块由上采样层和卷积层构成，将前层的空间信息和编码模块输出的高层特征信息结合，最后获取兼顾空间信息和语义信息的噪声去除后的输出特征图；
步骤4、将解码网络的输出特征图经过解码网络的输出模块，利用卷积处理映射到输出的特征维度，输出最终的清晰图像。


2.根据权利要求1所述的基于像素级全局噪声估计编解码网络的图像去噪方法，其特征在于，具体在步骤1中，将原始含噪图片输入编码网络的输入模块，进行四次3×3×32的卷积的特征提取，输出原始特征图。


3.根据权利要求2所述的基于像素级全局噪声估计编解码网络的图像去噪方法，其特征在于，所述解码网络的输出模块的卷积核输出通道和输入模块输入原始含噪图片的通道数一致。


4.根据权利要求1至3任一项所述的基于像素级全局噪声估计编解码网络的图像去噪方法，其特征在于，所述编码网络中包括四个级联的编码模块，编码模块由下采样层、四个卷积层和两个像素级全局噪声估计子模块构成。


5.根据权利要求4所述的基于像素级全局噪声估计编解码网络的图像去噪方法，其特征在于，所述步骤2的编码模块处理输入特征的具体方法包括以下步骤：
步骤⑴在每个编码模块的开头，使用最大值池化将输入特征的尺寸降低为原来的1/2，进行空间特征融合，提高卷积网络的感受野，提取更多语义信息；
步骤⑵使用两个级联的卷积层提取尺寸下降后的特征信息，并将特征的通道数增大两倍，提取更多特征，在级联的四个编码模块中，使用的卷积核分别依次是3×3×64，3×3×128，3×3×256，3×3×512，并且模块内部使用相同通道数的卷积核；
步骤⑶通过一个像素级全局噪声估计子模块，提取特征中包含的像素级全局噪声信息，并通过模块中的残差连接将提取到的噪声信息去除；
步骤⑷使用一个卷积层对初次去噪后的特征进行整合和缓冲为进一步去噪做准备，在级联的四个编码模块中，使用的卷积核分别依次是3×3×64，3×3×128，3×3×256，3×3×512；
步骤⑸再通过一个像素级全局噪声估计子模块，进一步提取特征中包含的像素级全局噪声信息，并通过模块中的残差连接将提取到的噪声信息去除；
步骤⑹模块最后再使用一个卷积层对二次去噪后的特征进行整合和缓冲为进入下一个模块做准备，在级联的四个编码模块中，使用的卷积核分别依次是3×3×64，3×3×128，3×3×256，3×3×512，因此四个级联的编码模块输出的通道数依次分别是64，128，256，512。


6.根据权利要求5所述的基于像素级全局噪声估计编解码网络的图像去噪方法，其特征在于，所述步骤⑶...

【专利技术属性】
技术研发人员：唐鹏靓，鞠国栋，沈良恒，
申请(专利权)人：广东启迪图卫科技股份有限公司，
类型：发明
国别省市：广东;44