图像去噪方法、系统、设备及存储介质技术方案

本发明专利技术公开了一种图像去噪方法、系统、设备及存储介质，它们是一一对应的方案，方案中：通过使用双注意力Transformer模块在空间和通道维度上充分挖掘图像特征，提高网络对图像纹理和结构的重建和增强效果，保证了复原图像（去噪后的图像）的质量。经过图像去噪处理的图像有助于在图像识别，检测和分割等高级计算机视觉任务中发挥更好的成效。视觉任务中发挥更好的成效。视觉任务中发挥更好的成效。

【技术实现步骤摘要】
图像去噪方法、系统、设备及存储介质


[0001]本专利技术涉及图像去噪
，尤其涉及一种图像去噪方法、系统、设备及存储介质。

技术介绍

[0002]随着多媒体技术的发展，数字图像在航天航空，卫星遥感，安全监控等领域发挥重要作用。然而受环境光照、量化误差、设备约束等因素限制，图像在采集过程中不可避免地被噪声污染，严重影响后续对图像的处理与分析。因此，图像去噪技术具有非常重要的研究意义。
[0003]目前，图像去噪技术主要分为：传统图像去噪技术和基于神经网络的图像去噪技术。
[0004]传统图像去噪技术根据处理方式可进一步分为空间域方法和变换域方法两类，其中空间域方法直接对图像像素值进行处理实现去噪，而变换域方法则通过域转化方式将图像变换到新特征空间进行降噪处理。然而，这些方法一般对干净图像和噪声进行先验假定，不适用于噪声类型复杂多样的真实场景，难以实现高质量的去噪效果。
[0005]基于神经网络的图像去噪技术利用神经网络强大的建模和拟合能力，直接从大规模数据中学习噪声图像到干净图像的映射关系。目前，具备全局交互、动态权重和位置表示能力的Transformer（变换器）网络在图像去噪任务上占据领先地位，但是仅在空间或通道一个维度上使用自注意力机制，未能充分提取特征将噪声和图像原有信息分离，限制了复原图像（去噪后的图像）的质量。

技术实现思路

[0006]本专利技术的目的是提供一种图像去噪方法、系统、设备及存储介质，可以实现在滤除图像噪声的同时保留住图像锐利的边缘和精细的纹理结构，从而保证了复原图像的质量。
[0007]本专利技术的目的是通过以下技术方案实现的：一种图像去噪方法，包括：通过输入层对输入图像进行卷积，再通过编码器对卷积后的输入图像进行多尺度特征图的提取，所述编码器包括依次设置的多个编码层，每一编码层设有双注意力Transformer模块，并通过下采样输出相应尺度的特征图；其中，Transformer模块表示变换器模块；通过基于双注意力Transformer模块实现的瓶颈层从编码器输出的特征图中提取包含高级语义信息的特征；其中，高级语义信息是指除去颜色、几何与纹理信息以外的信息；编码器输出的特征图是指最后一个编码层输出的特征图；通过解码器利用编码器提取的多尺度特征图以及瓶颈层的输出，获得解码输出特征图；所述解码器包括依次设置的多个解码层，每一解码层设有双注意力Transformer模块，双注意力Transformer模块的输出特征图即为所属解码层的输出特征图，第一个解码层
的输入包括：瓶颈层的输出以及最后一个编码层中未经过下采样的特征图，之后每一个解码层的输入包括：上一个解码层的输出特征图以及相应编码层中未经过下采样的特征图，最后一个解码层的输出特征图即为解码输出特征图；通过输出层将所述解码输出特征图进行卷积获得残差图，再结合所述输入图像获得去噪后的图像。
[0008]一种图像去噪系统，包括：由输入层、编码器、瓶颈层、解码器与输出层组成的图像去噪模型；其中，输入层对输入图像进行卷积，再通过编码器对卷积后的输入图像进行多尺度特征图的提取，所述编码器包括依次设置的多个编码层，每一编码层设有双注意力Transformer模块，并通过下采样输出相应尺度的特征图；其中，Transformer模块表示变换器模块；基于双注意力Transformer模块实现的瓶颈层从编码器输出的特征图中提取包含高级语义信息的特征；其中，高级语义信息是指除去颜色、几何与纹理信息以外的信息；编码器输出的特征图是指最后一个编码层输出的特征图；解码器利用编码器提取的多尺度特征图以及瓶颈层的输出，获得解码输出特征图；所述解码器包括依次设置的多个解码层，每一解码层设有双注意力Transformer模块，双注意力Transformer模块的输出特征图即为所属解码层的输出特征图，第一个解码层的输入包括：瓶颈层的输出以及最后一个编码层中未经过下采样的特征图，之后每一个解码层的输入包括：上一个解码层的输出特征图以及相应编码层中未经过下采样的特征图，最后一个解码层的输出特征图即为解码输出特征图；输出层将所述解码输出特征图进行卷积获得残差图，再结合所述输入图像获得去噪后的图像。
[0009]一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
[0010]一种可读存储介质，存储有计算机程序，其特征在于，当计算机程序被处理器执行时实现前述的方法。
[0011]由上述本专利技术提供的技术方案可以看出，通过使用双注意力Transformer模块在空间和通道维度上充分挖掘图像特征，提高网络对图像纹理和结构的重建和增强效果，保证了复原图像（去噪后的图像）的质量。经过图像去噪处理的图像有助于在图像识别，检测和分割等高级计算机视觉任务中发挥更好的成效。
附图说明
[0012]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0013]图1为本专利技术实施例提供的一种图像去噪方法的流程图；图2为本专利技术实施例提供的一种图像去噪模型的示意图；图3为本专利技术实施例提供的空间自注意力模块的原理图；
图4为本专利技术实施例提供的通道自注意力模块的原理图；图5为本专利技术实施例提供的卷积前馈网络的原理图；图6为本专利技术实施例提供的本专利技术与主流方法在LIVE1数据集上的定性比较结果的示意图；图7为本专利技术实施例提供的本专利技术与主流方法在SIDD验证集集上的定性比较结果的示意图；图8为本专利技术实施例提供的一种图像去噪系统的示意图。
具体实施方式
[0014]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。
[0015]首先对本文中可能使用的术语进行如下说明：术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
[0016]术语“由
……
组成”表示排除任何未明确列出的技术特征要素。若将该术语用于权利要求中，则该术语将使权利要求成为封闭式，使其不包含除明确列出的技术特征要素以外的技术特征要素，但与其相关的常规杂质除外。如果该术语只是出现在权利要求的某子句中，那么其仅限定在该子句中明确列出的要素，其他本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像去噪方法，其特征在于，包括：通过输入层对输入图像进行卷积，再通过编码器对卷积后的输入图像进行多尺度特征图的提取，所述编码器包括依次设置的多个编码层，每一编码层设有双注意力Transformer模块，并通过下采样输出相应尺度的特征图；其中，Transformer模块表示变换器模块；通过基于双注意力Transformer模块实现的瓶颈层从编码器输出的特征图中提取包含高级语义信息的特征；其中，高级语义信息是指除去颜色、几何与纹理信息以外的信息；编码器输出的特征图是指最后一个编码层输出的特征图；通过解码器利用编码器提取的多尺度特征图以及瓶颈层的输出，获得解码输出特征图；所述解码器包括依次设置的多个解码层，每一解码层设有双注意力Transformer模块，双注意力Transformer模块的输出特征图即为所属解码层的输出特征图，第一个解码层的输入包括：瓶颈层的输出以及最后一个编码层中未经过下采样的特征图，之后每一个解码层的输入包括：上一个解码层的输出特征图以及相应编码层中未经过下采样的特征图，最后一个解码层的输出特征图即为解码输出特征图；通过输出层将所述解码输出特征图进行卷积获得残差图，再结合所述输入图像获得去噪后的图像。2.根据权利要求1所述的一种图像去噪方法，其特征在于，每一编码层中包括：多个堆叠设置的双注意力Transformer模块与下采样层；其中，最后一个双注意力Transformer模块的输出特征图输入至下采样层，以及经卷积前馈网络处理后输入至相应的解码层；下采样层负责对最后一个双注意力Transformer模块的输出特征图进行下采样输出相应尺度的特征图，并作为所属编码层的输出特征图。3.根据权利要求1所述的一种图像去噪方法，其特征在于，每一解码层中包括：上采样层、拼接模块以及多个堆叠设置的双注意力Transformer模块；所述上采样层所属解码层为第一个解码层时，其输入为瓶颈层的输出，所述上采样层所属解码层不为第一个解码层时，其输入为上一个解码层的输出特征图；所述上采样层负责对瓶颈层的输出或者上一个解码层的输出特征图进行上采样，获得上采样特征图；所述拼接模块负责将上采样特征图与外部输入的特征图拼接，获得拼接特征图；所述外部输入的特征图是指通过卷积前馈网络对相应编码层中未经过下采样的特征图进行处理后得到的特征图；所述拼接特征图作为第一个双注意力Transformer模块的输入，最后一个双注意力Transformer模块的输出特征图即为所属解码层的输出特征图。4.根据权利要求1~3任一项所述的一种图像去噪方法，其特征在于，所述双注意力Transformer模块包括：空间自注意力模块，通道自注意力模块，以及设置于空间自注意力模块与通道自注意力模块之间与设置于通道自注意力模块输出端的卷积前馈网络；其中，所述卷积前馈网络包括两个支路，两个支路的输入均为卷积前馈网络的输入；第一支路对卷积前馈网络的输入进行卷积后作为第一支路的输出；第二支路中依次设有层归一化层与两个全连接层，以及设置在两全连接层之间的深度卷积层，后一个全连接层的输出即为第二支路的输出；第二支路的输出与第一支路的输出融合后与卷积前馈网络的输入进行残差连接，作为卷积前馈网络的输出。5.根据权利要求4所述的一种图像去噪方法，其特征在于，所述空间自注意力模块中的
处理流程包括：空间自注意力模块的输入为特征图A，通过层归一化处理特征图A，再通过卷积与深度卷积提取出空间...

【专利技术属性】
技术研发人员：金一，王建锋，陈怀安，范鑫，谭晓，单亦萌，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：