图像去噪方法、装置及电子设备制造方法及图纸

本申请适用于图像处理技术领域，提供了图像去噪方法、装置及电子设备，上述方法包括：获取待处理含噪图像，利用预训练的图像去噪融合网络对所述待处理含噪图像进行图像去噪处理，得到去噪图像，其中，所述图像去噪融合网络为基于注意力机制模块与卷积神经网络模块构建的分层融合网络，所述注意力机制模块用于提取所述待处理含噪图像的全局图像特征，所述卷积神经网络模块用于提取所述全局图像特征对应的局部特征并恢复。本申请可以解决图像去噪效果难以提升的问题。果难以提升的问题。果难以提升的问题。

【技术实现步骤摘要】
图像去噪方法、装置及电子设备


[0001]本申请属于图像处理
，尤其涉及一种图像去噪方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]室外视觉系统捕捉到的图像(静态图像或动态视频序列)常常包含噪声(雨纹、雾气等)，会使图像变得模糊、暗淡，一些关键信息难以辨认，影响图像或视频的成像质量。
[0003]现有图像去噪方法主要基于模型驱动的去噪算法来进行图像去噪，图像去噪效果较差。

技术实现思路

[0004]本申请实施例提供了一种图像去噪方法、装置及电子设备，可以解决图像去噪效果较差的问题。
[0005]第一方面，本申请实施例提供了一种图像去噪方法，包括：
[0006]获取待处理含噪图像；
[0007]利用预训练的图像去噪融合网络对所述待处理含噪图像进行图像去噪处理，得到去噪图像，其中，所述图像去噪融合网络为基于注意力机制模块与卷积神经网络模块构建的分层融合网络，所述注意力机制模块用于提取所述待处理含噪图像的全局图像特征，所述卷积神经网络模块用于提取所述全局图像特征对应的局部特征并恢复。
[0008]详细地，在所述利用预训练的图像去噪融合网络对所述待处理含噪图像进行图像去噪处理之前，还包括：
[0009]基于注意力机制模块及卷积神经网络模块构建分层编码器
‑
解码器框架的融合网络，所述融合网络由多层所述注意力机制模块及多层所述卷积神经网络模块融合得到，其中，所述注意力机制模块作为编码器，所述卷积神经网络模块作为解码器；/>[0010]利用预设的噪声图像集合对所述融合网络进行模型训练，得到所述图像去噪融合网络。
[0011]具体地，所述噪声图像集合包括噪声图像和真实图像，所述噪声图像与所述真实图像对应；所述利用预设的噪声图像集合对所述融合网络进行模型训练，得到所述图像去噪融合网络，包括：
[0012]利用所述融合网络中的编码器提取所述噪声图像集合中噪声图像的全局图像特征；
[0013]利用所述融合网络中的解码器对所述全局图像特征进行局部特征提取并恢复，得到恢复图像；
[0014]利用所述恢复图像与所述恢复图像对应的噪声图像，得到干净图像；
[0015]利用所述干净图像，和所述恢复图像对应的真实图像，计算联合损失；
[0016]在所述联合损失不满足预设的损失阈值的情况下，调整所述融合网络的网络参
数，直至在所述联合损失满足预设的损失阈值的情况下，得到所述图像去噪融合网络。
[0017]详细地，所述利用所述干净图像，和所述恢复图像对应的噪声图像，计算联合损失，包括：
[0018]对所述干净图像进行归一化处理，得到归一化结果；
[0019]对所述恢复图像对应的真实图像进行归一化处理，得到真实结果；
[0020]利用所述归一化结果及所述真实结果，计算第一损失；
[0021]对所述归一化结果及所述真实结果进行频率转换，并根据频率转换结果计算第二损失；
[0022]基于所述第一损失及所述第二损失计算联合损失。
[0023]具体地，所述注意力机制模块为可分离卷积的Transformer模块，所述卷积神经网络模块为多通道的多尺度卷积神经网络模块。
[0024]详细地，所述可分离卷积的Transformer模块包括可分离卷积局部窗口多头注意力机制子模块，及多尺度增强前馈网络子模块，其中，所述可分离卷积局部窗口多头注意力机制子模块用于增强图像的局部特征，所述多尺度增强前馈网络子模块用于整合增强后的局部特征得到全局图像特征。
[0025]可选地，所述多通道的多尺度卷积神经网络模块基于通道分离及通道拼接的并行卷积模块构建，用于对所述全局图像特征进行通道分离及通道拼接，得到多尺度的局部特征。
[0026]第二方面，本申请实施例提供了一种图像去噪装置，包括：
[0027]图像接收模块，用于获取待处理含噪图像；
[0028]图像去噪模块，用于利用预训练的图像去噪融合网络对所述待处理含噪图像进行图像去噪处理，得到去噪图像，其中，所述图像去噪融合网络为基于注意力机制模块与卷积神经网络模块构建的分层融合网络，所述注意力机制模块用于提取所述待处理含噪图像的全局图像特征，所述卷积神经网络模块用于提取所述全局图像特征对应的局部特征并恢复。
[0029]第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的图像去噪方法的步骤。
[0030]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的图像去噪方法的步骤。
[0031]第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面任一项所述的图像去噪方法。
[0032]本申请实施例与现有技术相比存在的有益效果是：
[0033]本申请实施例中，通过使用基于注意力机制模块与卷积神经网络模块融合的分层架构构建的图像去噪融合网络对待处理含噪图像去噪。具体地，基于图像去噪融合网络中的注意力机制模块可以有效提取待处理含噪图像的全局图像特征，再进一步通过图像去噪融合网络中卷积神经网络模块提取全局图像特征对应的局部特征并恢复，得到去噪图像。由于全局图像特征仅考虑待处理含噪图像中的全局背景信息，未考虑待处理含噪图像中噪
声分布区域的不同，在关注待处理含噪图像的全局图像特征的基础上进一步利用卷积神经网络模块关注该待处理含噪图像的局部特征，可以保留较多的局部背景信息，提高图像去噪效果。同时，图像去噪时，图像去噪融合网络的分层框架可以保证逐层对图像的特征进行处理，有利于模型学习到更加多样、全面的特征。即本申请实施例所提供的图像去噪融合网络可以充分利用注意力机制及卷积神经网络两种架构的优点，进一步提升图像去噪算法的性能，提高图像去噪的效果。
附图说明
[0034]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]图1是本申请一实施例提供的图像去噪方法的流程示意图；
[0036]图2是本申请一实施例提供的可分离卷积局部窗口多头注意力机制子模块的示意图；
[0037]图3是本申请一实施例提供的多尺度增强前馈网络子模块的示意图；
[0038]图4是本申请一实施例提供的多通道的多尺度卷积神经网络模块的示意图；
[0039]图5是本申请另一实施例提供的图像去雨融合网络的示意图；
[0040]图6是本申请实施例提供的图像去噪装置的结构示意图；
[0041]图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像去噪方法，其特征在于，包括：获取待处理含噪图像；利用预训练的图像去噪融合网络对所述待处理含噪图像进行图像去噪处理，得到去噪图像，其中，所述图像去噪融合网络为基于注意力机制模块与卷积神经网络模块构建的分层融合网络，所述注意力机制模块用于提取所述待处理含噪图像的全局图像特征，所述卷积神经网络模块用于提取所述全局图像特征对应的局部特征并恢复。2.如权利要求1所述的图像去噪方法，其特征在于，在所述利用预训练的图像去噪融合网络对所述待处理含噪图像进行图像去噪处理之前，还包括：基于注意力机制模块及卷积神经网络模块构建分层编码器
‑
解码器框架的融合网络，所述融合网络由多层所述注意力机制模块及多层所述卷积神经网络模块融合得到，其中，所述注意力机制模块作为编码器，所述卷积神经网络模块作为解码器；利用预设的噪声图像集合对所述融合网络进行模型训练，得到所述图像去噪融合网络。3.如权利要求2所述的图像去噪方法，其特征在于，所述噪声图像集合包括噪声图像和真实图像，所述噪声图像与所述真实图像对应；所述利用预设的噪声图像集合对所述融合网络进行模型训练，得到所述图像去噪融合网络，包括：利用所述融合网络中的编码器提取所述噪声图像集合中噪声图像的全局图像特征；利用所述融合网络中的解码器对所述全局图像特征进行局部特征提取并恢复，得到恢复图像；利用所述恢复图像与所述恢复图像对应的噪声图像，得到干净图像；利用所述干净图像，和所述恢复图像对应的真实图像，计算联合损失；在所述联合损失不满足预设的损失阈值的情况下，调整所述融合网络的网络参数，直至在所述联合损失满足预设的损失阈值的情况下，得到所述图像去噪融合网络。4.如权利要求3所述的图像去噪方法，其特征在于，所述利用所述干净图像，和所述恢复图像对应的噪声图像，计算联合损失，包括：对所述干净图像进行归一化处理，得到归一化结果；对所述恢复图像对应的真实图像进行...

【专利技术属性】
技术研发人员：程冰，吴金勇，杨洪余，李海龙，陈宁，
申请(专利权)人：深圳云天励飞技术股份有限公司，
类型：发明
国别省市：