一种基于多维度图像信息融合的垃圾图像去噪方法技术

本发明专利技术提供了一种基于多维度图像信息融合的垃圾图像去噪方法，分别使用两个子网络对二维图像和三维图像进行互补信息提取，获取更多图像细节特征，引入动态自注意力模块削减二维图像噪声，其中动态卷积自适应地学习不同输入垃圾图像的动态噪声特征，并利用自注意力机制定位动态噪声特征中的显著性前景信息，抑制不重要背景信息；引入基于自适应稀疏机制的Transformer，对三维垃圾图像信息的远距离依赖关系进行建模，构建自适应稀疏机制。本发明专利技术克服卷积神经网络感受野局限性，降低Transformer自注意力运算量，通过二维与三维图像特征融合，能很好改善对垃圾图像去噪效果，提升后续垃圾分类、检测等任务的精确度。检测等任务的精确度。检测等任务的精确度。

【技术实现步骤摘要】
一种基于多维度图像信息融合的垃圾图像去噪方法


[0001]本专利技术涉及图像处理与计算机视觉领域，尤其涉及一种基于融合卷积神经网络的图像去噪方法。

技术介绍

[0002]图像去噪技术用于去除图像中存在的噪声信息，还原干净图像，促进图像处理应用的推广。经典的图像去噪方法利用图像中的冗余信息或图像域变换等方式遏制噪声，还原图像。例如，非局部像相似性方法利用了整幅图像来去噪，以图像块为单位在图像中寻找相似区域，再对这些区域求平均，能够比较好的去掉图像中存在的高斯噪声。其中干净图像中像素的估计值由图像中与它具有相似邻域结构的像素加权平均得到。而基于变换域的处理方法主要依赖于噪声信号与图像信号在频域内的差异性，对两种信号进行分离。以频域为例，图像的轮廓、边缘和噪声等分量在频域内对应高频部分，大面积背景区域则对应频域低频部分。根据对应频率特性进行协同滤波能进行有效去噪。然而，这些传统方法面临去噪速率不高且需要手动调参以适应不同噪声等挑战。
[0003]基于深度学习的方式能较好地解决这些问题。深度学习具有自动图像特征提取和学习的特性，可以较好地对噪声进行拟合，而且能降低去噪时间。基于深度学习的图像去噪方法采用多种神经网络架构提升特征表达能力，如残差网络、生成对抗网络和图神经网络等。其中，基于残差网络的去噪方法通过跳跃连接，解决深度网络的梯度消失问题，并且将浅层噪声信息与深层语义特征相连，每层网络学习只需要学习较少内容，降低优化难度。基于残差网络的去噪方法能够明显增大模型深度，提高表达能力，但多次使用跳跃连接容易导致模型出现过拟合问题。基于生成对抗网络的去噪方法包括两个模型。其中一个是生成模型，负责对噪声图像上的噪声信息进行提取，生成干净图像；另一个是判别模型，负责判断模型生成的干净噪声是否足够真实。生成模型和判别模型不断迭代地进行对抗学习，最终达到理想状态。基于生成对抗网络去噪方法的对抗学习策略能够较好地拟合图像噪声分布，然而模型训练存在难度，训练方式不够稳定。基于图神经网络的方法首先对于每一个像素点，计算在特征空间内与其他像素点的欧氏距离，构造K近邻图。然后对根据每个像素点最近的K个像素，利用边缘条件卷积的方式聚合成干净的图像。这种网络化拓扑结构适用于密集噪声分布，但拓扑结构复杂，同样存在训练困难的问题。以上方法在一般场景下具有较好效果，但在垃圾图像去噪方便存在挑战。垃圾图像具有本身背景环境杂乱、光照昏暗等特点，直接运用这些架构不能取得明显效果。因此，提出一种适用于垃圾图像场景下的图像去噪方法具有重要性。

技术实现思路

[0004]为了克服现有技术的不足，本专利技术提供一种基于多维度图像信息融合的垃圾图像去噪方法，实现通过多维度图像信息融合进行垃圾图像去噪。本专利技术主要从三方面实现提高垃圾图像去噪效果：引入二维图像与三维图像信息融合机制，不同于现有的基于二维图
像去噪方法，本专利技术能够分别使用两个子网络对二维图像和三维图像进行互补信息提取，获取更多图像细节特征，最终提升对二维图片的去噪性能；引入动态自注意力模块削减二维图像噪声，其中动态卷积自适应地学习不同输入垃圾图像的动态噪声特征，并利用自注意力机制定位动态噪声特征中的显著性前景信息，抑制不重要背景信息；引入基于自适应稀疏机制的Transformer，对三维垃圾图像信息的远距离依赖关系进行建模，充分利用三维图像的丰富信息还原图像细节。此外，构建自适应稀疏机制，解决稀疏Transformer需要手动选取稀疏节点数量的问题，降低引入Transformer模型带来的计算量的提升，同时最大化筛选出向量序列的显著性。因此，本专利技术具有研究意义和现实意义。
[0005]一种基于多维度图像信息融合的垃圾图像去噪方法，具体步骤如下：
[0006]步骤1：将二维训练数据集进行维度转换，转换为三维训练数据集；
[0007]步骤2：将二维训练数据集输入动态自注意力模块，并通过动态自注意力模块，提取二维垃圾噪声特征；
[0008]步骤3：将步骤1获得的三维训练数据集输入基于自适应稀疏机制的Transformer网络，通过基于自适应稀疏机制的Transformer网络，提取三维训练数据集的三维垃圾噪声特征；
[0009]步骤4：将步骤3获得的三维垃圾噪声特征进行维度转换，转换为二维数据，二维数据与步骤2获得的二维垃圾噪声特征进行融合；
[0010]步骤5：将步骤4融合后的噪声输入融合网络，通过残差计算，获得干净垃圾图像；残差计算为将二维噪声图像与融合网络三个卷积处理层的输出进行相减操作；
[0011]步骤6：通过损失函数计算步骤5获取的输出图像与干净标签垃圾图像的损失，不断优化模型参数，直至所得误差达到任务要求精度范围内即可，得到优化后的去噪模型；
[0012]步骤7：将待去噪垃圾图像输入步骤6优化后的去噪模型，即可得到去噪后的干净图像。
[0013]所述基于自适应稀疏机制的Transformer网络，接收到三维训练数据集后，将3D图像块输入线性映射层，线性映射层将三维垃圾图像块映射为特征向量，特征向量进入位置嵌入层，位置嵌入层为垃圾图像远距离依赖关系提供输入序列的线索，输出携带位置信息的特征向量序列，带有位置信息的特征向量依次通过6个基于自适应稀疏Transformer子模块，即可提取得到三维训练数据集的三维垃圾噪声特征。
[0014]所述Transformer子模块包括2个层归一化、1个多头自注意力层、多层线性感知机MLP和自适应稀疏机制，将输入做层归一化，然后将归一化后的向量序列复制为三份，分别得到三个注意力输入查询向量序列Q、键值向量序列K和内容向量序列V，同时将归一化后的向量序列输入全连接层，以获取用于稀疏机制的位置偏移向量，配合另行定义的可学习参数D作为稀疏机制显著性向量数目，位置偏移向量、可学习参数D、键值向量序列K和内容向量序列V经过稀疏转换获得稀疏键值向量序列和稀疏内容向量序列，接着将查询向量序列Q、稀疏键值向量序列与稀疏内容向量序列输入多头自注意力块，使模型学习图像内部长距离依赖，所得多头自注意力块输出与层归一化输出进行残差相加，以降低模型训练难度；所得残差结果再用输入层归一化和多层线性感知机，并再次与上一个残差结果进行残差相加，从而得到最终输出。
[0015]本专利技术还提供一种动态自注意力模块，所述动态自注意力模块为4个依次连接的
动态自注意力子模块，4个动态自注意力子模块顺序相连，每个自注意力子模块包含1个动态卷积处理层、2个卷积处理层和1个单一卷积层；将特征图依次输入动态卷积处理层、先后2个卷积处理层和单一卷积层，然后将卷积权重取出，分别做空间归一化和通道归一化，分别获得卷积权重空间注意力矩阵与卷积权重通道注意力向量，所述空间注意力矩阵与通道注意力向量分别按照对应空间维度与通道维度，与卷积输出的特征图进行点乘，分别获取空间自注意力结果与通道自注意力结果，最后将空间自注意力结果与通道自注意力结果相加，获得动态自注意力模块输出结果。
[0016]所述动态卷积处理层包括动态卷积层、批归一化(Bat本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多维度图像信息融合的垃圾图像去噪方法，其特征在于包括下述步骤：步骤1：将二维训练数据集进行维度转换，转换为三维训练数据集；步骤2：将二维训练数据集输入动态自注意力模块，并通过动态自注意力模块，提取二维垃圾噪声特征；步骤3：将步骤1获得的三维训练数据集输入基于自适应稀疏机制的Transformer网络，通过基于自适应稀疏机制的Transformer网络，提取三维训练数据集的三维垃圾噪声特征；步骤4：将步骤3获得的三维垃圾噪声特征进行维度转换，转换为二维数据，二维数据与步骤2获得的二维垃圾噪声特征进行融合；步骤5：将步骤4融合后的噪声输入融合网络，通过残差计算，获得干净垃圾图像；残差计算为将二维噪声图像与融合网络三个卷积处理层的输出进行相减操作；步骤6：通过损失函数计算步骤5获取的输出图像与干净标签垃圾图像的损失，不断优化模型参数，直至所得误差达到任务要求精度范围内即可，得到优化后的去噪模型；步骤7：将待去噪垃圾图像输入步骤6优化后的去噪模型，即可得到去噪后的干净图像。2.一种根据权利要求1所述基于多维度图像信息融合的垃圾图像去噪方法的Transformer网络，其特征在于：所述基于自适应稀疏机制的Transformer网络，接收到三维训练数据集后，将3D图像块输入线性映射层，线性映射层将三维垃圾图像块映射为特征向量，特征向量进入位置嵌入层，位置嵌入层为垃圾图像远距离依赖关系提供输入序列的线索，输出携带位置信息的特征向量序列，带有位置信息的特征向量依次通过6个基于自适应稀疏Transformer子模块，即可提取得到三维训练数据集的三维垃圾噪声特征。3.根据权利要求2所述的Transformer网络，其特征在于：所述Transformer子模块包括2个层归一化、1个多头自注意力层、...

【专利技术属性】
技术研发人员：田春伟，肖景钰，高浩洋，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：