基于多尺度动态特征聚合的图像摩尔纹噪声去除方法技术

本发明专利技术公开一种基于多尺度动态特征聚合的图像摩尔纹噪声去除方法，分别构造残差密集块、尺度特征提取融合模块和主旁路动态编码模块，将残差密集块和尺度特征提取融合模块融合为组合模块，并对组合模块采用跳跃连接，主旁路动态编码模块结构采用残差连接，组合模块与主旁路动态编码模块按照预设方式耦合，构成深度卷积神经网络。本发明专利技术的有益效果是：针对摩尔纹噪音的多尺度特征融合不足提出了多尺度特征提取融合模块用于更好的利用多尺度特征信息，更好的实现信息的交流融合，同时，针对摩尔纹噪音的动态纹理特征提出了主旁路动态编码模块专门用于编码样本自适应的摩尔纹噪音。最终将两种模块整合进一个框架以实现摩尔纹噪音的去除。噪音的去除。噪音的去除。

【技术实现步骤摘要】
基于多尺度动态特征聚合的图像摩尔纹噪声去除方法


[0001]本专利技术涉及图像去噪复原
，尤其涉及一种基于多尺度动态特征聚合的图像摩尔纹噪声去除方法。

技术介绍

[0002]电子屏幕是一种广泛存在的信息媒介，用于将计算机的视觉信息传递给用户。为了即时记录和分享信息，通过软件或者智能手机等便携式相机抓拍屏幕上呈现的内容已经成为了常见情况。但是，这类捕获的屏幕图像往往会受到摩尔纹噪音的影响，从而降低其视觉质量。摩尔纹噪音区别于常见的高斯噪音、椒盐噪音等由传感器等元器件工作中引入的噪音，是由于相机的滤色器阵列(CFA)和屏幕的LCD子像素之间广泛存在的频率混叠产生的。在表现形式上，摩尔纹噪音整体会呈现是条状、涟漪、波纹等多尺度的形状，并伴随着空间变化的颜色失真，严重降低了图像质量。此外，在扫描仪和印刷中，摩尔纹也是一个常见的问题。去摩尔纹技术可以帮助减少噪点和干扰，提高扫描和印刷的清晰度和细节。在医学影像中，CT扫描、MRI和数字X光常常产生不想要的摩尔纹干扰，影响影像质量和诊断结果。去摩尔纹技术可以提高影像质量和可读性，有助于医学影像的准确分析和诊断。因此，图像去除摩尔纹噪音具有很大的实际意义。
[0003]图像去摩尔纹噪音方式分为两大类：第一类为预处理，通过在拍摄设备中添加特殊的光学滤镜或镜片，并调整屏幕设置，更改其色温、亮度等，从而减弱摩尔纹；第二类方式为后处理，通过特定算法消除图像中的摩尔纹噪声。鉴于抓拍屏幕内容的便捷性和即时性，以及去摩尔纹的普遍需求和经济性，将第二类去摩尔纹噪音方式以软件的方式嵌入设备的处理模块中更为合适。
[0004]当前的摩尔纹去噪算法存在两点不足，一是对多尺度信息的交流融合有所欠缺，虽然大多数方法都注意到摩尔纹噪音的多尺度特性并采用了相应的多尺度网络架构或者模块，但是这些结构和模块都对多尺度信息的处理十分粗糙，常见的有多尺度特征直接拼接、相加等，缺少了信息之间的交流融合；二是对摩尔纹噪音动态纹理的编码有所不足，虽然已经开始有人针对此特性做了一定尝试，但去摩尔纹噪音效果并不令人满意。

技术实现思路

[0005]针对上述问题，本专利技术提出一种基于多尺度动态特征聚合的图像摩尔纹噪声去除方法，主要解决现有摩尔纹去噪算法对多尺度信息的交流融合有所欠缺、动态纹理的编码不足，导致去摩尔纹噪音效果欠佳的问题。
[0006]为解决上述技术问题，本专利技术的技术方案如下：
[0007]一种基于多尺度动态特征聚合的图像摩尔纹噪声去除方法，包括以下步骤：
[0008]选择去摩尔纹噪音数据集，根据所述去摩尔纹噪音数据集的性质生成训练使用的图像对；
[0009]分别构造残差密集块、尺度特征提取融合模块和主旁路动态编码模块，将所述残
差密集块和所述尺度特征提取融合模块融合为组合模块，并对所述组合模块采用跳跃连接，所述主旁路动态编码模块结构采用残差连接，所述组合模块与所述主旁路动态编码模块按照预设方式耦合，构成深度卷积神经网络；
[0010]将所述图像对中带摩尔纹噪音图像输入所述深度卷积神经网络，输出去摩尔纹噪音图像；
[0011]计算所述去摩尔纹噪音图像与所述图像对中的清晰图像之间的损失函数，并对所述深度卷积神经网络进行训练；
[0012]从所述去摩尔纹噪音数据集中选择测试集，将所述测试集中带摩尔纹噪音图像输入训练好的所述深度卷积神经网络，输出对应的去摩尔纹噪音图像。
[0013]本专利技术的有益效果为：针对摩尔纹噪音的多尺度特征融合不足提出了多尺度特征提取融合模块用于更好的利用多尺度特征信息，更好的实现信息的交流融合，同时，针对摩尔纹噪音的动态纹理特征提出了主旁路动态编码模块专门用于编码样本自适应的摩尔纹噪音。最终将两种模块整合进一个框架以实现摩尔纹噪音的去除。
附图说明
[0014]图1为本专利技术实施例公开的基于多尺度动态特征聚合的图像摩尔纹噪声去除方法的流程示意图；
[0015]图2为本专利技术实施例公开的残差密集块和多尺度特征提取融合模块的结构示意图；
[0016]图3为本专利技术实施例公开的主旁路动态编码模块的结构示意图；
[0017]图4为本专利技术实施例公开的改良后DDF模块结构示意；
[0018]图5为本专利技术实施例公开的深度卷积神经网络的结构示意图。
具体实施方式
[0019]为使本专利技术的目的、技术方案及优点更加清楚、明确，下面结合附图和具体实施方式对本专利技术的内容做进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部内容。
[0020]本实施例提出了一种基于多尺度动态特征聚合的图像摩尔纹噪声去除方法，针对摩尔纹噪音的多尺度特征融合不足提出了多尺度特征提取融合模块用于更好的利用多尺度特征信息，更好的实现信息的交流融合，同时，针对摩尔纹噪音的动态纹理特征提出了主旁路动态编码模块专门用于编码样本自适应的摩尔纹噪音。最终将两种模块整合进一个框架以实现摩尔纹噪音的去除。
[0021]如图1所示，包括以下步骤S1
‑
S5：
[0022]S1，选择去摩尔纹噪音数据集，根据去摩尔纹噪音数据集的性质生成训练使用的图像对。
[0023]在本实施例中，上述的去摩尔纹噪音数据集为网络上公开的图像数据集，专门用于去摩尔纹噪音的模型使用，在图像数据集中选择带摩尔纹噪音的图像和对应的清晰图像，同时裁剪相同位置大小为r
×
r的图像区域块，再根据具体情况进行缩放。
[0024]在本实施例中，备选的去摩尔纹噪音数据集可以是UHDM、TIP2018和LCDMoire。具体地，UHDM和TIP2018是真实数据集，会存在带摩尔纹图像和对应清晰图像间未对齐的现象，而LCDMoire是合成数据集，不会出现未对齐的现象。而真实数据集的数据分布和内容会更丰富更复杂，接近真实情况。当选择UHDM时，由于UHDM是4K分辨率的图像，且图像周围没有用于定位图像的边框，因此随机裁剪r＝768的图像区域并且不采取缩放操作；当选择TIP2018时，由于TIP2018图像周围有纯白/黑的用于定位图像的边框，因此裁剪中心2/3的区域并将其缩放到256
×
256的图像；而当选择LCDMoire时，则随机裁剪r＝512的图像区域并且不采取缩放操作。
[0025]S2，分别构造残差密集块、尺度特征提取融合模块和主旁路动态编码模块，将残差密集块和尺度特征提取融合模块融合为组合模块，并对组合模块采用跳跃连接，主旁路动态编码模块结构采用残差连接，组合模块与主旁路动态编码模块按照预设方式耦合，构成深度卷积神经网络。
[0026]在本实施例中，残差密集块的作用是提取图像特征，充分利用所有卷积层的层次特征，而跳跃连接(残差)用于解决梯度传递中的梯度消失/爆炸问题。将其与尺度特征提取融合模块组合的原因是认为残差密集块可以提取到丰富的图像特征信息，而尺度特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多尺度动态特征聚合的图像摩尔纹噪声去除方法，其特征在于，包括以下步骤：选择去摩尔纹噪音数据集，根据所述去摩尔纹噪音数据集的性质生成训练使用的图像对；分别构造残差密集块、尺度特征提取融合模块和主旁路动态编码模块，将所述残差密集块和所述尺度特征提取融合模块融合为组合模块，并对所述组合模块采用跳跃连接，所述主旁路动态编码模块结构采用残差连接，所述组合模块与所述主旁路动态编码模块按照预设方式耦合，构成深度卷积神经网络；将所述图像对中带摩尔纹噪音图像输入所述深度卷积神经网络，输出去摩尔纹噪音图像；计算所述去摩尔纹噪音图像与所述图像对中的清晰图像之间的损失函数，并对所述深度卷积神经网络进行训练；从所述去摩尔纹噪音数据集中选择测试集，将所述测试集中带摩尔纹噪音图像输入训练好的所述深度卷积神经网络，输出对应的去摩尔纹噪音图像。2.如权利要求1所述的基于多尺度动态特征聚合的图像摩尔纹噪声去除方法，其特征在于，所述残差密集块包括m层卷积层，前m
‑
1层的卷积层包括对应尺度通道数量的滤波器和激活函数，第m层的卷积层包括对应尺度通道数量的滤波器，其中，第1层的卷积层的输入为所述图像对，其他层的卷积层的输入为前一层卷积层的输出和所述图像对沿尺度通道维度的拼接，第m层卷积层输出的第一输出值输入到所述尺度特征提取融合模块的输入端。3.如权利要求2所述的基于多尺度动态特征聚合的图像摩尔纹噪声去除方法，其特征在于，所述尺度特征提取融合模块包括n个参数共享的空洞卷积层，各个所述空洞卷积层采用相同的卷积参数，以及采用不同的空洞系数，所述空洞卷积层利用卷积操作捕捉不同尺度大小但形状相似的尺度特征信息，然后将所述尺度特征信息与所述第一输出值沿通道维度拼接，使用1
×
1卷积将不同尺度的所述尺度特征信息进行初步融合并使用激活函数，然后对初步融合的所述尺度特征信息使用通道注意力机制，最后再次使用1
×
1卷积和激活函数完成最终的信息融合，输出第二输出值。4.如权利要求3所述的基于多尺度动态特征聚合的图像摩尔纹噪声去除方法，其特征在于，所述尺度特征提取融合模块输出的所述第二输出值与所述图像对相加，得到最终输出，所述最终输出输入到所述主旁路动态编码模块。5.如权利要求4所述的基于多尺度动态特征聚合的图像摩尔纹噪声去除方法，其特征在于，所述主旁路动态编码模块包括依次堆叠的S个动态编码模块，以及分别耦合在所述动态编码模块前后级的卷积层，每个所述动态编码模块均包括主路和旁路，对于前S
‑
1个所述动态编码模块，每条所述主路均包括一个主路卷积层，以及耦合在主路卷积层后的一个主路DDF模块，每条所述旁路均包括一个旁路卷积层，以及耦合在旁路卷积层后的一个旁路DDF模块，第S个所述动态编码模块的主路包括一个主路卷积层，以及耦合在主路卷积层后的一个主路DDF模块，第S个所述动态编码模块的旁路仅包括一个卷积层，前级的主路DDF和模块和旁路DDF模块分别与后级的主路卷积层和旁路卷积层耦合。6.如权利要求5所述的基于多尺度动态特征聚合的图像摩尔纹噪声去除方法，其特征在于，对于任意的前S
‑
1个所述动态编码模块，同一所述动态编码模块的旁路卷积层还与主
路DDF模块耦合。7.如权利要求1所述的基于多尺度动态特征聚合的图像摩尔纹噪声去除方法，其特征在于，所述深度卷积神经网络包括t层尺度，所述组合模块包括第一组合模块和第二组合模块，每一层尺度均包括依次耦合的第一组合模块、主旁路动态编码模块、第二组合模块和一个...

【专利技术属性】
技术研发人员：许若涛，韦志宇，雷正华，邱云中，
申请(专利权)人：人工智能与数字经济广东省实验室广州，
类型：发明
国别省市：