基于自适应多光谱编码的图像去摩尔纹系统及方法技术方案

本发明专利技术涉及一种基于自适应多光谱编码的图像去摩尔纹系统，包括数据处理模块、模型训练模块和图像处理模块，数据处理模块用于对获取的原始训练集中的图像进行数据增强处理，得到训练数据集；模型训练模块用于使用训练数据集对去摩尔纹网络模型进行训练，图像处理模块用于利用训练好的去摩尔纹网络模型在测试图像上进行去摩尔纹处理，得到去摩尔纹处理后的图像。本发明专利技术提出了自适应多光谱编码模块，利用自适应多光谱编码模块对摩尔纹进行动态编码，有助于模型学习摩尔纹之前的频率并清晰地还原摩尔纹图像，实现对摩尔纹的有效去除，且通过去摩尔纹子模块实现自适应和长距离的相关性，同时引入较少的归纳偏置，学习关于摩尔纹图像的全局和局部信息。纹图像的全局和局部信息。纹图像的全局和局部信息。

【技术实现步骤摘要】
基于自适应多光谱编码的图像去摩尔纹系统及方法


[0001]本专利技术涉及图像处理
，尤其是指一种基于自适应多光谱编码的图像去摩尔纹系统及方法。

技术介绍

[0002]摩尔纹通常以彩色条纹、波纹或曲线的形式出现，对拍摄距离和相机方向很敏感，这严重降低了拍摄图像的视觉质量。造成摩尔纹的一个常见例子是用智能手机拍摄数字屏幕。更特别的是，数码屏幕是由液晶显示器组成的，它的纹理结构与数码相机传感器的彩色滤镜阵列相似。因此，它们之间的不完美对齐会导致摩尔纹。与去噪、超分辨率重建、去马赛克等图像修复问题不同，图像中的摩尔纹图案是动态的，具有广泛的频率分布，既包括低频部分，也包括高频部分。因此，摩尔纹的宽频谱特性，以及摩尔纹和动态纹理特性是图像去摩尔纹的两个主要挑战。
[0003]现有的去摩尔纹技术大多是使用人工设计滤波器或者使用图像分解等方法，这些方法都需要先验信息来指导或规范化，并不能有效的去除摩尔纹，而且这种方法去除摩尔纹的结果往往过于平滑，普遍缺乏高频细节，即这些方法不能考虑到摩尔纹的宽频谱特性，无法在摩尔纹的不同尺度下对摩尔纹进行去除，导致这种做法往往只能去除某一小范围的摩尔纹。并且摩尔纹还是一种具有宽频谱特性的特殊噪声，其不同于一般的高斯噪声以及其他类型的噪声，对于这些噪声只需要在高频上进行处理，即可以有效的去除噪声。而摩尔纹的频谱分布包含了高频和低频，因此为了有效的去除摩尔纹，必须考虑到摩尔纹的宽频谱特性。此外，现有的方法未能处理摩尔纹纹理的动态性质，基于卷积的网络很难获得摩尔纹通道之间的长距离依赖性，也很难捕捉到空间和通道的适应性，这对于处理摩尔纹纹理的动态特性是无效的。

技术实现思路

[0004]为此，本专利技术所要解决的技术问题在于克服现有技术存在的问题，提出一种基于自适应多光谱编码的图像去摩尔纹系统及方法，其提出了自适应多光谱编码模块，利用自适应多光谱编码模块对摩尔纹进行动态编码，有助于模型学习摩尔纹之前的频率并清晰地还原摩尔纹图像，实现对摩尔纹的有效去除，且通过去摩尔纹子模块实现自适应和长距离的相关性，同时引入较少的归纳偏置，学习关于摩尔纹图像的全局和局部信息。
[0005]为解决上述技术问题，本专利技术提供一种基于自适应多光谱编码的图像去摩尔纹系统，包括：
[0006]数据处理模块，其用于对获取的原始训练集中的图像进行数据增强处理，得到训练数据集；
[0007]模型训练模块，其用于使用训练数据集对去摩尔纹网络模型进行训练，所述去摩尔纹网络模型包括多个分支网络，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中的摩尔纹图像
特征进行学习，得到训练好的去摩尔纹网络模型；
[0008]图像处理模块，其用于利用训练好的去摩尔纹网络模型在测试图像上进行去摩尔纹处理，得到去摩尔纹处理后的图像；
[0009]其中，每个分支网络均包括自适应多光谱编码模块，所述自适应多光谱编码模块用于对不同分辨率的摩尔纹图像特征进行自适应编码。
[0010]在本专利技术的一个实施例中，所述去摩尔纹网络模型包括三个分支网络，第一个分支网络对输入的训练数据集中的图像进行下采样得到分辨率为原始图像1/2的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第二个分支网络对分辨率为原始图像1/2的下采样特征图进行下采样得到分辨率为原始图像1/4的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第三个分支网络对分辨率为原始图像1/4的下采样特征图进行下采样得到分辨率为原始图像1/8的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征。
[0011]在本专利技术的一个实施例中，每个分支网络均包括下采样模块，所述下采样模块用于对输入的图像进行下采样得到多个不同分辨率的下采样特征图。
[0012]在本专利技术的一个实施例中，所述自适应多光谱编码模块包括去摩尔纹子模块、多光谱注意力层和归一化层，所述去摩尔纹子模块用于对下采样特征图进行摩尔纹图像全局特征和局部特征的提取，所述多光谱注意力层用于学习提取的摩尔纹图像特征，所述归一化层用于对摩尔纹图像特征进行多光谱特征编码。
[0013]在本专利技术的一个实施例中，所述去摩尔纹子模块包括改进残差块、大核注意力和多层感知机，所述改进残差块包括深度7
×
7卷积层和两个1
×
1卷积层，其中两个1
×
1卷积层之间连接GELU激活函数；所述大核注意力包括深度卷积层、深度扩张卷积层和1
×
1卷积层；所述多层感知机包括全连接层、深度卷积层、GELU激活函数和两个随机失活操作层，其中两个随机失活操作层之间连接有全连接层。
[0014]在本专利技术的一个实施例中，所述模型训练模块在使用训练数据集对去摩尔纹网络模型进行训练时，首先要初始化去摩尔纹网络模型的权重，然后采用训练数据集对初始化后的去摩尔纹网络模型进行训练，每批次训练取多个图像，并使得损失函数的损失最小，其中损失函数l为：
[0015][0016]式中I和分别表示原始高清图像和生成的去摩尔纹图像，I(i,j)表示图像I中的第i行第j列的像素值，M和N分别表示图像的宽度和高度，B表示每批次的图像数量,ε表示Charbonnier惩罚系数。
[0017]此外，本专利技术还提供一种基于自适应多光谱编码的图像去摩尔纹方法，包括以下步骤：
[0018]对获取的原始训练集中的图像进行数据增强处理，得到训练数据集；
[0019]使用训练数据集对去摩尔纹网络模型进行训练，所述去摩尔纹网络模型包括多个分支网络，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中摩尔纹图像的特征信息进行学习，得
到训练好的去摩尔纹网络模型；
[0020]利用训练好的去摩尔纹网络模型在测试图像上进行去摩尔纹处理，得到去摩尔纹处理后的图像；
[0021]其中，每个分支网络均包括自适应多光谱编码模块，使用所述自适应多光谱编码模块对不同分辨率的摩尔纹图像特征进行自适应编码。
[0022]在本专利技术的一个实施例中，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中摩尔纹图像的特征信息的方法包括：
[0023]所述去摩尔纹网络模型包括三个分支网络，第一个分支网络对输入的训练数据集中的图像进行下采样得到分辨率为原始图像1/2的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第二个分支网络对分辨率为原始图像1/2的下采样特征图进行下采样得到分辨率为原始图像1/4的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第三个分支网络对分辨率为原始图像1/4的下采样特征图进行下采样得到分辨率为原始图像1/8的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征。
[0024]在本专利技术的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自适应多光谱编码的图像去摩尔纹系统，其特征在于，包括：数据处理模块，其用于对获取的原始训练集中的图像进行数据增强处理，得到训练数据集；模型训练模块，其用于使用训练数据集对去摩尔纹网络模型进行训练，所述去摩尔纹网络模型包括多个分支网络，多个分支网络对输入的训练数据集中的图像进行下采样得到多个不同分辨率的下采样特征图，并提取不同分辨率的下采样特征图中的摩尔纹图像特征进行学习，得到训练好的去摩尔纹网络模型；图像处理模块，其用于利用训练好的去摩尔纹网络模型在测试图像上进行去摩尔纹处理，得到去摩尔纹处理后的图像；其中，每个分支网络均包括自适应多光谱编码模块，所述自适应多光谱编码模块用于对不同分辨率的摩尔纹图像特征进行自适应编码。2.如权利要求1所述的基于自适应多光谱编码的图像去摩尔纹系统，其特征在于：所述去摩尔纹网络模型包括三个分支网络，第一个分支网络对输入的训练数据集中的图像进行下采样得到分辨率为原始图像1/2的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第二个分支网络对分辨率为原始图像1/2的下采样特征图进行下采样得到分辨率为原始图像1/4的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征；第三个分支网络对分辨率为原始图像1/4的下采样特征图进行下采样得到分辨率为原始图像1/8的下采样特征图，并提取该分辨率的下采样特征图中的摩尔纹图像特征。3.如权利要求1或2所述的基于自适应多光谱编码的图像去摩尔纹系统，其特征在于：每个分支网络均包括下采样模块，所述下采样模块用于对输入的图像进行下采样得到多个不同分辨率的下采样特征图。4.如权利要求1所述的基于自适应多光谱编码的图像去摩尔纹系统，其特征在于：所述自适应多光谱编码模块包括去摩尔纹子模块、多光谱注意力层和归一化层，所述去摩尔纹子模块用于对下采样特征图进行摩尔纹图像全局特征和局部特征的提取，所述多光谱注意力层用于学习提取的摩尔纹图像特征，所述归一化层用于对摩尔纹图像特征进行多光谱特征编码。5.如权利要求4所述的基于自适应多光谱编码的图像去摩尔纹系统，其特征在于：所述去摩尔纹子模块包括改进残差块、大核注意力和多层感知机，所述改进残差块包括深度7
×
7卷积层和两个1
×
1卷积层，其中两个1
×
1卷积层之间连接GELU激活函数；所述大核注意力包括深度卷积层、深度扩张卷积层和1
×
1卷积层；所述多层感知机包括全连接层、深度卷积层、GELU激活函数和两个随机失活操作层，其中两个随机失活操作层之间连接有全连接层。6.如权利要求1所述的基于自适应多光谱编码的图像去摩尔纹系统，其特征在于：所述模型训练模块在使用训练数据集对去摩尔纹网络模型进行训练时，首先要初始化去摩尔纹网络模型的权重，然后采用训练数据集对初始化后的去摩尔纹网络模型进行训练，每批次训练取多个图像，并使得损...

【专利技术属性】
技术研发人员：张莉，代强，赵雷，王邦军，李映，
申请(专利权)人：苏州大学，
类型：发明
国别省市：