一种基于可学习频域先验的去摩尔纹系统及方法技术方案

本发明专利技术公开了一种基于可学习频域先验的去摩尔纹系统及方法。本发明专利技术使用一个统一的框架来执行摩尔纹消除和颜色恢复两个任务，通过学习频域先验从图像中分离出摩尔纹，再进行全局和局部的色调映射以实现精确的颜色恢复。通过在索贝尔滤波中引入膨胀率来构造三维索贝尔损失，可以在多个尺度上感知结构高频信息，并显著提高去摩尔纹的性能，改进后的索贝尔滤波器提供了2个45度的附加滤波器。可以使用任何块大小的通带来拟合莫尔条纹的频率先验。通过几个不同密集块大小的可学习滤波带通来拟合频率先验，带来了明显的性能增益，但几乎没有增加额外的计算负担。有增加额外的计算负担。有增加额外的计算负担。

【技术实现步骤摘要】
一种基于可学习频域先验的去摩尔纹系统及方法


[0001]本专利技术属于图像处理
，是基于深度学习的去摩尔纹方法，主要是涉及可学习带通滤波器的去摩尔纹方法。

技术介绍

[0002]当两个相似，重复的线条，圆圈或点的图案与不完美的对齐重叠时，会出现一个新的动态图案。这种新模式称为摩尔纹，可能涉及多种颜色。当两个原始图案相对于彼此移动时，摩尔纹改变其元素的形状和频率。摩尔纹是大规模干涉图案。为了发生这种干涉图案，两个原始图案不能完全对齐。摩尔纹放大了错位。两种原始图案之间最轻微的错位可能会产生大规模，易于看见的摩尔纹。随着未对准程度的增加，摩尔纹的频率也可能增加。要想消除摩尔纹，必须是的屏幕点或条纹的间距小于相机像素尺寸，但这通常是不可能的。
[0003]数字屏幕无处不在，已经成为人们接收信息的最流行的设备之一。与此同时，包含数码相机的移动设备(如智能手机)越来越成为现代生活的重要工具。为屏幕拍照以快速保存信息正成为一种常见的做法。例如，当参加一个学术会议时，人们可能想对显示在数字屏幕上的幻灯片拍照，然后仔细阅读。有时候拍照是保存信息唯一实用的方法。不幸的是，一个常见的副作用是可能出现波纹图案，降低照片的图像质量。当两个重复的图案相互干扰时，就会产生摩尔纹。在拍摄屏幕照片的情况下，相机的滤色器阵列(CFA)会干扰屏幕的子像素布局。云纹图案呈现出颜色、厚度变化很大的图案，并表现为波纹或条纹，对拍摄距离和相机方向很敏感。摩尔纹在不同的图像上不同，甚至在同一图像内也不同。此外，由于屏幕和相机上的颜色系统之间的差异，颜色退化是伴随摩尔纹出现的另一种退化。也就是说，一个通用的图像去噪算法应该同时考虑去除摩尔纹和颜色恢复。尽管人类观察者能够区分摩尔纹，但是从被摩尔纹污染的图像中恢复出潜在的清晰图像是一个不适定的问题。图像先验通常用于解决不适定问题。颜色先验和纹理先验是针对许多不同的图像处理任务而研究得很好的两组先验。颜色先验集中于自然图像或退化图像的一般颜色性质。暗通道先验、颜色线先验和颜色椭球先验是用于图像增强和恢复任务的代表性彩色先验。空间域先验和变换域先验构成了纹理先验。像自相似性和形状先验这样的空间域先验通常用于基于滤波的图像处理。

技术实现思路

[0004]针对现有的去摩尔纹技术在频率，形状和颜色恢复效果不理想的问题，本专利技术提出了一种基于可学习频域先验的去摩尔纹系统及方法，用可学习滤波带通来学习频域先验，该方法使用一个统一的框架来执行摩尔纹消除和颜色恢复两个任务，通过学习频域先验从图像中分离出摩尔纹，再进行全局和局部的色调映射以实现精确的颜色恢复。
[0005]实现步骤：
[0006]一种基于可学习频域先验的去摩尔纹系统，包括摩尔纹消除模块(MPRB)和色调映射模块。所述的色调映射模块包括全局色调映射模块(GTMB)以及局部色调映射模块
(LTMB)。所述的摩尔纹消除模块用于消除摩尔纹，色调映射模块用于重建色彩。
[0007]摩尔纹消除模块(MPRB)：
[0008](1)使用密集块对输入图像进行特征提取，密集块由n个3x3的膨胀卷积和ReLU激活函数组成，采用膨胀卷积的目的是扩大密集区域的感受野。
[0009](2)将可学习的权重与提取后的特征映射一起输入到分块频域逆变换(FDIT)之后，经过一个3x3卷积，把n个密集块的特征映射相加输入到特征缩放层(FSL)来线性约束输出，避免产生过大的梯度。所述的分块频域逆变换采用离散余弦变换(DCT)、离散小波变换(DWT)、离散傅里叶变换(DFT)或新的可学习正交变换(LOT)。
[0010](3)引入残差连接在特征域中消除摩尔纹，将输入图像与经过特征缩放层的特征映射相加，作为最终的输出。
[0011]优选的，所述的分块频域逆变换采用离散余弦变换(DWT)。
[0012]全局色调映射模块(GTMB)：
[0013](1)将原始特征映射输入到步长为2的3x3卷积层，经过ReLU激活函数，再输入到全局平均池化层(GAP)中，将特征映射进行全局平均，输出特征映射F，从而使其具有全局的感受野，使网络低层也能利用全局信息，减轻过拟合的发生。
[0014](2)将特征映射F再输入全连接层和ReLU激活函数得到特征映射γ。
[0015](3)将原始特征映射输入到1x1的卷积层，经过ReLU激活函数得到输出特征映射β。
[0016](4)将特征映射γ和β点乘，然后输入到1x1的卷积层，经过ReLU激活函数得到输出。
[0017]局部色调映射模块(LTMB)：
[0018](1)将输入特征映射输入到与摩尔纹消除模块中相同的密集块中，扩大感受野，提取有用信息。
[0019](2)再将密集块的输出送入1x1卷积层，经过ReLU激活函数，得到输出。
[0020]摩尔纹是一种形状噪声而不是像素噪声，因此为了获得更多的特征表达以及减少计算量，我们采用多尺度来扩大感受野。
[0021]模型步骤
[0022]摩尔纹是一种形状噪声而不是像素噪声，因此为了获得更多的特征表达以及减少计算量，我们采用多尺度来扩大感受野，将整个网络框架分为3个分支，每个分支以特定的尺度来消除摩尔纹。
[0023]一种基于可学习频域先验的去摩尔纹方法，步骤如下：
[0024]步骤(1)首先将输入图像进行可逆的2倍下采样得到4个子图像，将四个子图像输入到3x3的卷积层，经过ReLU激活函数，再输入到摩尔纹消除模块中，得到特征映射Z1。
[0025]步骤(2)将特征映射Z1进行2倍下采样，输入到步长为2的3x3卷积层，经过ReLU激活函数，再输入到摩尔纹消除模块(MPRB)，得到特征映射Z2。同理，再将特征映射Z2进行2倍下采样，输入到步长为2的3x3卷积层，经过ReLU激活函数，再输入到摩尔纹消除模块(MPRB)，得到特征映射Z3。
[0026]步骤(3)将特征映射Z3输入全局色调映射模块(GTMB)和局部色调映射模块(LTMB)，再经过3x3的卷积层和2倍上采样得到分支三的输出特征映射Z3
’
。
[0027]步骤(4)将特征映射Z2和分支三的输出特征映射Z3
’
叠加，依次经过1x1的卷积层，
ReLU激活函数，全局色调映射模块(GTMB)，摩尔纹消除模块(MPRB)，全局色调映射模块(GTMB)，局部色调映射模块(LTMB)，3x3卷积层和2倍上采样，得到分支二的输出特征映射Z2
’
。
[0028]步骤(5)将特征映射Z1与分支二的输出特征映射Z2
’
叠加，依次经过1x1的卷积层，ReLU激活函数，全局色调映射模块(GTMB)，摩尔纹消除模块(MPRB)，全局色调映射模块(GTMB)，局部色调映射模块(LTMB)，3x3卷积层和2倍上采样，得到分支一的输出特征映射即最终输出特征映射Z1
’
。
[0029]步骤(6)采用L1损失作为基本损失函数，但本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可学习频域先验的去摩尔纹系统，其特征在于，包括摩尔纹消除模块和色调映射模块；所述的色调映射模块包括全局色调映射模块以及局部色调映射模块；所述的摩尔纹消除模块用于消除摩尔纹，色调映射模块用于重建色彩；摩尔纹消除模块：(1)使用密集块对输入图像进行特征提取，密集块由n个3x3的膨胀卷积和ReLU激活函数组成，采用膨胀卷积的目的是扩大密集区域的感受野；(2)将可学习的权重与提取后的特征映射一起输入到分块频域逆变换(FDIT)之后，经过一个3x3卷积，把n个密集块的特征映射相加输入到特征缩放层来线性约束输出，避免产生过大的梯度；所述的分块频域逆变换采用离散余弦变换、离散小波变换、离散傅里叶变换或新的可学习正交变换；(3)引入残差连接在特征域中消除摩尔纹，将输入图像与经过特征缩放层的特征映射相加，作为最终的输出；全局色调映射模块：(1)将原始特征映射输入到步长为2的3x3卷积层，经过ReLU激活函数，再输入到全局平均池化层中，将特征映射进行全局平均，输出特征映射F，从而使其具有全局的感受野，使网络低层也能利用全局信息，减轻过拟合的发生；(2)将特征映射F再输入全连接层和ReLU激活函数得到特征映射γ；(3)将原始特征映射输入到1x1的卷积层，经过ReLU激活函数得到输出特征映射β；(4)将特征映射γ和β点乘，然后输入到1x1的卷积层，经过ReLU激活函数得到输出；局部色调映射模块：(1)将输入特征映射输入到与摩尔纹消除模块中相同的密集块中，扩大感受野，提取有用信息；(2)再将密集块的输出送入1x1卷积层，经过ReLU激活函数，得到输出。2.根据权利要求1所述的一种基于可学习频域先验的去摩尔纹系统，其特征在于，所述的分块频域逆变换采用离散余弦变换。3.一种基于可学习频域先验的去摩尔纹方法，其特征在于，步骤如下：步骤(1)首先将输入图像进行可逆的2倍下采样得到4个子图像，将四个子图像输入到3x3的卷积层，经过ReLU激活函数，再输入到摩尔纹消除模块中，得到特征映射Z1；步骤(2)将特征映射Z1进行2倍下采样，输入到步长为2的3x3卷积层，经过ReLU激活函数，再输入到摩尔纹消除模块，得到特征映射Z2；同理，再将特征映射Z2进行2倍下采样，输入到步长为2的3x3卷积层，经过ReLU激活函数，再输...

【专利技术属性】
技术研发人员：潘潇恺，郑博仑，颜成钢，孙垚棋，张继勇，李宗鹏，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：