一种基于深度多分辨率网络的图像摩尔纹消除方法技术

本发明专利技术的目的是提供一种基于深度多分辨率网络的图像摩尔纹消除方法，对深度多分辨率模型进行调整，下采样模块重新设计，将下采样池化层替换为步长为2的卷积层，下采样模块将输入图像中的摩尔纹通过步长为2的卷积层进行可学习的多分辨率特征采样，采样后的特征图包含不同分辨率下的摩尔纹信息和位置信息；这种下采样的方式避免了骨干网络仅消除单个频率域下的摩尔纹，因为摩尔纹存在于多个频率域，单个分辨率下进行摩尔纹消除会导致消除效果差。

An image moire elimination method based on depth multiresolution network

【技术实现步骤摘要】
一种基于深度多分辨率网络的图像摩尔纹消除方法
本专利技术属于图像处理领域，涉及图像摩尔纹消除方法，特别涉及一种基于深度多分辨率网络的图像摩尔纹消除方法。
技术介绍
由于手机相机自身成本与体积的局限性，拍摄出的图像产生了不同程度的失真，尤其是在一些规律的纹理图像上，经常会看到波纹样的条纹，即摩尔纹。手机相机的采样频率固定，当场景信息的高频成分丰富且不满足采样定律时，如果想要获得高质量的清晰成像，手机相机拍摄场景时不可避免地存在摩尔纹干扰。摩尔纹在图像中往往面积大，色偏明显，严重影响图像质量和图像分析结果；摩尔纹可看作是一种混叠干扰噪声，摩尔纹的结构和分布与场景信息、手机相机采样频率和插值算法密切相关，不同场景情况下摩尔纹形状不同，没有明显的分布规律。尽管摩尔纹现象的现代科学研究及其应用始于19世纪下半叶，但是数字成像过程中的摩尔纹现象则是近几年伴随着手机相机等数字成像设备的广泛使用才被人们关注和研究。目前为止，已有的摩尔纹消除方法主要分为三大类，基于滤波的方法、基于精确上采样插值的方法、基于专业图像处理软件的方法。西多罗夫和Kokaram提出了一个光谱模型抑制电视电影设备传输中的摩尔条纹。刘等人提出了低秩和稀疏矩阵分解法消除摩尔纹保留高频纹理。Sur和Grediac建议以频域统计的优势消除准周期性噪声。一般情况下，这些算法取得的效果较为满意，但是这些算法也有缺点，那就是算法很复杂，不太可能在手机相机的信号转换系统中应用。目前，图像摩尔纹消除方法主要基于超分辨率复原技术，超分辨率复原的概念最早是由Harris和Goodman于上世纪60年代提出来的，超分辨率卷积神经网络(SRCNN)，是第一次成功尝试仅使用卷积层进行超分辨率。与SRCNN中使用的浅层网络架构不同，VeryDeepSuperResolution(VDSR)基于深度CNN架构。IRCNN提出一组可以联合用于几个低级视觉任务的基于CNN的降噪器，如图像去噪、去模糊和超分辨率。高效的子像素卷积神经网络(ESPCN)是一种快速SR方法，可以实时操作图像和视频。增强型深度超分辨率(EDSR)修改最初为图像分类提出的ResNet架构以用于SR任务，通过删除批量标准化层和ReLU激活展示了实质性的改进。级联剩余网络(CARN)使用ResNetBlocks学习低分辨率输入和高分辨率输出之间的关系，使用局部和全局级联方式进行学习，达到了目前最好的效果。这些深度卷积神经网络模型应用于图像超分辨率问题取得了很好的效果，但是由于其骨干网络的分辨率较为单一，直接用于数字图像中的摩尔纹消除效果较差。由于数字图像中摩尔纹的消除实现起来比较困难，训练出高效的摩尔纹消除模型一直是一个挑战。
技术实现思路
本专利技术的目的是提供一种基于深度多分辨率网络的图像摩尔纹消除方法，以解决目前基于深度卷积神经网络的超分辨率方法应用于图像摩尔纹消除效果差的问题。本专利技术是通过以下技术方案来实现：一种基于深度多分辨率网络的图像摩尔纹消除方法，包括如下步骤：S1，收集图像，对收集的图像进行下采样得到带有摩尔纹的图像，对收集的图像进行去网纹处理和去噪处理得到真值标签，对带有摩尔纹的图像和真值标签分别进行图像数量的扩充，扩充后分为训练集和测试集；S2，将深度多分辨率模型中的下采样池化层替换为步长为2的卷积层，特征提取模块由三个不同分辨率的分支组成，在每一个分辨率分支上增加残差模块，得到调整后的深度多分辨率模型；S3，将训练集中带有摩尔纹的图像作为输入，训练集中真值标签作为真值，采用调整后的深度多分辨率模型进行训练，得到图像摩尔纹消除模型；S4，将测试集中的图像输入训练好的图像摩尔纹消除模型中，得到自动消除摩尔纹后的图像。优选的，S1中，图像数量的扩充使用水平翻转、随机小度数旋转和图像裁剪的方式进行。优选的，S2中，还将深度多分辨率模型中的上采样反卷积层替换为亚像素卷积层，并加入特征融合模块，得到调整后的深度多分辨率模型。进一步的，S2中，调整后的深度多分辨率模型：下采样模块由两个步长为2的卷积层、四个步长为1的卷积层和六个激活层组成；特征提取模块由三个不同分辨率的分支组成，每一个分辨率分支由五个卷积层和五个激活层组成，在每一个分辨率分支上增加残差模块；上采样模块由两个卷积层、两个激活层、两个亚像素卷积层组成，特征融合模块由一个Concatenate层、两个卷积层和一个激活层组成。进一步的，下采样模块的六个卷积层的卷积核尺度均为3×3，六个激活层采用ReLU激活函数；特征提取模块每一个分辨率分支的5个卷积层的卷积核尺度均为3×3，五个激活层采用ReLU激活函数；上采样模块的两个卷积层的卷积核尺度均为3×3，两个激活层采用ReLU激活函数，一个亚像素卷积层的缩放尺度为2，一个亚像素卷积层的缩放尺度为4。优选的，S3具体包括：S3.1，将训练集中带有摩尔纹的图像进行随机比率下采样的在线数据增强；S3.2，将S3.1中在线数据增强后的图像输入调整后的深度多分辨率模型中进行训练，得到图像摩尔纹消除模型。进一步的，S3.1中，下采样的比率设置为0.05～0.4。进一步的，S3.2中，训练过程中采用L1损失函数，通过训练使得L1损失函数达到最小，完成训练，得到图像摩尔纹消除模型。优选的，S1中，收集的图像为PPT投影的图像。与现有技术相比，本专利技术具有以下有益的技术效果：本专利技术图像摩尔纹消除方法，对深度多分辨率模型进行调整，下采样模块重新设计，将下采样池化层替换为步长为2的卷积层，下采样模块将输入图像中的摩尔纹通过步长为2的卷积层进行可学习的多分辨率特征采样，采样后的特征图包含不同分辨率下的摩尔纹信息和位置信息；这种下采样的方式避免了骨干网络仅消除单个频率域下的摩尔纹，因为摩尔纹存在于多个频率域，单个分辨率下进行摩尔纹消除会导致消除效果差。进一步的，本专利技术将深度多分辨率模型中的上采样反卷积层替换为亚像素卷积层，采用了亚像素卷积层进行上采样的方式，解决了反卷积上采样过程产生的黑点和黑斑问题，使图像中的干净区域不受摩尔纹消除的影响。进一步的，本专利技术提出了随机比率下采样的在线数据增强方法，相比于传统的图像增强方法更有效的解决了摩尔纹数据集种类较少的问题，该方法基于摩尔纹随图像分辨率改变而改变的特性进行在线数据增强，有效提升模型的摩尔纹消除效果。附图说明图1是本专利技术的基于深度多分辨率网络的图像摩尔纹消除方法的实现流程图；图2是本专利技术的基于深度多分辨率网络的图像摩尔纹消除方法的网络结构图；图3是本专利技术的上采样模块的结构图；图4是本专利技术的部分图像摩尔纹消除结果图。具体实施方式下面结合具体的实施例对本专利技术做进一步的详细说明，所述是对本专利技术的解释而不是限定。本专利技术提供了一种基于深度多分辨率网络的图像摩尔纹消除方法，具体步骤如图1所示：S1，收集图像，对收集的图像进行下采样得到带有摩尔纹的图像，对收本文档来自技高网...

【技术保护点】
1.一种基于深度多分辨率网络的图像摩尔纹消除方法，其特征在于，包括如下步骤：/nS1，收集图像，对收集的图像进行下采样得到带有摩尔纹的图像，对收集的图像进行去网纹处理和去噪处理得到真值标签，对带有摩尔纹的图像和真值标签分别进行图像数量的扩充，扩充后分为训练集和测试集；/nS2，将深度多分辨率模型中的下采样池化层替换为步长为2的卷积层，特征提取模块由三个不同分辨率的分支组成，在每一个分辨率分支上增加残差模块，得到调整后的深度多分辨率模型；/nS3，将训练集中带有摩尔纹的图像作为输入，训练集中真值标签作为真值，采用调整后的深度多分辨率模型进行训练，得到图像摩尔纹消除模型；/nS4，将测试集中的图像输入训练好的图像摩尔纹消除模型中，得到自动消除摩尔纹后的图像。/n

【技术特征摘要】
1.一种基于深度多分辨率网络的图像摩尔纹消除方法，其特征在于，包括如下步骤：
S1，收集图像，对收集的图像进行下采样得到带有摩尔纹的图像，对收集的图像进行去网纹处理和去噪处理得到真值标签，对带有摩尔纹的图像和真值标签分别进行图像数量的扩充，扩充后分为训练集和测试集；
S2，将深度多分辨率模型中的下采样池化层替换为步长为2的卷积层，特征提取模块由三个不同分辨率的分支组成，在每一个分辨率分支上增加残差模块，得到调整后的深度多分辨率模型；
S3，将训练集中带有摩尔纹的图像作为输入，训练集中真值标签作为真值，采用调整后的深度多分辨率模型进行训练，得到图像摩尔纹消除模型；
S4，将测试集中的图像输入训练好的图像摩尔纹消除模型中，得到自动消除摩尔纹后的图像。


2.根据权利要求1所述的基于深度多分辨率网络的图像摩尔纹消除方法，其特征在于，S1中，图像数量的扩充使用水平翻转、随机小度数旋转和图像裁剪的方式进行。


3.根据权利要求1所述的基于深度多分辨率网络的图像摩尔纹消除方法，其特征在于，S2中，还将深度多分辨率模型中的上采样反卷积层替换为亚像素卷积层，并加入特征融合模块，得到调整后的深度多分辨率模型。


4.根据权利要求3所述的基于深度多分辨率网络的图像摩尔纹消除方法，其特征在于，S2中，调整后的深度多分辨率模型：下采样模块由两个步长为2的卷积层、四个步长为1的卷积层和六个激活层组成；特征提取模块由三个不同分辨率的分支组成，每一个分辨率分支由五个卷积层和五个激活层组成，在每一个分辨...

【专利技术属性】
技术研发人员：郭宇，牛宝龙，冯美雪，王飞，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西;61