一种去除图像摩尔纹的方法及装置制造方法及图纸

本发明专利技术公开了一种去除图像摩尔纹的方法，包括：将原始图像输入到模型，通过模型中的边缘检测网络利用原始图像获得目标边缘特征图输出到模型中的多尺度融合网络；通过模型中的特征提取层提取原始图像的特征得到原始特征图输出到模型中的多尺度融合网络和合成网络；通过多尺度融合网络利用原始特征图和目标边缘特征图获取多尺度融合特征图输出到模型中的合成网络；通过模型中的分类网络利用原始图像获得类别特征图输出到模型中的合成网络；通过合成网络利用原始特征图、类别特征图及多尺度融合特征图生成无摩尔纹图像。本发明专利技术对不同类型的摩尔纹去除具有更强的泛化能力和鲁棒性，在有效去除摩尔纹的同时，还能够更好地保留原始图片中的内容细节。

A method and device for removing image moire

【技术实现步骤摘要】
一种去除图像摩尔纹的方法及装置
本专利技术涉及图像处理
，具体涉及一种去除图像摩尔纹的方法及装置。
技术介绍
人们通常会使用手机或相机拍照功能来记录生活中的点点滴滴。然而摄像头与被拍摄物之间的空间位置不同，拍摄出的图片常会被各种形态、颜色不一的摩尔纹破坏，影响到图片的质量，给用户带来不好的体验。在现有技术中，已经有利用神经网络的方法去除图片上的摩尔纹，但是已有的网络对于摩尔纹独有的物理性质(如频域、颜色通道分布)的探索不够，在对低频多色摩尔纹去除的过程中，会产生摩尔纹残留现象，因此已有网络对去除不同类型摩尔纹的泛化能力比较差。
技术实现思路
本专利技术的目的是针对上述现有技术的不足提出的一种去除图像摩尔纹的方法及装置，该目的是通过以下技术方案实现的。本专利技术的第一方面提出了一种去除图像摩尔纹的方法，所述方法包括：将原始图像输入到已训练的摩尔纹去除模型，通过所述摩尔纹去除模型中的边缘检测网络利用原始图像获得无摩尔纹的目标边缘特征图，并输出到所述摩尔纹去除模型中的多尺度融合网络；通过所述摩本文档来自技高网...

【技术保护点】
1.一种去除图像摩尔纹的方法，其特征在于，所述方法包括：/n将原始图像输入到已训练的摩尔纹去除模型，通过所述摩尔纹去除模型中的边缘检测网络利用原始图像获得无摩尔纹的目标边缘特征图，并输出到所述摩尔纹去除模型中的多尺度融合网络；/n通过所述摩尔纹去除模型中的特征提取层提取所述原始图像的特征得到原始特征图，并输出到所述摩尔纹去除模型中的多尺度融合网络和合成网络；/n通过所述多尺度融合网络利用原始特征图和目标边缘特征图获取多尺度融合特征图，并输出到所述摩尔纹去除模型中的合成网络；/n通过所述摩尔纹去除模型中的分类网络利用原始图像获得类别特征图，并输出到所述摩尔纹去除模型中的合成网络；/n通过所述合成...

【技术特征摘要】
1.一种去除图像摩尔纹的方法，其特征在于，所述方法包括：
将原始图像输入到已训练的摩尔纹去除模型，通过所述摩尔纹去除模型中的边缘检测网络利用原始图像获得无摩尔纹的目标边缘特征图，并输出到所述摩尔纹去除模型中的多尺度融合网络；
通过所述摩尔纹去除模型中的特征提取层提取所述原始图像的特征得到原始特征图，并输出到所述摩尔纹去除模型中的多尺度融合网络和合成网络；
通过所述多尺度融合网络利用原始特征图和目标边缘特征图获取多尺度融合特征图，并输出到所述摩尔纹去除模型中的合成网络；
通过所述摩尔纹去除模型中的分类网络利用原始图像获得类别特征图，并输出到所述摩尔纹去除模型中的合成网络；
通过所述合成网络利用原始特征图、类别特征图及多尺度融合特征图生成去除摩尔纹的图像并输出。


2.根据权利要求1所述的方法，其特征在于，所述边缘检测网络利用原始图像获得无摩尔纹的目标边缘特征图，包括：
通过本边缘检测网络中的边缘提取层从所述原始图像中提取每个颜色通道的边缘图，并输出给本边缘检测网络中的第一合并层；
所述第一合并层合并所述原始图像和每个颜色通道的边缘图得到第一合并图，并输出给本边缘检测网络中的边缘预测网络；
所述边缘预测网络对所述第一合并图的每个颜色通道进行边缘预测处理得到每个颜色通道的目标边缘图，并输出给本边缘检测网络中的特征提取层；
所述特征提取层提取每个颜色通道的目标边缘图的特征得到每个颜色通道的目标边缘特征图。


3.根据权利要求1所述的方法，其特征在于，所述多尺度融合网络利用原始特征图和所述目标边缘特征图获取多尺度融合特征图，包括：
通过本多尺度融合网络中的第二合并层合并所述原始特征图和每个颜色通道的目标边缘特征图得到第二合并图，并输出给本多尺度融合网络中的多尺度特征提取网络；
所述多尺度特征提取网络从所述第二合并图中提取出多个不同尺度的特征图，并输出给本多尺度融合网络中的融合网络；
所述融合网络对所述多个不同尺度的特征图进行融合，得到多尺度融合特征图；
其中，所述多个不同尺度的特征图的尺寸和通道数均一致。


4.根据权利要求1所述的方法，其特征在于，所述分类网络利用原始图像获得类别特征图，包括：
通过本分类网络中的第一任务分类网络提取所述原始图像的摩尔纹频率属性和摩尔纹形状属性，分别获得所述摩尔纹频率属性的构造矩阵和所述摩尔纹形状属性的构造矩阵，并输出给本分类网络中的第三合并层；
通过本分类网络中的第二任务分类网络提取所述原始图像的摩尔纹颜色属性，并获得所述摩尔纹颜色属性的构造矩阵并输出给本分类网络中的第三合并层；
所述第三合并层合并三个构造矩阵得到类别特征图。


5.根据权利要求1所述的方法，其特征在于，所述合成网络利用原始特征图、类别特征图及多尺度融合特征图生成去除摩尔纹的图像，包括：
通过本合成网络中的第四合并层合并类别特征图和多尺度融合特征图得到第三合并图，并输出给本合成网络中的优化处理网络；
所述优化处理网络对所述第三合并图进行优化处理，并将处理后的第三合并图输出给本合成网络中的第五合并层；
所述第五合并层合并所述原始特征图和处理后的第三合并图得到去除摩尔纹的特征图，并输出给本合成网络中的转换层；
所述转换层将所述无摩尔纹的特征图转换为可用于显示的图像。

【专利技术属性】
技术研发人员：段凌宇，何斌，王策，施柏鑫，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11