一种从未配对的真实数据中学习图像去摩尔纹模型方法技术

一种从未配对的真实数据中学习图像去摩尔纹模型方法，涉及去摩尔纹的人工神经网络的训练。与大量依赖从成对的真实数据中学习的现有研究不同，该方法从未配对的数据集中合成伪摩尔纹图像，生成与无摩尔纹图像配对的图像对来训练去摩尔纹模型。包含以下三个步骤：首先，将真实的摩尔纹图像划分为若干图像块，并根据摩尔纹的复杂性对这些图像块进行分组；然后，引入一个新的摩尔纹生成框架，以合成类似于真实摩尔纹的具有不同摩尔纹特征的摩尔纹图像，以及类似于真实无摩尔纹图像的细节；之后，引入一种自适应去噪方法，以去除对去摩尔纹模型的学习有不利影响的低质量的伪摩尔纹图像。的学习有不利影响的低质量的伪摩尔纹图像。的学习有不利影响的低质量的伪摩尔纹图像。

【技术实现步骤摘要】
一种从未配对的真实数据中学习图像去摩尔纹模型方法


[0001]本专利技术涉及去摩尔纹的人工神经网络的训练，尤其是涉及一种从未配对的真实数据中学习图像去摩尔纹模型方法。

技术介绍

[0002]当代社会充斥着用于呈现图像、文字、视频等的电子屏幕。随着智能手机等便携式摄像设备的广泛使用，人们已经习惯于用它们来快速记录信息。一个常见的问题产生于相机的彩色滤光片阵列(CFA)和屏幕的LCD子像素布局之间的内在干扰，导致拍摄的图片被一些彩虹形状的条纹所污染，这也被称为摩尔纹(如Jingyu Yang,et al.Demoir
é
ing for screen
‑
shot images with multi
‑
channel layer decomposition.In IEEE Visual Communications and Image Processing(VCIP),pages 1
–
4,2017.)。这些摩尔纹涉及不同的厚度、频率、布局和颜色，降低了所拍摄图片的感知质量；因此，学术界和工业界对开发去摩尔纹的算法以纠正这一问题产生了极大的兴趣。
[0003]关于去摩尔纹的原始研究大多建立在图像先验(如Taeg Sang Cho,et al.Image restoration by matching gradient distributions.IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI),34:683
–
694,2011.)或传统的机器学习方法(如Jingyu Yang,et al.Textured image demoir
é
ing via signal decomposition and guided filtering.IEEE Transactions on Image Processing(TIP),26:3528
–
3541,2017.)上，这些方法被证明不足以处理变化剧烈的摩尔纹(Bolun Zheng,et al.Learning frequency domain priors for image demoireing.IEEE Transactions on PatternAnalysis and Machine Intelligence(TPAMI),44:7705
–
7717,2021.)。时髦的卷积神经网络(CNN)已经成为各种计算机视觉任务成功的事实上的基础设施，包括图像去摩尔纹(如Shanxin Yuan,et al.Aim 2019challenge on image demoireing:Methods and results.In Proceedings of IEEE/CVF International Conference on Computer Vision Workshop(ICCVW),pages 3534
–
3545,2019.)。这些基于CNN的方法通常在广泛的无摩尔纹和摩尔纹图像对上以监督的方式进行训练，以模拟摩尔纹映射。然而，考虑到自然的摩尔纹图案具有不同的厚度、频率、布局和颜色，收集成对的图像是具有挑战性的。虽然可以很容易地获得摩尔纹图像以及无摩尔纹图像，但它们大多是不配对的。尽管许多研究试图从数字屏幕上捕捉图像对(如Bin He,et al.Fhde2net:Full high definition demoireing network.In Proceedings of the European Conference on Computer Vision(ECCV),pages 713
–
729,2020.)，但它们的质量被三个限制所阻挡。首先，获取高质量的图像对需要专业的相机位置调整，甚至是特殊的硬件(Xin Yu,et al.Towards efficient and scale
‑
robust ultrahigh
‑
definition image demoir
é
ing.In Proceedings ofthe European Conference on Computer Vision(ECCV),pages 646
–
662,2022.)。第二，需要繁重的人力来选择排列整齐的无摩尔纹和摩尔纹对。第三，在高度控制的实验室环境下，捕获的摩尔纹内容是非常单一的。然而，充满更多不同摩尔纹图案的图像
对更有望改进去摩尔纹模型。
[0004]因此，学习合成摩尔纹图像最近引起了越来越多的关注。拍摄模拟方法(如DantongNiu,et al.Mori
é
attack(ma):A new potential risk of screen photos.In Proceedings ofthe Advances in Neural Information Processing Systems(NeurIPS),pages 26117
–
26129,2021.)模拟CFA和屏幕的LCD子像素之间的混叠，产生相应的成对摩尔纹图像。然而，合成图像不足以捕捉真实的摩尔纹的特征，导致很大领域差距。最近，Park等人(HyunkookPark,et al.Unpaired screen
‑
shot image demoir
é
ing with cyclic moir
é
learning.IEEEAccess,10:16254
–
16268,2022.)引入循环摩尔纹学习方法，可以获得比拍摄模拟更好的性能。然而，生成的伪摩尔纹仍然未能准确模拟真实的摩尔纹图案，导致性能有限。

技术实现思路

[0005]本专利技术的目的是提供一种从未配对的真实数据中学习图像去摩尔纹模型方法，合成摩尔纹图像，这些图像拥有与真实摩尔纹图像一样的摩尔纹特征和与真实无摩尔纹图像一样的细节特征。合成的伪摩尔纹图像与真实的无摩尔纹图像进行配对形成一个图像对，用于训练去摩尔纹网络。
[0006]本专利技术包括以下步骤：
[0007]1)图像预处理：将真实的摩尔纹图像划分为若干图像块，并根据摩尔纹的复杂性对这些图像块进行分组。
[0008]2)摩尔纹合成网络：引入一个新的摩尔纹生成框架，以合成类似于真实摩尔纹的具有不同摩尔纹特征的摩尔纹图像，以及类似于真实无摩尔纹图像的细节。
[0009]3)自适应去噪：引入一种自适应去噪方法，以去除对去摩尔纹模型的学习有不利影响的低质量的伪摩尔纹图像。
[0010]在步骤1)中，所述划分图像块是指将摩尔纹图像数据集分割成不重叠的若干图像块，从而得到一个摩尔纹图像块集合其中N是整个摩尔纹图像块集合中图像块的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种从未配对的真实数据中学习图像去摩尔纹模型方法，其特征在于包括以下步骤：1)图像预处理：将真实的摩尔纹图像划分为若干图像块，并根据摩尔纹的复杂性对这些图像块进行分组；2)摩尔纹合成网络：引入一个新的摩尔纹生成框架，以合成类似于真实摩尔纹的具有不同摩尔纹特征的摩尔纹图像，以及类似于真实无摩尔纹图像的细节；3)自适应去噪：引入一种自适应去噪方法，以去除对去摩尔纹模型的学习有不利影响的低质量的伪摩尔纹图像。2.如权利要求1所述一种从未配对的真实数据中学习图像去摩尔纹模型方法，其特征在于在步骤1)中，所述将真实的摩尔纹图像划分为若干图像块是指将摩尔纹图像数据集分割成不重叠的若干图像块，得到一个摩尔纹图像块集合其中，N是整个摩尔纹图像块集合中图像块的数量；同时将无摩尔纹图像数据集分割得到无摩尔纹图像块集合M是整个无摩尔纹图像块集合中图像块的数量。3.如权利要求1所述一种从未配对的真实数据中学习图像去摩尔纹模型方法，其特征在于在步骤1)中，所述图像块进行分组是指将摩尔纹图像块集合分成K个子集，即有分成K个子集，即有其中每个子集包含相似复杂度的摩尔纹图像块，并且任意两个子集都是不相交的；所述摩尔纹的复杂性是由摩尔纹图像的频率和颜色信息组成；给定一个摩尔纹图像块该摩尔纹图像块的频率由一个核大小为3的拉普拉斯边缘检测算子测量，该摩尔纹图像块的颜色信息是RGB色彩空间色彩平面中像素云的平均值和标准差的线性组合，表示为：其中，μ
·
和σ
·
返回输入的均值和标准差，和分别表示p
m
的红绿蓝颜色通道。4.如权利要求1所述一种从未配对的真实数据中学习图像去摩尔纹模型方法，其特征在于在步骤2)中，所述摩尔纹合成网络包括四个部分：一个摩尔纹特征编码器E
m
，一个生成器G
m
，一个判别器D
m
和一个内容编码器E
C
；生成一个伪摩尔纹图片伪摩尔纹图片有p
m
的摩尔纹斑纹，同时保留无摩尔纹图像块的图像细节，形成一个摩尔纹和无摩尔纹图像对，以此指导现有的去摩尔纹网络的学习；摩尔纹特...

【专利技术属性】
技术研发人员：纪荣嵘，钟云山，林明宝，
申请(专利权)人：厦门大学，
类型：发明
国别省市：