从图像中移除反射制造技术

本发明专利技术涉及一种用于从图像中移除反射的方法

【技术实现步骤摘要】
【国外来华专利技术】从图像中移除反射


[0001]本专利技术涉及一种用于从图像中移除不期望反射的方法和设备。

技术介绍

[0002]在一些情况下，照片是通过玻璃表面等拍摄的。在这种情况下，由于出现不期望反射，所获得的图像的视觉质量可能会大大下降。事实上，存在许多这种情况，即在没有任何反射的情况下拍摄清晰的图像是具有挑战性的。例如，飞机或火车上的照片经常被不期望反射破坏。另一个常见示例涉及为戴眼镜的人拍摄的照片，其中在拍摄自拍照等时，在所获得的图像中，灯或手机屏幕引起眼镜中的反射。
[0003]提出了用于从图像中移除反射的几种传统方法。例如，通过将图像分解为两层。然而，这是一个高度不适定问题，因为未知参数的数量是给定值的两倍。因此，如果没有另外假设，就有几乎无限数量的变体用于提取背景层和反射层。因此，在早期著述中(例如，参见N.Arvanitopoulos等人2017年7月在IEEE国际计算机视觉和模式识别会议(CVPR)上第1752至1760页发表的《单个图像反射抑制》(Single image reflection suppression)，该任务被认为是一个优化问题，其约束来自不同的图像先验，建议采取单一解决方案。除了这些方法产生的结果很差并且只能在有限量的情况下起作用之外，大多数优化技术都太慢而无法在实时系统中使用，特别是在智能电话中。
[0004]由于深度学习方法在许多计算机视觉问题上的成功，也使用这种方法来进行反射移除。例如，Fan等人在2017年发表的《用于单个图像反射移除和图像平滑的通用深度架构》(Ageneric deep architecture for single image reflection removal and image smoothing)中提出训练端到端卷积神经网络(convolutional neural network，CNN)来使用两阶式流水线估计背景场景。首先，预测边缘图，给出混合图像。然后，产生背景层，给出边缘和输入图片。由于缺乏真实的配对数据，合成数据被用于训练CNN。在往后著述中，使用现代深度学习技术来提高视觉质量：感知损失和对抗损失。
[0005]现有方法(例如，参见Fan等人的上述著述或Wei等人2019年在《IEEE国际计算机视觉和模式会议论文集》第8178至8187页发表的《利用未对齐训练数据和网络增强的单个图像反射移除》(Single image reflection removal exploiting misaligned training data and network enhancements)将CNN应用于全图像，并期望CNN检测具有反射的区域并同时移除它们，如图1所示。这有几个缺点。事实上，由于CNN应用于整个图像，因此即使实际包括反射的图像区域很小，处理时间也是巨大的。此外，由于要求网络能够检测和移除反射，因此大量的CNN容量被花费在检测任务上，这导致反射移除质量较差。此外，这些方法不能理想地检测反射，例如，它们在没有反射的区域中产生不期望变化。
[0006]因此，需要一种用于从图像中移除反射的改进方法和设备。

技术实现思路

[0007]鉴于上述问题和缺点，本专利技术的目的是改进从图像中移除不期望反射。因此，本发
明的目的是提供一种用于移除不期望反射的改进设备和方法。
[0008]本专利技术的目的通过所附独立权利要求中提供的实施例来实现。实施例的有利实现方式在从属权利要求中进一步限定。
[0009]根据第一方面，本专利技术涉及一种用于从图像中移除反射的方法，所述方法包括：检测所述图像中的一个或多个反射区域，其中每个反射区域包括反射；从所述图像中提取所述一个或多个反射区域；以及从每个所提取的反射区域中移除所述反射。
[0010]第一方面的方法具有这样的优点，即可以高效地从图像(例如照片)中移除不期望反射。第一方面的方法在许多不同的反射情况下起作用。此外，所述方法足够快，能够在实时系统中使用，特别是在智能电话中。第一方面的方法还避免了在没有反射的区域中产生不期望变化。这些优点具体地通过两阶式方法而得以实现，即在第一阶段检测反射，以及仅在第二阶段从反射区域中移除反射。
[0011]在所述第一方面的实现方式中，在从每个所提取的反射区域中移除所述反射之后，将没有所述反射的所提取的反射区域重新插入所述图像中，以分别替换具有所述反射的所述反射区域。
[0012]这提供了这样的优点，即可以获得没有反射的经处理图像。
[0013]在所述第一方面的实现方式中，第一经训练的模型用于检测所述一个或多个反射区域；和/或第二经训练的模型用于从每个所提取的反射区域中移除所述反射。
[0014]这提供了这样的优点，即可以通过经训练的模型高效且准确地执行图像中的反射的检测和移除。具体地，每个经训练的模型都可以被专门训练。也就是说，第一经训练的模型可以被专门训练以检测图像中的反射，第二经训练的模型可以被专门训练以从反射区域(而不是整个图像)中移除反射。因此，训练阶段和推断阶段都可以更快地执行，并且结果的质量得到提高。
[0015]在所述第一方面的实现方式中，所述第一经训练的模型包括第一CNN。
[0016]这提供了这样的优点，即可以使用已知的经训练的模型。此外，这提供了这样的优点，即可以实现对反射移除的执行时间的改进(例如，与图1所示的传统方法相比)，因为CNN仅应用于包括反射的区域，而不是应用于整个图像。此外，通过仅使用CNN处理裁剪来移除不期望伪影，可以防止改变没有反射的区域。此外，通过将CNN瞄准特定区域，而不要求其检测反射区域本身，所述方法提高了所得到的去反射质量。
[0017]在所述第一方面的实现方式中，所述第一CNN包括用于执行所述图像的语义分割的语义分割CNN。
[0018]在所述第一方面的实现方式中，使用语义掩码来检测所述一个或多个反射区域。
[0019]上述实现方式提供了一种用于检测图像中的反射区域的简单但高效的方法。
[0020]在所述第一方面的实现方式中，所述第二经训练的模型包括生成对抗网络(generative adversarial network，GAN)。
[0021]这提供了这样的优点，即可以使用已知的经训练的模型来移除图像上的反射。可以利用GAN的优点。
[0022]在所述第一方面的实现方式中，所述GAN包括条件GAN。
[0023]这提供了这样的优点，即可以使用已知的经训练的模型来移除图像上的反射。
[0024]在所述第一方面的实现方式中，所述第二经训练的模型包括第二CNN。
[0025]在所述第一方面的实现方式中，所述图像是戴眼镜的人的照片，其中检测所述一个或多个反射区域的所述步骤包括：检测所述图像中的所述人的面部，基于所检测的面部检测所述图像中的所述眼镜，以及检测位于在所述图像中检测到的所述眼镜内的所述一个或多个反射区域。
[0026]在所述第一方面的实现方式中，使用所述分割CNN在所述图像中检测所本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于从图像(500)中移除反射的方法(200)，其特征在于，所述方法(200)包括：
‑
检测(201)所述图像(500)中的一个或多个反射区域，其中每个反射区域包括反射，
‑
从所述图像(500)中提取(202)所述一个或多个反射区域，
‑
从每个所提取的反射区域中移除(203)所述反射。2.根据权利要求1所述的方法(200)，其特征在于，还包括：
‑
在从每个所提取的反射区域中移除(203)所述反射之后，将没有所述反射的所提取的反射区域重新插入所述图像(500)中，以分别替换具有所述反射的所述反射区域。3.根据权利要求1或2所述的方法(200)，其特征在于，
‑
第一经训练的模型用于检测(201)所述一个或多个反射区域；和/或
‑
第二经训练的模型用于从每个所提取的反射区域中移除(203)所述反射。4.根据权利要求3所述的方法(200)，其特征在于，所述第一经训练的模型包括第一卷积神经网络(convolutional neural network，CNN)。5.根据权利要求4所述的方法(200)，其特征在于，所述第一CNN包括用于执行所述图像的语义分割的语义分割CNN。6.根据权利要求5所述的方法(200)，其特征在于，使用语义掩码来检测(201)所述一个或多个反射区域。7.根据权利要求3至6中任一项所述的方法(200)，其特征在于，所述第二经训练的模型包括生成对抗网络(generative adversarial network，GAN)。8.根据权利要求7所述的方法(200)，其特征在于，所述GAN包括条件GAN。9.根据权利要求3至6中任一项所述的方法(200)，其特征在于，所述第二...

【专利技术属性】
技术研发人员：雷纳特，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：