一种基于协同分合学习机制的反射消除方法技术

本发明专利技术公开了基于协同分合学习机制的反射消除方法，包括：反射生成网络接收不含反射的背景图像与纯反射图像，通过特征的提取、拼接与解码，获得非线性叠加的合成含反射图像；反射分离网络接收合成含反射图像，基于多任务学习的架构对特征解耦，获得背景图像、纯反射图像与背景图像的梯度图像；将混合图像输入反射分离网络产生预测的背景图像与纯反射图像结果，再将结果输入反射生成网络获得重新合成的混合图像结果，与原始的输入混合图像进行比对形成重建自监督。本发明专利技术相比于一般深度学习方法更灵活、高效地完成反射消除。基于真实数据，通过协同分合机制，实现弱监督条件下的三个域之间的相互映射，在学到更好的去反射能力的同时生成更符合物理特性的含反射混合训练图像。

A reflection elimination method based on cooperative learning mechanism

【技术实现步骤摘要】
一种基于协同分合学习机制的反射消除方法
本专利技术属于人工智能应用图像领域，具体涉及一种基于协同分合学习机制的反射消除方法。
技术介绍
反射是一种在日常生活中分布极其普遍的物理现象，例如在城市建筑群中的窗户、墙面，机动车的挡风玻璃等。受反射叠加干扰，图像的识别将受到影响。对数字图像进行反射消除的研究、增强图像内容的主观视觉质量，不仅可以优化手机摄像用户的拍摄体验，同时也将促进城市监控智能化程度的提升。因此具有重大的社会价值和商业价值。反射是对图像正常内容的一种干扰，其抑制或消除问题属于图像恢复技术的一种。反射消除面对两倍于约束项的未知数和自由度更大的双重待恢复图像，反射消除的非适定性远高于其他图像恢复与增强问题。传统的反射消除基于一些先验性假设约束，但这些假设要么源自基于自然图像的人为统计假设(稀疏梯度)，要么需要严格限制特定的拍摄条件(模糊程度、重影效应)。在假设不能完全满足时性能会大幅下降，因此适用的场景和数据非常受限。基于深度学习的反射消除方法相较基于低层特性先验假设的传统方法在性能上展现了明显的优势。但是深度特征易于在被训练数据集包含的有限场景下发生过拟合，因此基于深度学习的方法表现出了对训练数据的过分依赖，在未被训练数据集包含的场景上做测试时性能非常不稳定。此外，由于数据规模的限制问题，如图1所示，目前的学习训练数据大多是简单的线性叠加合成得到的，导致训练出的模型在真实数据上泛化能力很差。这一问题理论上可以通过大量采集带真值标注的数据来解决，然而存在反射的真实场景类别过于多样，采集足够多的真实反射数据成本已然过高，进一步采集严格对齐的反射和透射真值图像组作为学习的监督信息训练强监督的反射消除网络则更不具备可行性。因此为了应对大规模、真实场景监督学习数据的缺失，使学习得到的网络模型具有更强的泛化应用能力，需要对基于反射消除与合成过程的协同分合学习，利用弱监督学习生成更符合光学现象的合成训练数据，处理容易获取的非严格成对匹配数据。
技术实现思路
本专利技术的目的是通过以下技术方案实现的。本专利技术针对真实场景中非严格成对匹配的包含反射的图像数据，本专利技术提出一种基于协同分合学习机制的反射消除方法，提升方法在反射消除任务上的表现，同时提高模型的泛化能力。根据本专利技术实施例的一个方面，提供了一种基于协同分合学习机制的反射消除方法，包括：反射生成网络接收不含反射的背景图像与纯反射图像，通过特征的提取、拼接与解码，获得非线性叠加的合成含反射图像；反射分离网络接收所述合成含反射图像，基于多任务学习的架构对特征解耦，获得背景图像、纯反射图像与背景图像的梯度图像；所述反射生成网络和反射分离网络均由自动编码器网络与数据域判别器构成，二者之间进行博弈对抗学习；所述反射生成网络与反射分离网络以不同顺序连接，形成两个方向的循环通路，实现反射图像生成与反射消除两个过程的协同分合学习；将混合图像输入所述反射分离网络产生预测的背景图像与纯反射图像结果，再将结果输入所述反射生成网络获得重新合成的混合图像结果，与原始的输入混合图像进行比对形成重建自监督。进一步地，当输入为背景图像与纯反射图像时，先传入所述反射生成网络，经由所述反射分离网络后根据预测得到的背景图像相似地计算重建损失；基于域对抗损失、重建损失与内容语义特征损失的联合约束与优化训练网络模型。进一步地，所述反射生成网络通过深度学习进行含反射图像的合成，提取背景与纯反射图像的深度特征，从特征角度进行拼接融合，经由神经网络解码特征生成含反射图像。进一步地，所述反射生成网络的网络结构如下：先采用两个下采样的分支模块，提取出背景图像和纯反射图像的高维特征，再利用一个拼接操作将两个特征图合并，然后将合并后的特征图通过六个残差单元，最后接一个上采样单元。进一步地，所述反射分离网络基于图像梯度的信息辅助，对含反射图像高维特征进行解耦，通过图像梯度信息的估计作为辅助，对含反射图像进行分离得到背景图像和纯反射图像。进一步地，所述反射分离网络的网络结构如下：先采用一个下采样的分支，提取出带反射图像的高维特征，然后将其通过六个残差单元，最后接三个上采样单元，分别对应背景图像、纯反射图像和梯度图像。进一步地，所述反射生成网络与反射分离网络，采用自映射损失约束两个数据域之间的迁移，其中一个数据域为含反射的真实拍摄图像，另一个数据域为不含反射的背景图像。进一步地，所述反射生成网络和反射分离网络通过多损失联合优化实现协同分合机制下的学习。进一步地，通过对自映射后的像素级重建损失、深度语义特征层面的内容重建损失、数据域对抗损失的联合计算，实现对抗性的自动编码器。进一步地，所述多损失联合优化进一步包括对所述梯度图像的估计L1损失。本专利技术的优势在于：本专利技术可利用非配对数据完成对反射网络的学习训练，可以解决真实配对数据的规模限制与合成数据导致的过拟合问题。基于生成对抗网络的自监督模式可使学习得到的网络模型具有更强的泛化应用能力。对反射图像的生成与反射分离过程的分别与协同学习可提升反射消除方法在真实应用场景上性能。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：附图1为现有技术中面向配对合成数据的反射消除框架示意图；附图2示出了本专利技术的一种基于协同分合学习机制的反射消除方法概念示意图；附图3示出了本专利技术的一种基于协同分合学习机制的反射消除方法流程图；附图4示出了本专利技术提出的方法的学习流程示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本专利技术的方法利用非配对数据完成对反射网络的学习训练，可以解决真实配对数据的规模限制与合成数据导致的过拟合问题，对反射图像的生成与反射分离过程的分别与协同学习可提升反射消除方法在真实应用场景上性能。图2展示了本专利技术方法的概念示意图。如图2所示，反射分离网络S与反射生成网络G分别实现从含反射混合图像到不含反射的背景图像与纯反射图像的数据域映射，以及反向的迁移。本专利技术针对真实场景中非严格成对匹配的包含反射的图像数据，本专利技术提出一种基于协同分合学习机制的反射消除方法，提升方法在反射消除任务上的表现，同时提高模型的泛化能力。如图3所示，根据本专利技术实施例的一个方面，提供了一种基于协同分合学习机制的反射消除方法，包括：S1、反射生成网络接收不含反射的背景图像与纯反射图像，通过特征的提取、拼接与解码，获得非线性叠加的合成含反射图像；本文档来自技高网...

【技术保护点】
1.一种基于协同分合学习机制的反射消除方法，其特征在于，包括：/n反射生成网络接收不含反射的背景图像与纯反射图像，通过特征的提取、拼接与解码，获得非线性叠加的合成含反射图像；/n反射分离网络接收所述合成含反射图像，基于多任务学习的架构对特征解耦，获得背景图像、纯反射图像与背景图像的梯度图像；/n所述反射生成网络和反射分离网络均由自动编码器网络与数据域判别器构成，所述反射生成网络和反射分离网络之间进行博弈对抗学习；/n所述反射生成网络与反射分离网络以不同顺序连接，形成两个方向的循环通路，实现反射图像生成与反射消除两个过程的协同分合学习；/n将混合图像输入所述反射分离网络产生预测的背景图像与纯反射图像结果，再将结果输入所述反射生成网络获得重新合成的混合图像结果，与原始的输入混合图像进行比对形成重建自监督。/n

【技术特征摘要】
1.一种基于协同分合学习机制的反射消除方法，其特征在于，包括：
反射生成网络接收不含反射的背景图像与纯反射图像，通过特征的提取、拼接与解码，获得非线性叠加的合成含反射图像；
反射分离网络接收所述合成含反射图像，基于多任务学习的架构对特征解耦，获得背景图像、纯反射图像与背景图像的梯度图像；
所述反射生成网络和反射分离网络均由自动编码器网络与数据域判别器构成，所述反射生成网络和反射分离网络之间进行博弈对抗学习；
所述反射生成网络与反射分离网络以不同顺序连接，形成两个方向的循环通路，实现反射图像生成与反射消除两个过程的协同分合学习；
将混合图像输入所述反射分离网络产生预测的背景图像与纯反射图像结果，再将结果输入所述反射生成网络获得重新合成的混合图像结果，与原始的输入混合图像进行比对形成重建自监督。


2.根据权利要求1所述的方法，其特征在于，
当输入为背景图像与纯反射图像时，先传入所述反射生成网络，经由所述反射分离网络后根据预测得到的背景图像相似地计算重建损失；
基于域对抗损失、重建损失与内容语义特征损失的联合约束与优化训练网络模型。


3.根据权利要求1所述的方法，其特征在于，
所述反射生成网络通过深度学习进行含反射图像的合成，提取背景与纯反射图像的深度特征，从特征角度进行拼接融合，经由神经网络解码特征生成含反射图像。


4.根据权利要求3所述的方法，其特征在于，
所述反射生成网络的网络结构如下：先采用两个下...

【专利技术属性】
技术研发人员：段凌宇，麻岱迁，王策，施柏鑫，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11