基于表征解耦的阴影去除方法技术

一种基于表征解耦的阴影去除方法，通过对样本图像进行预处理并输入包含阴影编码器、内容编码器和解码器的卷积神经网络，通过编码器分别得到内容特征图和阴影特征图；使用预先标注好的阴影范围对阴影特征图中的相应特征进行平均池化操作，得到阴影特征向量后与内容特征图融合，输入解码器，从而对编码器和解码器进行训练；最后将待处理图像输入训练后的内容编码器与解码器从而实现阴影去除。本发明专利技术能够更好的去除掉背景上覆盖的阴影，达到比传统方法更精确的效果。法更精确的效果。法更精确的效果。

【技术实现步骤摘要】
基于表征解耦的阴影去除方法


[0001]本专利技术涉及的是一种图像处理领域的技术，具体是一种利用深度学习模型和基于表征解耦的技术来实现对实际阴影图像的阴影去除方法。

技术介绍

[0002]目前针对图像中阴影的去除的技术包括通过构建物理光学模型，从而使用一些先验知识来恢复阴影区域的正常光照以及阴影去除工作和基于深度学习方法的阴影去除技术，其中基于深度学习的阴影去除工作主要学习一个高级的上下文特征，从而基于该特征进行阴影去除。而该类方法又可以分为两大类，将传统光影模型作为先验知识的方法和不使用传统光影模型的深度学习方法。将传统光影模型作为先验知识的方法基于现有的阴影图像先生成过曝的图像，然后使用深度学习方法将二者进行融合从而得到最终的去除阴影的图像。而不使用传统光影模型的深度学习方法则寄希望与通过深度学习模型直接将阴影去除从而得到没有阴影的图像。然而，二者均无法得到较为完善的剔除掉阴影的表征，从而无法彻底的去除阴影，而将阴影和背景内容的表征解耦开来将致力于解决这一问题。

技术实现思路

[0003]本专利技术针对现有技术由于不能得到较为完善的剔除掉阴影的表征，无法彻底的去除阴影的缺陷，提出一种基于表征解耦的阴影去除方法，能够在去除阴影的同时对阴影和背景内容进行表征解耦，把图像的中间表征解耦成背景内容表征和阴影表征，从而得到更纯的内容表征，更好的剔除掉阴影表征，从而可以更好的去除掉背景上覆盖的阴影，达到比传统方法更精确的效果。
[0004]本专利技术是通过以下技术方案实现的：
[0005]本专利技术涉及一种基于表征解耦的阴影去除方法，通过对样本图像进行预处理并输入包含阴影编码器、内容编码器和解码器的卷积神经网络，通过编码器分别得到内容特征图和阴影特征图；使用预先标注好的阴影范围对阴影特征图中的相应特征进行平均池化操作，得到阴影特征向量后与内容特征图融合，输入解码器，从而对编码器和解码器进行训练；最后将待处理图像输入训练后的内容编码器与解码器从而实现阴影去除。
[0006]所述的样本图像包括：有阴影的样本图像、对应的去除阴影的样本图像以及无阴影的样本图像。
[0007]所述的融合是指：采用基于区域的自适应实例规范化的方式来对阴影特征向量和内容特征图进行基于区域的自适应实例规范化的操作(RegionAdaIN)。
[0008]所述的对编码器与解码器进行训练，具体包括：
[0009]1)将有阴影的样本图像通过内容编码器和阴影编码器分别生成对应的内容特征图和阴影特征图，通过对阴影特征图进行区域平均池化操作，得到阴影特征向量后与内容特征图融合并输入解码器，并对得到的输出图像进行阴影重构，得到有阴影的生成图；将内容特征图输入解码器，并对得到的输出图像进行无阴影重构，得到无阴影的生成图，从而构
建出完整的重构损失。
[0010]所述的阴影重构是指：将得到的有阴影生成图向着有阴影的样本图像进行重构。
[0011]所述的无阴影重构是指：将得到的无阴影生成图向着对应的去除阴影的样本图像进行重构。
[0012]所述的完整的重构损失，由上文两种重构所使用的损失组成。
[0013]2)将无阴影的样本图像通过内容编码器生成内容特征图，然后将生成的内容特征图与步骤1)中的阴影特征向量融合并输入解码器，得到有阴影的重构图像，将该图像与步骤1)中输入的有阴影的样本图像以及该图像的阴影掩码一同输入判别器中生成判别损失。
[0014]3)将步骤2)解码器生成的有阴影的重构图像再次输入内容编码器中，得到对应内容特征图，通过损失函数使得其和步骤2)生成的内容特征图相似，从而得到内容特征图损失。
[0015]4)将步骤1)计算得到的重构损失、步骤2)计算得到的判别损失和步骤3)计算得到的内容特征图损失进行加权求和处理，实现编码器与解码器的训练。
附图说明
[0016]图1为本专利技术网络模型示意图；
[0017]图2为实施例效果示意图。
具体实施方式
[0018]本实施例涉及一种基于表征解耦的阴影去除方法，通过对样本图像进行预处理并输入包含阴影编码器、内容编码器和解码器的卷积神经网络，通过编码器分别得到内容特征图和阴影特征图；使用预先标注好的阴影范围对阴影特征图中的相应特征进行平均池化操作，得到阴影特征向量后与内容特征图融合，输入解码器，从而对编码器和解码器进行训练；最后将待处理图像输入训练后的内容编码器与解码器从而实现阴影去除。
[0019]所述的融合是指：将阴影特征向量使用基于区域的自适应实例规范化的操作对该内容特征图进行基于区域的自适应实例规范化的操作(RegionAdaIN)。
[0020]所述的对编码器和解码器进行训练是指：将有阴影的样本图像通过内容编码器和阴影编码器分别生成对应的内容特征图和阴影特征图，通过对阴影特征图进行区域平均池化操作，得到阴影特征向量后与内容特征图融合并输入解码器，得到输出图像向着输入的有阴影的图像进行重构；而内容特征图则直接输入解码器，得到输出图像后向着输入样本对应的无阴影样本图像进行重构
[0021]此外，将无阴影的样本图像通过内容编码器生成内容特征图，然后将生成的内容特征图与上述步骤的阴影特征向量融合并输入解码器，得到有阴影的重构图像，将该图像与上述步骤中输入的有阴影的样本图像以及该图像的阴影掩码一同输入判别器中生成判别损失。
[0022]将上述步骤解码器生成的有阴影的重构图像再次输入内容编码器中，得到对应内容特征图，通过损失函数使得其和上述步骤生成的内容特征图相同，从而得到内容特征图损失。
[0023]所述的卷积神经网络包括：内容编码器、阴影编码器、解码器和判别器，其中：内容
编码器根据输入的样本图像进行内容特征解耦得到内容特征图，阴影编码器根据输入的有阴影的样本图像进行阴影特征解耦得到阴影特征图、解码器根据输入的特征图得到对应的输出图像、判别器根据输入的有阴影的图像及阴影掩码判别其是真实阴影图像还是生成的阴影图像。
[0024]所述的对编码器与解码器进行训练，具体包括：
[0025]步骤1)构建重构损失：对于一张有阴影的输入图像I
′
A
，首先用内容编码器E
C
得到I
′
A
的内容特征图接着将输入到解码器G中得到去阴影的图像因为解码器的输入只有内容特征图，没有阴影信息，所以该解码器的输出应当为无阴影图像，该图像与没有阴影的标签图像I
A
进行重构损失的构建，包括L1损失和vgg损失：损失和vgg损失：其中：代表VGG16网络中第k层的激活层的值。
[0026]步骤2)对于I
′
A
，将其输入到阴影编码器E
S
中得到I
′
A
的阴影特征图使用预先标注好的阴影掩码对特征图中的相应特征进行平均池化操作，得到阴影特征向量对于得到的阴影特征向量和内容特征图使用基于区域的自适应实例规范化的操作(Region本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于表征解耦的阴影去除方法，其特征在于，通过对样本图像进行预处理并输入包含阴影编码器、内容编码器和解码器的卷积神经网络，通过编码器分别得到内容特征图和阴影特征图；使用预先标注好的阴影范围对阴影特征图中的相应特征进行平均池化操作，得到阴影特征向量后与内容特征图融合，输入解码器，从而对编码器和解码器进行训练；最后将待处理图像输入训练后的内容编码器与解码器从而实现阴影去除；所述的样本图像包括：有阴影的样本图像、对应的去除阴影的样本图像以及无阴影的样本图像。2.根据权利要求1所述的基于表征解耦的阴影去除方法，其特征是，所述的融合是指：采用基于区域的自适应实例规范化的方式来对阴影特征向量和内容特征图进行基于区域的自适应实例规范化的操作。3.根据权利要求1所述的基于表征解耦的阴影去除方法，其特征是，所述的对编码器与解码器进行训练，具体包括：1)将有阴影的样本图像通过内容编码器和阴影编码器分别生成对应的内容特征图和阴影特征图，通过对阴影特征图进行区域平均池化操作，得到阴影特征向量后与内容特征图融合并输入解码器，并对得到的输出图像进行阴影重构，得到有阴影的生成图；将内容特征图输入解码器，并对得到的输出图像进行无阴影重构，得到无阴影的生成图，从而构建出完整的重构损失；2)将无阴影的样本图像通过内容编码器生成内容特征图，然后将生成的内容特征图与步骤1)中的阴影特征向量融合并输入解码器，得到有阴影的重构图像，将该图像与步骤1)中输入的有阴影的样本图像以及该图像的阴影掩码一同输入判别器中生成判别损失；3)将步骤2)解码器生成的有阴影的重构图像再次输入内容编码器中，得到对应内容特征图，通过损失函数使得其和步骤2)生成的内容特征图相似，从而得到内容特征图损失；4)将步骤1)计算得到的重构损失、步骤2)计算得到的判别损失和步骤3)计算得到的内容特征图损失进行加权求和处理，实现编码器与解码器的训练。4.根据权利要求3所述的基于表征解耦的阴影去除方法，其特征是，所述的阴影重构是指：将得到的有阴影生成图向着有阴影的样本图像进行重构；所述的无阴影重构是指：将得到的无阴影生成图向着对应的去除阴影的样本图像进行重构；所述的完整的重构损失，由上文两种重构所使用的损失组成。5.根据权利要求1～4中任一所述的基于表征解耦的阴影去除方法，其特征是，所述的对编码器与解码器进行训练，具体包括：步骤1)构建重构损失：对于一张有阴影的输入图像I
′
A
，首先用内容编码器E
C
得到I
′
A
的内容特征图接着将输入到解码器G中得到去阴影的图像因为解码器的输入只有内容特征图，没有阴影信息，所以该解码器的输出应当为无阴影图像，该图像与没有阴影的标签图像I
...

【专利技术属性】
技术研发人员：牛力，赵星，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：