基于阴影复杂性感知神经网络的图像阴影去除方法技术

基于阴影复杂性感知神经网络的图像阴影去除方法，涉及计算机底层视觉

【技术实现步骤摘要】
shadow detection and removal[C]//Proceedings of the IEEE/CVF international conference on computer vision.2019:10213
‑
10222.)
采用条件生成对抗网络实现阴影检测和去除的联合任务
。SG
‑
ShadowNet(Wan J,Yin H,Wu Z,et al.Style
‑
Guided Shadow Removal[C]//Computer Vision
–
ECCV 2022:17th European Conference,TelAviv,Israel,October 23
–
27,2022,Proceedings,Part XIX.Cham:Springer Nature Switzerland,2022:361
‑
378.)
将去除阴影视为一种图像生成任务，使用
Style
‑
GAN
将样式从非阴影区域转移到阴影区域
。
[0006]本专利技术发现与阴影去除的训练数据集和神经网络设计相关的两个突出问题：
[0007]第一个问题是，深度神经网络需要多样化的训练数据来提高泛化性能
。
然而，现有的阴影去除数据集在颜色风格上受限，并且不同颜色风格的训练样本在数量上存在严重的不平衡，这个问题被人类世界环境中广泛存在的具有不同颜色风格的阴影所加重
。
因此，训练的模型可能会过度匹配其中某些具体的颜色风格，导致阴影去除的性能较差
。
[0008]第二个问题是，由于阴影的复杂性不同，去除弱阴影需要的计算量比强阴影少
。
目前的方法通常使用整个神经网络来处理阴影图像，这可能在性能效果和计算效率方面都不是最优的
。

技术实现思路

[0009]本专利技术的目的旨在针对现有技术存在的上述两个问题，提供一个更有效率且性能更加优秀的图像阴影去除方法
。
本专利技术提出一种新颖的基于阴影复杂性感知的神经网络，可以通过判断阴影的复杂性来合理分配去除它们所需要的计算量
。
此外，本专利技术还融合一种新型的颜色风格多样性增强步骤以增强输入训练样本的颜色多样性，解决训练集颜色风格单一且不均衡的问题
。
[0010]本专利技术包括以下步骤：
[0011]1)
使用颜色风格多样性增强方法对参与训练的训练集样本进行颜色风格变换；
[0012]2)
将颜色变换后的样本送入基于阴影复杂性感知神经网络的灰度结构信息恢复分支，对图像的灰度结构信息进行恢复；
[0013]3)
根据灰度结构信息恢复分支输出结果与输入图像的灰度图的差异性来判断阴影的复杂性；
[0014]4)
将颜色变换后的样本以及灰度结构信息恢复分支的输出结果一起送入基于阴影复杂性感知神经网络的颜色信息恢复分支，对图像的颜色信息进行恢复；阴影复杂性低的图像会提前从神经网络中退出，而阴影复杂性高的图像会在神经网络中经过更多的参数进行处理；
[0015]5)
计算灰度结构信息恢复分支的输出结果与无阴影图像的灰度图之间的
L1
损失和梯度损失，计算颜色信息恢复分支的输出结果与无阴影图像之间的
L1
损失
、
感知损失和多出口蒸馏损失；
[0016]6)
将各个损失按照不同的比例加和，作为整个网络的损失并进行反向传播，训练神经网络，得到一个性能优秀的阴影去除网络
。
[0017]在步骤
1)
中，所述颜色风格多样性增强方法是指，预先定义十种不同的颜色风格变换矩阵
(
维度均为3×3，分别对应以下公式的
C0‑
C9)
，分别为色度增强和色度减弱矩阵
、
红
色增强和红色减弱矩阵
、
绿色增强和绿色减弱矩阵
、
蓝色增强和蓝色减弱矩阵
、
三原色干扰增强和三原色干扰减弱矩阵
。
前两个矩阵主要能够增加图像光照亮度的多样性，之后的六个矩阵用来增加或减弱特定颜色，最后两个矩阵用于增加或减弱单张图片的颜色颜色丰富程度
。
[0018][0019][0020][0021][0022][0023][0024]其中
α
、
β
、
γ
均为非负超参数，将会在实施细节中给出它们对应的值
。
[0025]所述对参与训练的训练样本进行颜色变换，是指对阴影图像
‑
无阴影图像
(groundtruth)
对都进行相同的颜色风格变换
。
[0026]所述对参与训练的训练样本进行颜色变换，是指每次迭代随机从上述十种颜色风格变换中选择一种，与图片样本进行矩阵相乘的操作
。
[0027]在步骤
2)
中，所述灰度结构信息恢复分支主要包含一个经过特殊设计的小型
U
‑
Net
模块，称作
StructureUBlock。
该模块以阴影图像和阴影掩码作为输入，输出去除阴影之后的灰度图像
。
[0028]在步骤
3)
中，所述判断阴影复杂性的方法具体细节如下：
[0029][0030]其中，
I
s
为训练样本，即阴影图像
。G1、G2、G3分别代表阴影复杂性简单
、
中等
、
复杂三个难度集合，
mean()
代表计算均值，代表
StructureUBlock
输出的无阴影灰度图，代表输入的阴影灰度图
。t1、t2分别是判断阴影复杂性的阈值，将会在实施细节中给出它们对应的值
。
[0031]在步骤
4)
中，所述颜色信息恢复分支由三个
ColorUBlock
组成，每个
ColorUBlock
都有自己的出口，分别对应简单阴影
、
中等阴影和复杂阴影
。
[0032]在步骤
5)
中，所述计算灰度结构信息恢复分支的输出结果与无阴影图像的灰度图之间的
L1
损失，具体细节如下：
[0033][0034]其中，代表
ground truth
的灰度图
。
[0035]所述计算灰度结构信息恢复分支的输出结果与无阴影图像的灰度图之间的梯度损失，具体细节如下：
[0036][0037]其中，代表计算图像的梯度
。
[0038]所述计算颜色信息恢复分支的输出结果与无阴影图像之间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于阴影复杂性感知神经网络的图像阴影去除方法，其特征在于包括以下步骤：
1)
使用颜色风格多样性增强方法对参与训练的训练集样本进行颜色风格变换；
2)
将颜色变换后的样本送入基于阴影复杂性感知神经网络的灰度结构信息恢复分支，对图像的灰度结构信息进行恢复；
3)
根据灰度结构信息恢复分支输出结果与输入图像的灰度图的差异性来判断阴影复杂性；
4)
将颜色变换后的样本以及灰度结构信息恢复分支的输出结果一起送入基于阴影复杂性感知神经网络的颜色信息恢复分支，对图像的颜色信息进行恢复；阴影复杂性低的图像会提前从神经网络中退出，而阴影复杂性高的图像会在神经网络中经过更多的参数进行处理；
5)
计算灰度结构信息恢复分支的输出结果与无阴影图像的灰度图之间的
L1
损失和梯度损失，计算颜色信息恢复分支的输出结果与无阴影图像之间的
L1
损失
、
感知损失和多出口蒸馏损失；
6)
将各个损失按照不同的比例加和，作为整个网络的损失并进行反向传播，训练神经网络，得到一个性能优秀的阴影去除网络
。2.
如权利要求1所述基于阴影复杂性感知神经网络的图像阴影去除方法，其特征在于在步骤
1)
中，所述颜色风格多样性增强方法的具体步骤为：预先定义十种不同的颜色风格变换矩阵，分别为色度增强矩阵和色度减弱矩阵
、
红色增强矩阵和红色减弱矩阵
、
绿色增强矩阵和绿色减弱矩阵
、
蓝色增强矩阵和蓝色减弱矩阵
、
三原色干扰增强矩阵和三原色干扰减弱矩阵，维度均为3×3，分别对应以下公式的
C0‑
C9；前两个矩阵用于增加图像光照亮度的多样性，之后的六个矩阵用于增加或减弱特定颜色，最后两个矩阵用于增加或减弱单张图片的颜色颜色丰富程度；片的颜色颜色丰富程度；片的颜色颜色丰富程度；片的颜色颜色丰富程度；片的颜色颜色丰富程度；
其中，
α
、
β
、
γ
均为非负超参数
。3.
如权利要求1所述基于阴影复杂性感知神经网络的图像阴影去除方法，其特征在于在步骤
1)
中，所述对参与训练的训练集样本进行颜色风格变换，对阴影图像
‑
无阴影图像对都进行相同的颜色风格变换
。4.
如权利要求1所述基于阴影复杂性感知神经网络的图像阴影去除方法，其特征在于在步骤
1)
中，所述对参与训练的训练集样本进行颜色风格变换，每次迭代随机从十种颜色风格变换中选择一种，与图片样本进行矩阵相乘的操作
。5.
如权利要求1所述基于阴影复杂性感知神经网络的图像阴影去除方法，其特征在于在步骤
2)
中，所述灰度结构信息恢复分支，包含一个经过特殊设计的小型
U
‑
Net
模块，称作
St...

【专利技术属性】
技术研发人员：纪荣嵘，南宫瑞，张声传，林明宝，杨鸿，晁飞，
申请(专利权)人：厦门大学，
类型：发明
国别省市：