一种基于深度无监督学习的图像阴影检测方法技术

本发明专利技术公开了一种基于深度无监督学习的图像阴影检测方法，包括：(1)使用多种不同的传统无监督阴影检测模型对无标签的训练样本集进行预测，生成相应的预测阴影图：(2)构建初始伪标签生成模块，利用多个预测阴影图生成初始伪标签；(3)构建课程学习模块，利用多个阴影图设计由简单到复杂的学习课程；(4)构建伪标签更新模块，利用伪标签阴影强度作为评估标准，来评估已训练模型的预测阴影图和初始伪标签阴影图的可靠性，进而将可靠性高的阴影图作为新的伪标签；(5)构建基于轻量级网络结构的阴影检测模型；(6)利用课程学习和伪标签更新模块对网络模型进行多阶段训练，获得最后一阶段的网络模型参数；(7)预测图像的阴影结果图。(7)预测图像的阴影结果图。(7)预测图像的阴影结果图。

【技术实现步骤摘要】
一种基于深度无监督学习的图像阴影检测方法


[0001]本专利技术属于图像处理领域，具体涉及一种基于深度无监督学习的图像阴影检测方法，适用于计算机视觉任务中图像的预处理过程。

技术介绍

[0002]阴影检测旨在利用模型或算法检测和分割出图像中的阴影区域。作为图像的预处理步骤，阴影检测在目标检测、语义分割、视频跟踪等视觉任务中起着至关重要的作用。
[0003]现有的阴影检测方法可以分为两大类：一类是基于传统的阴影检测方法，另一类是基于深度学习的阴影检测方法。基于传统的阴影检测算法主要是通过人工提取的颜色、纹理、亮度、方向等特征完成图像阴影的检测，过度的依赖于人工选取的特征，对场景适应性不强，不具有鲁棒性，在复杂场景下的数据集表现不加。随着深度学习技术的广泛应用，基于深度学习的阴影检测研究取得了突破性进展，相较于传统的阴影检测算法，检测性能显著提高，有相对较强的鲁棒性。
[0004]到目前为止，基于深度学习技术的图像阴影检测方法取得了突出的效果。例如“ZHU L,DENG Z,HU X,et al.Bidirectional feat本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度无监督学习的图像阴影检测方法，其特征在于，包括以下步骤：(1)使用Z＝4种不同的传统无监督阴影检测模型对无标签的训练样本集D＝{x
n
，n＝0，...，N
‑
1}进行预测，生成相应的预测阴影图其中N表示训练样本的数量；(2)构建初始伪标签生成模块，通过初始伪标签生成模块对所述步骤(1)得到的多个阴影图进行平均融合，得到融合阴影图，并利用全连接条件随机场进一步增强融合阴影图，得到初始伪标签；(3)构建课程学习模块，利用步骤(1)得到的多个阴影图构建由简单到复杂的学习课程D
C
＝{D
c
，c＝0，...，C
‑
1}：通过计算多个阴影图之间的一致性程度来衡量训练样本场景的复杂度，根据不同复杂度将训练样本集平均划分为R个不同样本复杂度等级的样本子集，利用R＝5个样本子集构建由简单到复杂且样本数量逐渐递增的多阶段课程训练集D
C
＝{D
c
，c＝0，...，C
‑
1}，其中D
c
表示用于第c轮课程训练的样本集合，C＝23表示课程的数量；将课程训练的伪标签定义其中表示第n个样本在第c轮课程训练的伪标签，N
c
表示第c轮课程的训练样本量；当c＝0时，Y0则表示初始伪标签生成模型产生的初始伪标签；(4)构建伪标签更新模块，利用伪标签阴影强度作为评估标准，来评估已训练模型的预测阴影图和初始伪标签阴影图的可靠性，进而将可靠性高的阴影图作为新的伪标签；(5)构建基于轻量级网络结构的阴影检测模型M：首先，采用小规模的网络模型对输入图像进行特征提取；然后，通过空间感知模块在浅层网络捕获低层级的空间细节信息，有效地精炼阴影预测图的边缘；通过语义感知模块挖掘深层特征中多尺度多感受野的语义上下文信息；通过特征引导融合模块有效地融合空间细节特征和语义上下文特征，将融合输出经过一个预测模块作为模型的预测输出特征；(6)训练算法模型：在步骤(3)构建的多阶段课程训练集上，用步骤(2)得到的初始伪标签对步骤(5)的阴影预测图进行监督学习，通过噪声鲁棒的对称交叉熵损失，对模型进行多阶段训练，在多阶段训练过程中，利用步骤(4)的伪标签更新模块对噪声伪标签进行更新，完成多阶段模型训练，得到最后一阶段的网络模型参数；(7)预测图像的阴影结果图：在测试数据集上，利用步骤(6)得到的网络模型参数，对步骤(5)中得到的预测输出特征图，通过sigmoid进行分类计算，进行阴影图像的像素级预测。2.根据权利要求1所述的一种基于深度无监督学习的图像阴影检测方法，其特征在于，步骤(2)中所述的初始伪标签生成过程表示为：(21)多个阴影图进行平均融合，得到融合阴影图：其中：asm
n
表示第n张图像样本的融合阴影图；
表示第z种传统阴影检测模型对第n张图像样本的预测阴影图；Z表示传统阴影检测模型的数量；(22)使用全连接条件随机场对融合阴影图进一步增强，得到初始伪标签：其中：初始伪标签集合Y0，表示第n张图像样本的初始伪标签；x
n
表示第n张图像样本；asm
n
表示第n张图像样本的融合阴影图；CRF(*)表示全连接条件随机场操作。3.根据权利要求2所述的一种基于深度无监督学习的图像阴影检测方法，其特征在于，步骤(3)的具体实现方法如下：(31)利用多个阴影图之间的一致性评估样本场景的复杂度：其中：τ
n
表示第n张图像样本场景的复杂度；BER(*)表示平衡误差率，其最初用于衡量阴影检测算法的性能，通过度量预测结果与真值标签的一致性来衡量算法性能，这里将其用于衡量阴影图之间的一致性；usm
n
表示第n张图像样本的预测阴影图；Z表示传统阴影检测模型的数量；更进一步地，上述公式(3)平衡误差率BER由以下公式表示：其中：TP表示正确地检测到的阴影像素数量，即真阳性；TN表示正确地检测到的非阴影像素数量，即真阴性；N
p
和N
n
分别表示阴影区域和非阴影区域的像素数量；(32)构建递增式多阶段学习课程包括：(321)将训练样本按照步骤(31)得到的复杂度τ降序排序后，根据不同复杂度将训练样本集平均划分为R个不同复杂度等级的样本子集，即其中每个子集互不包含且含有的样本数量为N/R，N为所有训练样本总量；将由简单到复杂的多阶段课程训练集定义为{D
c
，c＝0，...，C
‑
1}，其中D
c
表示用于第c轮课程训练的样本集合；(322)构建递增式多阶段课程训练集，在模型的训练过程中将较为复杂的样本逐渐添加到当前的训练数据集中，以此来增加训练样本复杂度；当c＜R时，将R个不同复杂度的样本子集以递增的方式逐渐加入到课程训练集D
c
中，这样D
c
中训练样本数量随着课程的进行逐渐增加，即当R≤c＜C时，D
c
的样本数量保持不变，即D
c
＝D
R
‑1；递增方式的多阶段课程训练集D
c
表示为：
其中：∪表示样本集合的并集操作。4.根据权利要求3所述的一种基于深度无监督学习的图像阴影检测方法，其特征在于，步骤(4)伪标签更新模块：对于给定训练图像集合{x
n
}，及其对应的初始伪标签集合和当前课程迭代训练生成的深度阴影图集合首先计算每一幅图像对应初始标签的阴影图像强度和对应深度伪标签的图像强度和对应深度伪标签的图像强度和对应深度伪标签的图像强度其中：Mean(*)表示均值操作；表示逐元素相乘；第c+1轮课程训练的伪标签表示为：5.根据权利要求4所述的一种基于深度无监督学习的图像阴影检测方法，其特征在于，步骤(5)中所述的基于轻量级网络结构的阴影检测模型M包含特征提取网络、空间感知模块、语义感知模块和特征引导融合模块：(51)对于输入图像采用ResNet
‑
18网络进行特征提取，得到5个不同分辨率的层级特征F1，F2，F3，F4，F5；(52)步骤(5)中所述的空间感知模块由两个结构相同的空间注意力模块和卷积融合模块构成，空间感知模块以步骤(1)得到的输入图像的浅层特征F2和F3作为输入，分别通过空间注意力模块获得两个不同层级增强后的空间细节特征和然后将其进行上采样级联，经过卷积块进行特征聚合以加强二者的联系，最后输出含有丰富空间细节信息的特征F
s
，空间细节特征F
s
表示为：F
s
＝Conv
br
(Conv
br
(Cat(SA(F2)，Up(SA(F3)))))
ꢀꢀꢀꢀꢀ
(9)其中：Conv
br
(*)表示有批量归一化和ReLu激活函数的卷积操作；Cat(*)表示跨通道级联操作；Up(*)表示上采样操作；SA(*)表示空间注意力模块；(53)步骤(5)中所述的语义感知模块由两个结构相同的语义上下文模块和一个卷积块
构成，语义感知模块以步骤(1)得到的输入图像的浅层特征F4和F5作为输入，分别通过语义上下文模块获得两个不同层级的语义上下文特征和然后将其进行上采样级联，经过卷积块进行特征聚合以加强二者的联系，最后输出含有丰富语义上下文信息的特征F
c
，语义上下文特征F
c
表示为：F
c
＝Conv
br
(Conv
br
(Cat(GSC(F4)，Up(GSC(F5)))))
ꢀꢀꢀꢀ...

【专利技术属性】
技术研发人员：张强，李军，李广和，金国强，王林，张振伟，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：