一种基于内容感知信息的图像阴影消除方法技术

本发明专利技术提供一种基于内容感知信息的图像阴影消除方法，包括：建立虚拟场景和真实场景的阴影图像数据集及无阴影图像数据集；构建生成器网络模型，该生成器网络模型包含全局内容网络及局部修正网络；将阴影图像x作为输入对生成器网络模型进行训练，经过全局内容网络后输出初始阴影消除结果图像x

【技术实现步骤摘要】
一种基于内容感知信息的图像阴影消除方法
本专利技术属于图像处理
，尤其涉及一种基于内容感知信息的图像阴影消除方法。
技术介绍
阴影是光线被部分或者全部遮挡时产生的一种自然现象，并且阴影区域的亮度比其他区域低，这种低亮度的特点会降低某些计算机视觉任务的准确性和有效性，例如目标跟踪，目标检测，目标识别等。因此，在这些工作任务中有必要对图像中的阴影进行消除，恢复阴影区域的光照，提高图像的视觉效果，从而确保这些工作任务可以更加准确有效的施行。但是，由于场景中光照和纹理的变化以及其他环境因素的影响，使得复杂场景的图像阴影消除任务依然是一项十分具有挑战性的问题。图像的阴影消除是指在保证阴影区域原有色调及纹理结构的基础上，恢复阴影区域的光照，使恢复后阴影区域的亮度、颜色、纹理等与周围环境一致的。然而，目前的使用深度学习方法虽然在图像阴影消除领域上取得了一些进步，但是仍然存在一些不足：一方面，这些图像阴影消除方法对训练数据集依赖性较大，而目前公开的阴影图像数据集中阴影及场景类型都较为简单，使得训练得到的网络模型效果不够好；另一方面，图像阴影消除方本文档来自技高网...

【技术保护点】
1.一种基于内容感知信息的图像阴影消除方法，其特征在于，包括以下步骤：/n步骤1，建立虚拟场景和真实场景的阴影图像数据集X，并建立对应的虚拟场景和真实场景的无阴影图像数据集Y；/n步骤2，构建一个生成器网络模型，该生成器网络模型包含全局内容网络以及局部修正网络；/n步骤3，将阴影图像数据集X中的阴影图像x作为输入对所述生成器网络模型进行训练，x经过全局内容网络后输出初始阴影消除结果图像x

【技术特征摘要】
1.一种基于内容感知信息的图像阴影消除方法，其特征在于，包括以下步骤：
步骤1，建立虚拟场景和真实场景的阴影图像数据集X，并建立对应的虚拟场景和真实场景的无阴影图像数据集Y；
步骤2，构建一个生成器网络模型，该生成器网络模型包含全局内容网络以及局部修正网络；
步骤3，将阴影图像数据集X中的阴影图像x作为输入对所述生成器网络模型进行训练，x经过全局内容网络后输出初始阴影消除结果图像x1，x1经过局部修正网络后输出最终阴影消除结果图像x2；
步骤4，构建一个鉴别器网络模型；
步骤5，将最终阴影消除结果图像x2以及无阴影图像数据集Y中对应的无阴影图像y作为输入，通过鉴别器网络模型对最终阴影消除结果图像x2进行鉴别；
步骤6，通过损失函数对所述生成器网络模型以及所述鉴别器网络模型进行训练优化，并得到优化后的生成器网络模型以及鉴别器网络模型；
步骤7，利用步骤6所得的优化后的生成器网络模型对待处理阴影图像进行阴影消除。


2.如权利要求1所述的基于内容感知信息的图像阴影消除方法，其特征在于：
其中，所述全局内容网络包含一个编码器及一个解码器，
所述编码器采用卷积操作以及非线性变换操作对输入的图像进行降采样，提取图像特征；
所述解码器将降采样的图像特征结果作为网络输入，通过反卷积操作进行上采样并重建图像，得到初始阴影消除结果图像x1。


3.如权利要求1所述的基于内容感知信息的图像阴影消除方法，其特征在于：
其中，所述局部修正网络包含内容感知层网络、颜色修正网络以及细节修正网络，
所述内容感知层网络以初始阴影消除结果图像x1作为输入，提取图像中的局部一致性特征；
所述颜色修正网络以初始阴影消除结果图像x1的颜色信息、所述局部一致性特征作为输入融合，并通过反卷积操作将融合后的局部特征进行上采样并重建图，得到颜色修正结果；
所述细节修正网络以初始阴影消除结果图像x1、所述颜色修正结果、所述局部一致性特征作为输入融合，并通过反卷积操作将融合后局部特征进行上采样并重建图，得到最终阴影消除结果图像x2。


4.如权利要求3所述的基于内容感知信息的图像阴影消除方法，其特征在于：
其中，所述内容感知层网络包括5个卷积核为3×3步长为1的卷积构成，且每个卷积的输出维度分别为48、96、96、192、192，输出的特征大小分别为128×128、64×64、32×32、16×16、8×8，所述内容感知层网络通过3×3的特征块来匹配前景待修复区域块。


5.如权利要求4所述的基于内容感知信息的图像阴影消除方法，其特征在于：
其中，所述鉴别器网络模型为PatchGAN网络，该PatchGAN网络由5个卷积核大小为4×4，步长为1的卷积层构成，前4层卷积层的输出维度分别为64、128、256、512，最后一个卷积层输入映射，将30×30的矩阵作为输出，并将输出矩阵的均值作为所述鉴别器网络模型的输出结果。


6.如权利要求3所述的基于内容感知信息的图像阴影消除方法，其特征在于：
其中，步骤6中所述损失函数的公式表示如下：
Losstotal1＝Wgan*Ladv+WL1*LL1+Wvgg*Lvgg+Wcolor*Lcolor(1)
公式(1)中，Losstotal1为总损失；LAdv为生成对抗损失；L...

【专利技术属性】
技术研发人员：张玲，石恒，
申请(专利权)人：武汉科技大学，
类型：发明
国别省市：湖北;42