子带网络桥接的半监督图像去雨方法及装置制造方法及图纸

本发明专利技术公开了一种子带网络桥接的半监督图像去雨方法及装置，通过深度学习来进行雨天图像的半监督学习，提出了一种递归频带表示来连接无监督和全监督框架。本文提取出一系列由粗到精的频带表示，并通过递归的端到端学习进行增强，进行雨痕去除和细节修正。在感知质量引导的对抗学习下，使用深度频带表示进行重构，生成最终的复原结果。本发明专利技术提取出一系列由粗到精的频带表示，并通过递归的端到端学习进行增强，进行雨痕去除和细节修正，提出了一种递归频带表示来连接无监督和全监督框架。

【技术实现步骤摘要】
子带网络桥接的半监督图像去雨方法及装置
本专利技术属于图像处理、增强领域，尤其涉及一种子带网络桥接的半监督图像去雨方法及装置。
技术介绍
深度学习去雨时代始于2017年。Yang等人构建一个联合雨痕检测和去除的网络，可以处理大雨，重叠的雨痕和雨雾。该网络可以通过预测二元掩模来检测雨水的位置，并采用递归框架来去除雨痕，逐步清除雨雾。该方法在下大雨的情况下取得了良好的效果。但是，方法可能会错误地去除垂直纹理并造成曝光不足。同年，Fu等人尝试通过构建深层细节网络去除雨痕。该网络仅将高频细节作为输入，并预测雨痕和干净的无雨图像。该工作表明，移除网络输入中的背景信息有利于网络训练。继Yang和Fu等人的工作，在后续工作中，许多基于卷积神经网络的方法被提出。这些方法采用了更高级的网络结构，并嵌入了与雨相关的新先验，在定量和定性分析中都取得了更好的结果。但是，由于这些方法受全监督学习范式的局限(即使用合成雨图)，在处理训练过程中从未见过的真实降雨场景时，可能会失效。
技术实现思路
针对上述问题和相关方法的不足，本专利技术提出了一种子带网络桥接的半监督图像去雨方法及装置。整体框架如图1所示，该方法构建了一种有效的特征表征——基于学习的子带表示，连接监督学习和非监督学习，实现高效的深度学习半监督去雨。模型的监督学习部分充分利用成对数据和基于信号保真度的损失度量，学习雨痕去除与细节修正过程。半监督学习部分则利用非成对数据和对抗学习，学习图像质量增强过程，提升图像的能见度和舒适度。本专利技术采用的技术方案包括以下步骤：一种子带网络桥接的半监督图像去雨方法，其步骤包括：1)基于若干样本无雨图像及生成的雨痕与雨雾，生成若干雨天图像y，构建成对图像数据集，并搜集不同质量的样本图像，获取各样本图像的图像质量标签，构建非成对图像质量数据集；2)构建图像去雨模型，并利用成对图像数据集与非成对图像质量数据集对图像去雨模型进行训练，得到训练后的图像去雨模型；其中图像去雨模型包括一个用以学习雨天图像y或复原图像中子带信号的迭代子带学习网络与一个用以对子带信号进行重组生成复原图像的迭代子带重建网络；利用成对图像数据集对迭代子带学习网络进行训练，利用成对图像数据集与训练后的质量评估网络对迭代子带重建网络进行训练；通过以下策略构建迭代子带学习网络：A)构建若干类似U-Net的深层网络，作为子网络；B)每个子网络以雨天图像y与上一次循环的复原结果级联作为输入，并将雨天图像y与复原结果级联映射到特征空间，然后通过若干卷积层进行特征变换；C)在中间层中，首先通过有步长的卷积和反卷积对特征的空间分辨率进行下采样，然后再上采样；D)使用跳跃连接将各子网络相同空间分辨率的浅层与深层特征连接；通过以下策略构建迭代子带重建网络：a)构建若干类似U-Net的深层网络，作为子网络；b)使用跳跃连接将各子网络相同空间分辨率的浅层与深层特征连接；所述训练后的质量评估网络利用非成对雨天图像质量数据集训练得到；质量评估网络的结构包括：一个将最后一层替换为具有n个单元全连接层的VGG16网络和一个softmax层，其中n为图像质量标签的种类数量；3)将待处理图像输入训练后的图像去雨模型，得到去雨后的图像。进一步地，生成雨痕与雨雾的方法包括：使用雨痕外观模型。进一步地，雨雾的参数包括：透光率和背景光。进一步地，雨天图像y＝x(1-t)+tα+s，其中x为样本无雨图像，s为雨痕，t为透光率，α为背景光。进一步地，迭代子带学习网络通过以下步骤学习雨天图像y或复原图像中子带信号：1)将雨天图像映射为特征，或对利用复原图像生成的跨循环特征残差进行累加得到特征；2)利用长短时记忆网络与所述特征生成跨尺度特征残差，并对跨尺度特征残差进行累加，得到跨尺度特征残差累加结果；3)通过将跨尺度特征残差累加结果映射为不同尺度下的增强结果，获取雨天图像y或复原图像中的子带信号。进一步地，利用成对图像数据集对迭代子带学习网络进行训练时，使用多尺度损失函数约束迭代子带学习网络的学习，其中多尺度损失函数φ(·)为计算图像的结构相似性指标，si是给定的缩放因子，FD(·)是下采样过程，λ1为第一权重参数，λ2为第二权重参数。进一步地，迭代子带重建网络通过以下步骤对子带信号进行重组生成复原图像：1)将子带信号映射为信号重组权重；2)使用信号重组权重加权子带信号重组生成新的增强结果；3)对新的增强结果进行重组，生成复原图像。进一步地，利用成对图像数据集与训练后的质量评估网络对迭代子带重建网络进行训练时，使用损失函数LSBR约束子带重建网络的学习，其中LSBR＝LPercept+λ3LDetail+λ4LQuality，感知损失函数信号保真度量质量损失函数λ3为第三权重参数，λ4为第四权重参数，Fp(·)是从一个预训练好的VGG网络抽取的深度特征，φ(·)为计算图像的结构相似性指标，lr为随机数，D(·)为训练后的质量评估网络。一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述所述的方法。一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机以执行上述所述的方法。与现有技术相比，本专利技术具有以下优势：1)提出一种递归频带表示来连接无监督和全监督框架，兼具监督学习和无监督学习图像增强方法的优点，即：较佳的细节复原能力与整体能见度和视觉舒适度；2)提取出一系列由粗到精的频带表示，并通过递归的端到端学习进行增强，进行雨痕去除和细节修正。附图说明图1为本专利技术的深度递归子带网络框架图。图2为本专利技术的子带学习网络的框架图。图3为本专利技术的子带重组网络的框架图。具体实施方式为了对本专利技术的技术方法进一步阐述，下面结合说明书附图和具体实例，对本专利技术进行进一步的详细说明。本专利技术的半监督图像去雨方法，使用如图1所示的深度递归子带网络，包括以下步骤：步骤1：构建成对有雨/无雨训练数据集，一共1800张有雨/无雨图像对。根据无雨图像x、基于雨痕外观模型(随机采样生成光照方向参数、视角参数和雨滴震动参数)[GargandNayar,2016]产生对应的雨痕s和雨雾参数(透光率t和背景光α)，叠加相关变量，生成雨天图像y:y＝x(1-t)+tα+s.(1)步骤2：构建非成对图像质量数据集，通过公开渠道，搜集不同质量的图像1000张以及对应的图像质量标签(1-10个等级，10代表最高质量，1代表最低质量)。步骤3：构建迭代子带学习网络，如图2。首要目标是充分利用步骤1中生成的成对训练数据学习复原图像(迭代子带学习网络的输出，目标拟合无雨图像)的每个子带信号。如图1所示，构建了一系列类似U-Net的深层网络。每个子网络以y和上一次循环的本文档来自技高网...

【技术保护点】
1.一种子带网络桥接的半监督图像去雨方法，其步骤包括：/n1)基于若干样本无雨图像及生成的雨痕与雨雾，生成若干雨天图像y，构建成对图像数据集，并搜集不同质量的样本图像，获取各样本图像的图像质量标签，构建非成对图像质量数据集；/n2)构建图像去雨模型，并利用成对图像数据集与非成对图像质量数据集对图像去雨模型进行训练，得到训练后的图像去雨模型；/n其中图像去雨模型包括一个用以学习雨天图像y或复原图像中子带信号的迭代子带学习网络与一个用以对子带信号进行重组生成复原图像的迭代子带重建网络；利用成对图像数据集对迭代子带学习网络进行训练，利用成对图像数据集与训练后的质量评估网络对迭代子带重建网络进行训练；/n通过以下策略构建迭代子带学习网络：/nA)构建若干类似U-Net的深层网络，作为子网络；/nB)每个子网络以雨天图像y与上一次循环的复原结果

【技术特征摘要】
1.一种子带网络桥接的半监督图像去雨方法，其步骤包括：
1)基于若干样本无雨图像及生成的雨痕与雨雾，生成若干雨天图像y，构建成对图像数据集，并搜集不同质量的样本图像，获取各样本图像的图像质量标签，构建非成对图像质量数据集；
2)构建图像去雨模型，并利用成对图像数据集与非成对图像质量数据集对图像去雨模型进行训练，得到训练后的图像去雨模型；
其中图像去雨模型包括一个用以学习雨天图像y或复原图像中子带信号的迭代子带学习网络与一个用以对子带信号进行重组生成复原图像的迭代子带重建网络；利用成对图像数据集对迭代子带学习网络进行训练，利用成对图像数据集与训练后的质量评估网络对迭代子带重建网络进行训练；
通过以下策略构建迭代子带学习网络：
A)构建若干类似U-Net的深层网络，作为子网络；
B)每个子网络以雨天图像y与上一次循环的复原结果级联作为输入，并将雨天图像y与复原结果级联映射到特征空间，然后通过若干卷积层进行特征变换；
C)在中间层中，首先通过有步长的卷积和反卷积对特征的空间分辨率进行下采样，然后再上采样；
D)使用跳跃连接将各子网络相同空间分辨率的浅层与深层特征连接；
通过以下策略构建迭代子带重建网络：
a)构建若干类似U-Net的深层网络，作为子网络；
b)使用跳跃连接将各子网络相同空间分辨率的浅层与深层特征连接；
所述训练后的质量评估网络利用非成对雨天图像质量数据集训练得到；质量评估网络的结构包括：一个将最后一层替换为具有n个单元全连接层的VGG16网络和一个softmax层，其中n为图像质量标签的种类数量；
3)将待处理图像输入训练后的图像去雨模型，得到去雨后的图像。


2.如权利要求1所述的方法，其特征在于，生成雨痕与雨雾的方法包括：使用雨痕外观模型。


3.如权利要求2所述的方法，其特征在于，雨雾的参数包括：透光率和背景光。


4.如权利要求1所述的方法，其特征在于，雨天图像y＝x(1-t)+tα+s，其中x为样本无雨图像，s为雨痕，t为...

【专利技术属性】
技术研发人员：刘家瑛，杨文瀚，胡煜章，郭宗明，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11