基于高斯过程映射的迁移学习去雾方法与系统技术方案

本发明专利技术公开了基于高斯过程映射的迁移学习去雾方法与系统。包括：数据集收集和处理，搭建去雾网络包括编码器模块和解码器模块，通过将有雾图和无雾图输入，获得相应的编码器、解码器参数，进行高斯迁移计算，得到预测值，最终得到去雾图。本发明专利技术提供一种能够通过基于高斯过程的迁移学习进行去雾的框架，解决数据域漂移带来的在合成数据上训练模型存在偏差的问题，同时通过迁移学习以及在隐空间中建立函数关系来实现有雾图和无雾图在神经网络上的重建，神经网络的参数可以视为将两个数据域参数化，同时将隐空间中的特征以向量形式储存。在隐空间中建立映射，解决卷积的特征空间难以建立函数关系的问题。立函数关系的问题。立函数关系的问题。

【技术实现步骤摘要】
基于高斯过程映射的迁移学习去雾方法与系统


[0001]本专利技术涉及计算机视觉、图像处理、图像去雾领域，具体涉及基于高斯过程映射的迁移学习去雾方法、系统、设备及存储介质。

技术介绍

[0002]雾霾是大气中常见的现象，它是由悬浮在空气中的微小水滴或颗粒对大气光和场景光的散射造成的。在有雾天气时，摄像头拍摄的图像和视频对比度降低和颜色褪化。而图像质量的降低会对视频监控、智能车辆等各种视觉应用产生不利影响。因此，单幅图像去雾在实践中具有重要意义。
[0003]目前，研究人员在去雾方面做出了很多努力。他们通过观察无雾和雾图像对之间的差异来提取特征或总结出一些统计规律，如暗通道先验(DCP)、雾线(HL)等。然而，由于现实世界的场景复杂多变，这些先验假设有时会失效。近年来，基于各种深度神经网络和学习策略，深度去雾方法大幅提高了去雾的性能。但是，神经网络训练过程需要大量成对数据，而现实中成对的数据几乎难以得到，虽然合成数据在一定程度上缓解了该问题。但是，由于域漂移问题的存在，从合成数据中学习到的模型通常对真世界的有雾图像失效。此外，隐空间对图像的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于高斯过程映射的迁移学习去雾方法，其特征在于，所述方法包括：数据收集和预处理，将数据集统一裁剪尺寸，得到的每个有雾图对应一张无雾图；搭建重建网络包括编码器和解码器，解码器与编码器对称，各包含五个模块；将所述有雾图和所述有雾图对应的无雾图输入所述重建网络，所述编码器将输入图像压缩至固定维度，所述解码器负责重建图像，获得有雾图矩阵和无雾图矩阵，保存训练结束后重建损失最小时的有雾图数据集对应的模型参数和无雾图数据集对应的模型参数；迁移所述编码器，记为新编码器，添加一个滤除模块，加载所述有雾图数据集对应的模型参数中编码器部分，保持该参数固定不更新；从真实有雾图数据集中选取新的有雾图，输入所述新编码器中，得到一个新编码器输出结果，变换维度后得到一维向量；迁移所述有雾图矩阵和所述无雾图矩阵，进行降维操作，得到降维后的有雾图矩阵和降维后的无雾图矩阵；将所述新编码器输出结果、所述降维后的有雾图矩阵和所述降维后的无雾图矩阵，进行矩阵变换，输入高斯过程GPM模块，计算得到最终预测值；迁移所述解码器，加载所述无雾图数据集对应的模型参数中解码器部分，保持该参数固定不更新，将所述预测值输入到解码器中，输出所述新的有雾图对应的去雾图。2.如权利要求1所述的基于高斯过程映射的迁移学习去雾方法，其特征在于，所述数据收集和预处理，将数据集统一裁剪尺寸，得到的每个有雾图对应一张无雾图，具体为：数据收集，数据来源于RESIDE dataset；将其大小统一裁减为(256,256,3)，每个有雾图都对应一张无雾图。3.如权利要求1所述的基于高斯过程映射的迁移学习去雾方法，其特征在于，所述搭建重建网络包括编码器和解码器，解码器与编码器对称，各包含五个模块，具体为：编码器包括五个模块，第一个模块包括3*3的卷积核和一个残差块Residual2Block，简称RB，该块中卷积核大小皆为1*1；RB块将输入特征图按通道均匀拆为4份RB1、RB2、RB3、RB4，RB1和RB2卷积后结果相加得RB21并向后传输，RB21和RB3卷积后的结果相加得RB31并向后传输，RB31和RB4卷积的结果相加得RB41，最终将输入与RB1、RB21、RB31、RB41按通道拼接输出；第二个模块依次包括一个池化模块、一个RB块及一个卷积核为1*1的卷积模块，池化模块通过下采样将图像高宽缩小一倍，卷积核为1*1的卷积模块将通道压缩为原来的一半；第三、四块和第二块相同，第五块包括RB块和两个卷积，卷积核大小分别为1*1和3*3，编码器输入一张图(3,256,256)，输出特征图维度为(32,32,32)，将该输出值变换成一维向量进行保存，维度为(1,32768)表示1行32768列；解码器与编码器对称分布，包含五个模块，将编码器输出特征图维度(32,32,32)输入解码器，输出结果为重建图，重建图维度为(3,256,256)；解码器第一块包括一个3*3卷积核，负责将通道数由32变为128，不改变特征尺寸，接着是RB块和核为1*1的卷积，第二块包括一个反卷积、RB块和核为1*1卷积，其中反卷积负责将特征图的高宽扩大至原来的两倍，采取类似于U
‑
net中的跳跃连接操作，将编码器的第三模块输出结果与本模块输出按通道拼接，将拼接的结果输入RB和卷积；编码器第三模块结构与第二模块相同，只是跳跃连接部分将编码器第二模块的输出拼
接，编码器第四模块采取更多的跳跃拼接，将编码器第一模块输出和编码器第二模块输出与第三模块进行拼接，然后是RB和卷积将通道由160变为16；解码器第五模块包括三个卷积，将16通道变3通道，最终输出维度为(3,256,256)的重建图。4.如权利要求1所述的基于高斯过程映射的迁移学习去雾方法，其特征在于，所述将所述有雾图和所述有雾图对应的无雾图输入所述重建网络，所述编码器将输入图像压缩至固定维度，所述解码器负责重建图像，获得有雾图矩阵和无雾图矩阵，保存训练结束后重建损失最小时的有雾图数据集对应的模型参数和无雾图数据集对应的模型参数，具体为：对于所述数据集中任一有雾图，其通道大小为3，尺寸为256*256，其重建流程为：将其输入到所述编码器，输出特征图维度变换成一维向量进行保存；所述数据集中的有雾图共有N张，迭代将所有有雾图全部重建，最终得到维度为(N,32,32,32)的输出，变换为矩阵，其大小为N
×
32768，记为Z
x
，训练结束后保存重建损失最小时的有雾图数据集对应的模型参数w
x
；无雾图重建输入为无雾图，与有雾图重建过程一致，输入、中间和输出过程的维度变化也一致，得到矩阵记为Z
y
，训练结束后保存重建损失最小时的无雾图数据集对应的模型参数w
y
...

【专利技术属性】
技术研发人员：周凡，孟小哲，林格，苏卓，
申请(专利权)人：中山大学，
类型：发明
国别省市：