【技术实现步骤摘要】
本专利技术涉及图像处理与分析，具体为一种通用的去除不良天气条件的图像修复方法及系统。
技术介绍
1、在实际的生产生活中，诸如雨、雪以及雾等不良天气条件会显著降低成像的视觉质量，严重影响许多后续计算机视觉任务的性能。因此，从图像中消除不利的天气影响至关重要。
2、近年来，基于卷积神经网络的图像修复方法在去雨、去雾、去雪和去雨滴等方面得到了广泛研究，并取得了瞩目的结果。然而，绝大多数方法只关注其中的某种任务，无法同时处理所有的不利天气条件。但是在实际的情况中，恶劣天气的情况是复杂多样的，因此这些方法在实际日常生活中的应用上存在困难。
3、在传统的计算机视觉领域，处理恶劣天气条件下的图像修复是一大挑战。早期的方法主要基于图像统计和物理模型来估计大气散射和大气透射，从而实现去雾、去雨等效果。这些方法虽然在某些特定场景下能够得到不错的结果，但往往需要调整大量的参数，而且对于复杂的天气条件(如同时存在的雾和雨)表现不佳。
4、随着深度学习和卷积神经网络(cnn)的发展，许多基于cnn的方法被提出。这些方法通常使用大量标注的数据进行训练，能够学习到从受损图像到清晰图像的映射关系。相比传统方法，它们能够在更多的场景下得到更好的结果。然而，这些基于深度学习的方法也存在不少限制。首先，它们通常需要大量的标注数据来进行训练，而在实际中，获得高质量的、各种恶劣天气下的标注数据是非常困难的。其次，这些方法在设计时往往只针对某一种特定的天气条件，如去雾或去雨，而缺乏通用性。当面对同时存在的多种天气条件时，这些方法的效果往
技术实现思路
1、鉴于上述存在的问题，提出了本专利技术。
2、因此，本专利技术解决的技术问题是：现有的图像修复方法存在通用性低，效率低，方法复杂，以及无法同时处理所有的不利天气条件的优化问题。
3、为解决上述技术问题，本专利技术提供如下技术方案：一种通用的去除不良天气条件的图像修复方法，包括：采集图像的不同层次的特征，输出图像的层次化特征表示；通过解码器对不同层次的特征表示解码，输出特征向量；基于卷积投影将解码特征转换为图像；根据感知损失与l1损失对模型进行训练。
4、作为本专利技术所述的一种通用的去除不良天气条件的图像修复方法的一种优选方案，其中：所述采集图像的不同层次的特征，输出图像的层次化特征表示包括通过编码块提取层次特征，设置intra-patch编码块，提取输入图像的细节信息；
5、所述intra-patch编码块的输入图像是由输入图像创建的子图像块，宽高为输入图像的一半。
6、作为本专利技术所述的一种通用的去除不良天气条件的图像修复方法的一种优选方案，其中：所述采集图像的不同层次的特征，输出图像的层次化特征表示包括将编码块提取阶段对应层次的特征与设置intra-patch编码块提取的输入图像细节信息相加，输出特征表示为：
7、yi＝ti(xi)+intrati(p(xi))，
8、其中，yi为特征表示，xi为输入图像，ti为编码块，intrati为intra-patch编码块，p表示从输入图像中创建子图像块的过程
9、作为本专利技术所述的一种通用的去除不良天气条件的图像修复方法的一种优选方案，其中：所述采集图像的不同层次的特征，输出图像的层次化特征表示包括编码块表示为：
10、输入一个尺寸大小为h×w×3的图像i，切分为相同大小的图像块，其中，h表示输入图像的高度，w表示输入图像的宽度；
11、将获取的图像块映射为大小为(n，c)的特征向量，其中n为图像块的数量，c为特征向量的维度；
12、将获取的特征向量通过卷积操作变换为维度为的特征向量，减小模型的计算复杂度；
13、将获取的特征向量进行自注意力运算，表示为：
14、
15、其中，q、k、v分别对应于注意力机制中的查询、键和值，d为常数；
16、通过线性层将获取的特征向量映射回维度(n，c)的特征向量；
17、将获取的特征向量输入到前馈网络模块，表示为：
18、ffn(x)＝mlp(gelu(dwc(mlp(x))))+x，
19、其中，ffn为前馈网络模块，mlp为多层感知机，gelu为高斯误差线性单元，dwc为depth-wise卷积模块，x为获取的特征向量映射回维度(n，c)的特征向量。
20、作为本专利技术所述的一种通用的去除不良天气条件的图像修复方法的一种优选方案，其中：所述通过解码器对不同层次的特征表示解码，输出特征向量包括根据相加输出的特征表示输入图像的层次特征表达y，通过解码块解码得到与任务相关的特征向量；
21、所述解码块包含一个注意力模块和前馈网络模块，将获取的特征向量通过卷积操作变换为维度为的特征向量，减小模型的计算复杂度；
22、将获取的特征向量进行自注意力运算；
23、通过线性层将获取的特征向量映射回维度(n，c)的特征向量；
24、将获取的特征向量输入到前馈网络模块，解码块采用注意力机制中的查询q是可学习的权重嵌入，在训练过程中与模型的参数同时进行更新。
25、作为本专利技术所述的一种通用的去除不良天气条件的图像修复方法的一种优选方案，其中：所述基于卷积投影将解码特征转换为图像包括将输出的层次化特征向量与任务相关的特征向量通过一组4层卷积层传递，同时使用跳跃连接进行信息融合，每个卷积层之前使用上采样操作以逐步恢复图像的尺寸表示为：
26、
27、其中，f(v)为处理后的特征向量，v为通过编码块提取的特征，γi为第i层的缩放参数，λi为第i层的上采样操作，φi为第i层的非线性变换函数；
28、将输出中得到的特征使用tanh函数进行激活，获取最终图像，表示为：
29、
30、其中，g(f)为最终图像，f为处理后的特征向量，为归一化因子，λi为第i层的上采样操作，φi为第i层的非线性变换函数，t为特征向量上下限，t为积分变量，m为多项式展开中项的数量，k为迭代变量，ξk为处理后的特征向量幂次项的系数，λ为高斯函数尖锐度。
31、作为本专利技术所述的一种通用的去除不良天气条件的图像修复方法的一种优选方案，其中：所述根据感知损失与l1损失对模型进行训练包括损失函数训练，表示为：
32、
33、
34、
35、其中，为模型预测的清晰图像，g为原始的清晰图像，e为与g之间的差值，表示l2损失，vgg表示vgg16预训练模型，vgg3,8,15表示提取vgg模型中第3、8、15层的特征值，表示l1损失，表示感知损失，λ表示控制l1损失与感知损失比例的变量，表示最终的联合损失。
36、本专利技术的另外一个目的是提供一种通用本文档来自技高网...
【技术保护点】
1.一种通用的去除不良天气条件的图像修复方法，其特征在于，包括：
2.如权利要求1所述的一种通用的去除不良天气条件的图像修复方法，其特征在于：所述采集图像的不同层次的特征，输出图像的层次化特征表示包括通过编码块提取层次特征，设置Intra-Patch编码块，提取输入图像的细节信息；
3.如权利要求1所述的一种通用的去除不良天气条件的图像修复方法，其特征在于：所述采集图像的不同层次的特征，输出图像的层次化特征表示包括将编码块提取阶段对应层次的特征与设置Intra-Patch编码块提取的输入图像细节信息相加，输出特征表示为：
4.如权利要求1所述的一种通用的去除不良天气条件的图像修复方法，其特征在于：所述采集图像的不同层次的特征，输出图像的层次化特征表示包括编码块表示为：
5.如权利要求1所述的一种通用的去除不良天气条件的图像修复方法，其特征在于：所述通过解码器对不同层次的特征表示解码，输出特征向量包括根据相加输出的特征表示输入图像的层次特征表达Y，通过解码块解码得到与任务相关的特征向量；
6.如权利要求1所述的一种通用的去
7.如权利要求1所述的一种通用的去除不良天气条件的图像修复方法，其特征在于：所述根据感知损失与L1损失对模型进行训练包括损失函数训练，表示为：
8.一种采用如权利要求1～7任一所述的一种通用的去除不良天气条件的图像修复方法的系统，其特征在于：包括特征提取模块，特征解码模块，特征转换模块，损失训练模块；
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的一种通用的去除不良天气条件的图像修复方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的一种通用的去除不良天气条件的图像修复方法的步骤。
...【技术特征摘要】
1.一种通用的去除不良天气条件的图像修复方法，其特征在于，包括：
2.如权利要求1所述的一种通用的去除不良天气条件的图像修复方法，其特征在于：所述采集图像的不同层次的特征，输出图像的层次化特征表示包括通过编码块提取层次特征，设置intra-patch编码块，提取输入图像的细节信息；
3.如权利要求1所述的一种通用的去除不良天气条件的图像修复方法，其特征在于：所述采集图像的不同层次的特征，输出图像的层次化特征表示包括将编码块提取阶段对应层次的特征与设置intra-patch编码块提取的输入图像细节信息相加，输出特征表示为：
4.如权利要求1所述的一种通用的去除不良天气条件的图像修复方法，其特征在于：所述采集图像的不同层次的特征，输出图像的层次化特征表示包括编码块表示为：
5.如权利要求1所述的一种通用的去除不良天气条件的图像修复方法，其特征在于：所述通过解码器对不同层次的特征表示解码，输出特征向量包括根据相加输出的特征表示输入图像的层次特征表达y，通过解码块解码得到与任务相关的特征向量；
6.如权利要求...
【专利技术属性】
技术研发人员：孟令雯，钟晶亮，张锐锋，班国邦，刘兴，马金通，张淑美，张俊玮，邹福，辛明勇，王渝淋，王思佳，王维耀，杨艳，
申请(专利权)人：贵州电网有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。