一种基于深度学习的图像去雾处理方法及装置制造方法及图纸

本发明专利技术所提供的一种基于深度学习的图像去雾处理方法及装置，所述方法包括：获取待处理的原始图像，提取原始图像中的各个目标特征图，将各个目标特征图融合，得到输入特征图；将输入特征图输入预先训练的图像去雾模型，得到去雾图像；图像去雾模型是由预先构建的合成数据集对预先构建的初始图像去雾模型进行模型训练得到初始训练模型后，由预先构建的真实场景数据集对初始训练模型进行模型训练得到。本发明专利技术通过二阶段训练方法得到图像去雾模型，充分利用合成数据的强监督信息和真实数据的现实数据分布，合理缓解了合成数据和真实数据的域分布差问题，有效提高了图像的去雾效果。有效提高了图像的去雾效果。有效提高了图像的去雾效果。

【技术实现步骤摘要】
一种基于深度学习的图像去雾处理方法及装置


[0001]本专利技术涉及计算机视觉领域，尤其涉及的是一种基于深度学习的图像去雾处理方法及装置。

技术介绍

[0002]图像去雾技术是通过消除大气散射效应，从而改善图像质量的一种图像处理方法，在计算机视觉领域有着广泛的应用。有雾图像通常受到雾霾、光照不足、噪点等因素的影响，导致图像质量下降，细节模糊，难以识别和分析。图像去雾技术可以去除这些影响，提高图像的质量和可视性，从而更好地满足人类视觉需求。
[0003]目前在图像去雾技术中，CycleGAN是一种用于无监督图像转换的生成对抗网络，已被应用于许多计算机视觉任务中。CycleGAN通过学习两个不同域之间的映射，可以在无需匹配数据的情况下进行图像转换。cycle
‑
dehazing算法基于CycleGAN的原理将有雾图像转换为无雾图像，实现去雾功能，但其模型特征提取单一，仅利用无监督的训练方法，无法有效对图像去雾。
[0004]因此，现有技术存在缺陷，有待改进与发展。

技术实现思路

[0005]本专利技术要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于深度学习的图像去雾处理方法及装置，旨在解决现有技术中无法有效对图像去雾的问题。
[0006]本专利技术解决技术问题所采用的技术方案如下：一种基于深度学习的图像去雾处理方法，其中，包括：获取待处理的原始图像，提取所述原始图像中的各个目标特征图，将各个所述目标特征图融合，得到输入特征图；将所述输入特征图输入预先训练的图像去雾模型，得到去雾图像；所述图像去雾模型是由预先构建的合成数据集对预先构建的初始图像去雾模型进行模型训练得到初始训练模型后，由预先构建的真实场景数据集对所述初始训练模型进行模型训练得到。
[0007]在一种实现方式中，所述图像去雾模型的训练步骤包括：构建合成数据集和真实场景数据集；构建初始图像去雾模型；利用所述合成数据集对所述初始图像去雾模型进行模型训练，得到初始训练模型；利用所述真实场景数据集对所述初始训练模型进行训练，得到已训练的图像去雾模型。
[0008]在一种实现方式中，所述构建合成数据集和真实场景数据集，包括：获取原始无雾图像、透射率图及预设全局大气光，所述透射率图是随机生成一个
深度图后应用预设指数衰减函数得到；获取预设大气退化模型公式，将所述原始无雾图像、所述透射率图及所述预设全局大气光代入所述预设大气退化模型公式，得到与所述原始无雾图像相匹配的合成有雾图像；根据所述原始无雾图像和所述合成有雾图像构建所述合成数据集；采集真实场景下的真实有雾图像和真实无雾图像，根据所述真实有雾图像和所述真实无雾图像构建所述真实场景数据集。
[0009]在一种实现方式中，所述构建初始图像去雾模型，包括：采用类cyclegan的双生成器和双判别器的循环网络模型作为框架，所述双生成器包括去雾生成器和合成雾图生成器，所述去雾生成器和所述合成雾图生成器均采用类Unet的结构；构建所述去雾生成器和所述合成雾图生成器的自适应混合加权跳层连接模块；构建所述自适应混合加权跳层连接模块中的特征融合层；构建多层感知损失函数以及监督绝对值损失函数。
[0010]在一种实现方式中，利用所述合成数据集对所述初始图像去雾模型进行模型训练，得到初始训练模型，包括：获取所述合成数据集中的原始无雾图像及与所述原始无雾图像相匹配的合成有雾图像；获取预设的对抗损失函数和循环一致性损失函数，根据所述多层感知损失函数、所述监督绝对值损失函数、所述对抗损失函数以及所述循环一致性损失函数得到一阶段训练损失函数；将所述合成有雾图像输入预先构建的雾图特征增强模块，计算所述合成有雾图像的第一亮度特征图、第一对比度先验特征图和第一暗通道特征图，并将所述第一亮度特征图、所述第一对比度先验特征图和所述第一暗通道特征图进行融合，得到第一训练输入特征图；将所述第一训练输入特征图输入到所述双生成器中，由所述去雾生成器中的所述自适应混合加权跳层连接模块进行处理，记录所述去雾生成器中编码器每次降采样后的第一特征图，记录所述去雾生成器中解码器每次上采样后的第二特征图；将所述第一特征图和所述第二特征图输入所述特征融合层中进行特征融合，并将所述原始无雾图像作为监督信息，基于所述一阶段训练损失函数对所述初始图像去雾模型进行模型训练，得到不同测试指标值对应的第一候选训练模型，所述测试指标值为峰值信噪比；将所述测试指标值最高的第一候选训练模型作为初始训练模型。
[0011]在一种实现方式中，利用所述真实场景数据集对所述初始训练模型进行训练，得到已训练的图像去雾模型，包括：获取所述真实场景数据集中的真实有雾图像和真实无雾图像；根据所述多层感知损失函数、所述对抗损失函数以及所述循环一致性损失函数得到二阶段训练损失函数；将所述真实有雾图像输入已训练的初始训练模型；
所述真实有雾图像经所述雾图特征增强模块，计算所述真实有雾图像的第二亮度特征图、第二对比度先验特征图和第二暗通道特征图，并将所述第二亮度特征图、所述第二对比度先验特征图和所述第二暗通道特征图进行融合，得到第二训练输入特征图；将所述第二训练输入特征图输入到所述双生成器中，由所述去雾生成器中的所述自适应混合加权跳层连接模块进行处理，记录所述去雾生成器中编码器每次降采样后的第三特征图，以及记录所述去雾生成器中解码器每次上采样后的第四特征图；将所述第三特征图和所述第四特征图输入所述特征融合层中进行特征融合，并将所述真实无雾图像作为监督信息，基于所述二阶段训练损失函数对所述初始训练模型进行模型训练，得到不同测试指标值对应的第二候选训练模型，所述测试指标值为峰值信噪比；将所述测试指标值最高的第二候选训练模型作为训练完成的图像去雾模型。
[0012]在一种实现方式中，所述多层感知损失函数表示为：；其中，所述x表示有雾图像，所述i表示特征层的层数，所述表示每个特征层误差的权重，所述表示合成雾图生成器，所述表示去雾生成器；所述表示当前输入的有雾图像对应的第i层特征值；所述监督绝对值损失函数表示为：；其中，所述为所述合成数据集中的原始无雾图像，所述为所述合成数据集中的有雾图像；所述一阶段训练损失函数表示为：；所述二阶段训练损失函数表示为：；其中，所述、、和为常数，所述表示对抗损失函数，所述表示循环一致性损失函数，所述表示多层感知损失函数，所述表示监督绝对值损失函数。
[0013]本专利技术还提供一种基于深度学习的图像去雾处理装置，包括：获取模块，用于获取待处理的原始图像，提取所述原始图像中的各个目标特征图，将各个所述目标特征图融合，得到输入特征图；输入模块，用于将所述输入特征图输入预先训练的图像去雾模型，得到去雾图像；所述图像去雾模型是由预先构建的合成数据集对预先构建的初始图像去雾模型进行模型训练得到初始训练模型后，由预先构建的真实场景数据集对所述初始训练模型进行模型训练得到。
[0014]本专利技术还提供一种终端，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于深度学习的图像去雾处理程序，所述基于深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的图像去雾处理方法，其特征在于，包括：获取待处理的原始图像，提取所述原始图像中的各个目标特征图，将各个所述目标特征图融合，得到输入特征图；将所述输入特征图输入预先训练的图像去雾模型，得到去雾图像；所述图像去雾模型是由预先构建的合成数据集对预先构建的初始图像去雾模型进行模型训练得到初始训练模型后，由预先构建的真实场景数据集对所述初始训练模型进行模型训练得到。2.根据权利要求1所述的基于深度学习的图像去雾处理方法，其特征在于，所述图像去雾模型的训练步骤包括：构建合成数据集和真实场景数据集；构建初始图像去雾模型；利用所述合成数据集对所述初始图像去雾模型进行模型训练，得到初始训练模型；利用所述真实场景数据集对所述初始训练模型进行训练，得到已训练的图像去雾模型。3.根据权利要求2所述的基于深度学习的图像去雾处理方法，其特征在于，所述构建合成数据集和真实场景数据集，包括：获取原始无雾图像、透射率图及预设全局大气光，所述透射率图是随机生成一个深度图后应用预设指数衰减函数得到；获取预设大气退化模型公式，将所述原始无雾图像、所述透射率图及所述预设全局大气光代入所述预设大气退化模型公式，得到与所述原始无雾图像相匹配的合成有雾图像；根据所述原始无雾图像和所述合成有雾图像构建所述合成数据集；采集真实场景下的真实有雾图像和真实无雾图像，根据所述真实有雾图像和所述真实无雾图像构建所述真实场景数据集。4.根据权利要求3所述的基于深度学习的图像去雾处理方法，其特征在于，所述构建初始图像去雾模型，包括：采用类cyclegan的双生成器和双判别器的循环网络模型作为框架，所述双生成器包括去雾生成器和合成雾图生成器，所述去雾生成器和所述合成雾图生成器均采用类Unet的结构；构建所述去雾生成器和所述合成雾图生成器的自适应混合加权跳层连接模块；构建所述自适应混合加权跳层连接模块中的特征融合层；构建多层感知损失函数以及监督绝对值损失函数。5.根据权利要求4所述的基于深度学习的图像去雾处理方法，其特征在于，利用所述合成数据集对所述初始图像去雾模型进行模型训练，得到初始训练模型，包括：获取所述合成数据集中的原始无雾图像及与所述原始无雾图像相匹配的合成有雾图像；获取预设的对抗损失函数和循环一致性损失函数，根据所述多层感知损失函数、所述监督绝对值损失函数、所述对抗损失函数以及所述循环一致性损失函数得到一阶段训练损失函数；将所述合成有雾图像输入预先构建的雾图特征增强模块，计算所述合成有雾图像的第
一亮度特征图、第一对比度先验特征图和第一暗通道特征图，并将所述第一亮度特征图、所述第一对比度先验特征图和所述第一暗通道特征图进行融合，得到第一训练输入特征图；将所述第一训练输入特征图输入到所述双生成器中，由所述去雾生成器中的所述自适应混合加权跳层连接模块进行处理，记录所述去雾生成器中编码器每次降采样后的第一特征图，记录所述去雾生成器中解码器每次上采样后的第二特征图；将所述第一特征图和所述第二特征图输入所述特征融合层中进行特征融合，并将所述原始无雾图像作为监督信息，基于所述一阶段训练损失函数对所述初始图像去雾模型进行模...

【专利技术属性】
技术研发人员：裴朝科，
申请(专利权)人：深圳市欧冶半导体有限公司，
类型：发明
国别省市：