一种基于区域物理约束对抗生成网络的图像去雾方法技术

本发明专利技术公开了一种基于区域物理约束对抗生成网络的图像去雾方法，先搭建区域物理约束对抗生成网络，通过基础分割模型SAM提供的区域图来约束其中的去雾网络和加雾网络，估计准确的雾成像物理属性，同时引入视网膜Retinex理论来辅助加雾网络生成更真实的有雾图像；接着构建非配对的有雾图像和干净图像作为训练数据，进行循环对抗生成训练使其收敛，最后网络收敛后只需要使用去雾网络来实现图像去雾需求。

【技术实现步骤摘要】

本专利技术属于图像处理，更为具体地讲，涉及一种基于区域物理约束对抗生成网络的图像去雾方法。

技术介绍

1、雾是一种常见的大气现象，由大气中悬浮颗粒的吸收和散射引起，通常会导致视觉质量不同程度的下降。此外，低质量的有雾图像输入可能会限制下游视觉任务的性能，如目标检测和语义分割。因此，图像去雾任务旨在从有雾图像中恢复高质量图像，这是低级视觉任务中的一个实际研究课题。

2、早期的图像去雾方法主要采用物理先验假设和传统的大气散射模型理论，但在挑战性的雾环境中，由于先验估计不准确或手工设置，这些方法的性能不尽人意。最近，许多基于深度学习的有监督图像去雾方法在典型的合成有雾图像数据集中取得了卓越的性能。然而，大多数现有的监督学习方法依赖于大量成对图像，需要同时有干净和对应的有雾图像进行训练。

3、因此，这些有监督去雾方法的泛化能力会严重下降，因为不同的雾图像存在较大的域差距，尤其是在真实世界的有雾图像中。此外，在现实世界中收集大规模成对的有雾和清晰图像数据集也是不切实际的。因此，一些工作提出了基于非配对数据集训练的无监督学习方法，旨在探索去雾模型的更好泛化能力。一些方法直接将循环对抗生成网络cyclegan的图像转换过程用于无监督图像去雾。然而，由于没有考虑雾成像的物理属性约束，基于非配对数据训练的模型很容易崩溃。一些工作通过引入基于大气散射模型的物理属性来约束模型训练。然而，这种方法没有考虑到对于物理属性估计十分重要的区域信息。此外，还忽略了加雾网络和去雾网络间的差异，无法产生逼真的有雾图像，不利于约束对抗生成网络的训练过程。

4、综上所述，现有的技术手段具有以下缺点：1.有监督去雾方法的泛化能力差，跨数据集的去雾性能会大幅度下降。2.基于循环对抗生成网络的无监督去雾方法忽略了区域信息对雾成像物理属性估计的重要性。3.循环对抗生成框架没有分别针对加雾网络和去雾网络进行个性化设计，限制了加雾网络的生成能力。

技术实现思路

1、本专利技术的目的在于克服现有技术的不足，提供一种基于区域物理约束对抗生成网络的图像去雾方法，利用区域图来引导网络估计准确的物理属性，从而提高图像去雾效果。

2、为实现上述专利技术目的，本专利技术一种基于区域物理约束对抗生成网络的图像去雾方法，其特征在于，包括以下步骤：

3、(1)、图像采集及预处理；

4、采集若干张有雾图像和若干张无雾图像，共同组成训练数据集；

5、(2)、搭建区域物理约束对抗生成网络；

6、循环对抗生成网络包括生成器和判别器，其中，生成器包含一个去雾网络g1和一个加雾网络g2，去雾网络用于将有雾图像映射至无雾图像，加雾网络用于将无雾图像映射至有雾图像；判别器包含一个有雾判别器d1和一个无雾判别器d2，有雾判别器用于判别输出图像是否为有雾图像，无雾判别器用于判别输出图像是否为无雾图像；

7、去雾网络g1包括奇数层的卷积层和桥接在两层卷积层之间的区域提示增强模块；设去雾网络g1中共计k层卷积层，k层卷积层依次串联，k为奇数；另外，第一层卷积层的输出经过一个区域提示增强模块后输入至第k层卷积，第二层卷积层的输出经过一个区域提示增强模块后输入至第k-1层卷积，以此类推，位于中间位置的卷积层仅连接前后卷积层；

8、区域提示增强模块包括下采样模块和多个卷积块；输入的区域图先通过下采样模块进行下采样，再将下采样结果经过一个3×3的卷积块进行卷积操作，然后将卷积结果作为下一个区域提示增强模块的输入；同时，将下采样结果与卷积层输入的特征图进行通道拼接，再将拼接后的结果进行归一化处理，然后将归一化结果分别通过三个1×1的卷积块，记每个卷积块输出的卷积特征分别为we、wk、wq；将卷积特征wk和wq逐像素相乘后，先通过softmax函数再与卷积特征we逐像素相乘，其结果通过1×1的卷积块后再与通道拼接结果逐像素相加，然后将相加的结果再次通过一个1×1的卷积块，最后再与卷积层输入的特征图进行逐像素相加，相加的结果作为区域提示增强模块桥接的另一层卷积层的输入；

9、加雾网络g2以去雾网络g1的架构为基础，在去雾网络g1的输出端增设区域亮度修正模块；

10、区域亮度修正模块包括分解模块和亮度调整模块；其中，分解模块通过retinex分解操作将加雾网络g2映射出的有雾图像分解为反射图r(x)和亮度图l(x)；亮度调整模块利用区域图m(x)来自适应学习调整亮度图l(x)，学习不同区域的照明亮度，生成更真实的有雾图像

11、(3)、训练区域物理约束对抗生成网络；

12、(3.1)、从训练数据集中随机选取一张有雾图像和无雾图像，有雾图像记为i(x)，无雾图像记为j(x)；

13、(3.2)、将有雾图像i(x)通过基础分割模型sam，生成区域图m(x)；

14、(3.3)、将有雾图像i(x)、无雾图像记为j(x)以及区域图m(x)一起输入至生成器，在生成器中，通过去雾网络g1将有雾图像i(x)映射至无雾图像

15、

16、其中，t(x)表示表示g1在映射过程中产生的传输图；

17、同时，通过加雾网络g2将无雾图像j(x)映射至有雾图

18、

19、其中，d(x)表示g2在映射过程中产生的深度图，a*表示将无雾图像j(x)中像素最大值作为全局大气光；β为散射系数，且服从均匀分布；

20、(3.4)、利用区域亮度修正模块修正有雾图像

21、(3.4.1)、分解模块将有雾图像分解为反射图r(x)和亮度图l(x)；

22、

23、(3.4.2)、亮度调整模块先使用卷积层处理拼接后的区域图m(x)和亮度图l(x)，得到修正后的亮度图然后将修正后亮度图与原亮度图l(x)逐像素相加，并将相加后结果与反射率r(x)逐像素相乘，最后将相乘的结果通过多层的卷积处理后生成更加真实的有雾图像

24、(3.5)、计算本轮训练后的总损失；

25、(3.5.1)、计算对抗损失；

26、将去雾网络g1估计的无雾图像和采集的无雾图像j(x)一起输入到无雾判别器d2，然后计算无雾判别器d2的期望概率：

27、

28、其中，e[·]表示求期望概率；

29、将加雾网络g2估计的有雾图像和采集的有雾图像i(x)一起输入到有雾判别器d1，计算有雾判别器d1的期望概率：

30、

31、(3.5.2)、计算循环一致性损失；

32、将去雾网络g1估计的无雾图像输入至加雾网络g2，得到伪有雾图像然后计算与i(x)的平均绝对误差表示l1范数；

33、将区域亮度修正模块修正后的有雾图像输入至去雾网络g1，得到伪无雾图像然后计算与j(x)的平均绝对误差

34、最后计算循环一致性损失：

35、(3.5.3)、计算区域物理约束对抗生成网络的总损失；

...

【技术保护点】

1.一种基于区域物理约束对抗生成网络的图像去雾方法，其特征在于，包括以下步骤：

【技术特征摘要】

1.一种基于区域物理约束对抗生成网络的图...

【专利技术属性】
技术研发人员：王国庆，林楷浩，李天宇，杨阳，王玉庆，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人