本发明专利技术公开了一种单幅图像去烟雾的方法，该方法基于烟雾形成的物理模型，利用轻量高效的神经网络设计了基本的编码器(Encoder)网络，再将编码网络输出的隐空间特征应用解码器(Decoder)网络解码，得到物理模型中传输介质参数，同时还将隐空间特征输入到了估计大气光照的回归器中，得到大气光照参数。将上一步得到的传输介质参数再输入到设计的金字塔网络中，进而估计出更加准确的传输介质参数。最后将所估计出的传输介质参数和大气光照参数代入到烟雾退化的物理公式中，得到去烟/雾的图像。像。像。
【技术实现步骤摘要】
一种轻量高效的单幅图像去烟雾方法
[0001]本专利技术涉及一种基于轻量化高效率深度卷积神经网络的单幅图像去烟雾方法，属于计算 机视觉领域。
技术介绍
[0002]烟雾的产生，会极大地吸收光线，从而降低成像系统的成像质量，影响后续计算机视觉 任务的性能，如语义分割、目标追踪、目标检测等等。图像去烟/雾技术被广泛地认为是一种 病态图像恢复和图像增强的问题，有诸多挑战需要克服，其应用领域也非常广泛。现有许多 的应用场景，不仅要求去烟/雾算法模型有良好的去烟/雾效果，更要求其轻量化，高效率，如 视频监控、自动驾驶、外科手术等等。轻量化去烟/雾模型，提高模型的运行效率，扩宽了模 型的应用场合，降低了模型对终端设备的要求。设计轻量化去烟/雾模型的难点在于，在不损 失或者轻微损失模型性能的情况下，通过有限的模型复杂度和计算量，达到良好的去烟/雾效 果，从而为后续的计算机视觉任务提供高质量的数据，节省宝贵的计算资源。
[0003]现有的去烟雾模型主要分为两类：1)基于先验知识的方法；2)基于学习的方法。基于 先验知识的方法主要利用统计学工具，观察统计出烟雾图像或清晰图像的某些规律，从而估 计恢复出原始的清晰图像，如颜色线法(参见Fattal R.Dehazing using color-lines[J].ACM transactions on graphics(TOG)，2014，34(1)：1-14)、暗通道法(参见He K，Sun J，Tang X.Singleimage haze removal using dark channel prior[J].IEEE transactions on pattern analysis and machineintelligence，2010，33(12)：2341-2353)、块对比度(参见Tang K，Yang J，Wang J.Investigatinghaze-relevant features in a learning framework for image dehazing[C]//Proceedings of the IEEEconference on computer vision and pattern recognition.2014：2995-3000)最大等等。暗通道是简 单，效果较好的经典去雾方法，它观察统计发现，清晰RGB图像三个通道最小的像素值接近 0，利用此规律，估计出大气模型中的传输介质(Transmission)参数，最后恢复出清晰的图 像。深度卷积神经网络(CNN)在诸多计算机视频任务中表现出了优越的性能，同样，CNN 逐渐成为图像去烟/雾领域的主要研究算法。有一部分模型基于大气物理模型，估计其传输介 质参数(参见Cai B，Xu X，Jia K，et al.Dehazenet：An end-to-end system for single image hazeremoval[J].IEEE Transactions on Image Processing，2016，25(11)：5187-5198)或者同时估计传输 介质参数和大气光照参数(参见Zhang H，Patel V M.Densely connected pyramid dehazingnetwork[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2018： 3194-3203)，再利用大气模型公式恢复出原始的清晰图像数据。有的模型将这两个参数合并 为一个参数，然后设计一个端到端的轻量化CNN(AODNet，参见Li B，Peng X，Wang Z，et al. Aod-net：All-in-one dehazing network[C]//Proceedings of the IEEE international conference oncomputer vision.2017：4770-4778)估计这个参数。另外还有一些模型完
全基于数据驱动的方 法，直接从烟雾图像中估计清晰图像(参见Qu Y，Chen Y，Huang J，et al.Enhanced pix2pixdehazing network[C]//Proceedings of the IEEE Conference on Computer Vision and PatternRecognition.2019：8160-8168、Shao Y，Li L，Ren W，et al.Domain Adaptation for ImageDehazing[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition.2020：2808-2817)。
[0004]上述基于学习方法的去烟雾模型在某些数据集上都取得了不错的去雾效果，但是它们却 需要进行大量计算，无法满足实时去烟/雾的需求。虽然AODNet是一个轻量化网络，但是它 在高清图像上的仍然难以实时运行，此外，它性能的还有待提高。设计轻量化高效率的神经 网络目前有2类主流的方法：1)压缩模型，其中模型量化技术(Jacob B，Kligys S，Chen B，etal.Quantization and training of neural networks for efficient integer-arithmetic-onlyinference[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018：2704-2713.)最为常见；2)设计更加高效的卷积神经网络结构，如SqueezeNet(参见Forrest N I，Song H，Matthew V M，et al.SqueezeNet：AlexNet-level accuracy with 50x fewerparameters and＜0.5 MB model size[C]//ICLR
′
17 conference proceedings.2017：207-212)、 MobileNet(参见Howard A，Sandler M，Chu G，et al.Searching for mobilenetv3[C]//Proceedings ofthe IEEE International Conference on Computer Vision.2019：1314-1324)等。现有的去烟/雾模 型，鲜有利用这2类技术来提高模型的效率和性能，在高清图像数据上，无法同时达到实时 运行和良好的去烟雾效果。本专利技术基于大气物理模型和，利用设计高效的卷积神经网络结构 的技术，设计了一种轻量高效的去烟雾卷积神经网络模型，它的参数量小，运算量低，泛化 性能好，去烟/去雾效果良好。本发本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种单幅图像去烟雾的方法，其特征在于，包括以下步骤：步骤S1：构建烟雾形成的大气物理模型，推导出烟雾退化公式；步骤S2：基于神经网络设计编码器网络，再将编码网络输出的隐空间特征应用解码器网络解码，得到物理模型中传输介质参数，同时还将隐空间特征输入到了估计大气光照的回归器中，得到大气光照参数，具体为选取包含传输介质参数、大气光照参数、有烟雾-清晰图像对的数据集，将烟雾图像输入出编码器，得到隐空间特征，再分别输入解码器和回归器，分别得到传输介质参数和大气光照参数；步骤S3：将步骤S2中得到的传输介质参数再输入到金字塔网络，估计出更加准确的传输介质参数，再将该传输介质参数和步骤S2中所得到的大气光照参数代入步骤S1中所述的烟雾退化的物理公式，得到清晰的图像；步骤S4：将步骤S2、S3中所得到的2个传输介质参数、大气光照参数和清晰图像分别与步骤S2中所述的数据集中的真实值计算合适的损失函数，训练神经网络，直到在验证集中效果可以接受；步骤S5：将实际的烟雾数据输入到步骤S4中已训练好的网络中，并利用烟雾退化的物理公式，得到去烟/雾图像。2.根据权利要求1所述单幅图像去烟雾的方法，其特征在于，所述烟雾形成的大气物理模型的数学公式如式(1)所示：I(x)＝J(x)t(x)+A(-t(x))
ꢀꢀꢀꢀ
(1)其中，I(x)表示有烟雾的图像，其中J(x)表清晰的无烟雾图像，t(x)表示传输介质参数，A表示全局大气光照；所述烟雾退化公式如式(2)所示：3.根据权利要求2所述单幅图像去烟雾的方法，其特征在于，所述步骤S2进一步包括构建初步的卷积神经网络，估计式中的t(x)和A，所述卷积神经网络为编码器一解码器卷积神经网络结构，在编码器部分，采用步长大于1的空洞卷积运算实现特征图的下采样。4.根据权利要求3所述单幅图像去烟雾的方法，其特征在于，记所述空洞卷积运算为其中x
i
表示第i层的特征图，c表示卷积输出通道数，e表示输入通道数，k表示卷积核的大小为k2，s为卷积运算的步长，p为像素填充，d为空洞卷积的膨胀系数；所述编码器的每一层都采用ReLU激活函数，所述解码器的中间层也采用ReLU激活函数，最后一层使用Tanh激活函数，估计A的回归网络与解码器的激活函数配置相同，ReLU和Tanh数学公式如式(3)、式(4)所示：ReLU(x)＝max(0，x) (1)，将输入编码器网络的RGB烟雾图像记为x0，则编码器网络的运算过程如下式(5)所示：
编码器输出的特征图x3即为隐空间特征z，再输入解码器网络估计其运算过程如式(6)所示：其中...
【专利技术属性】
技术研发人员：陆文凯，吴静，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。