图像分块与卷积网络相结合估计透射图图像去雾方法技术

本发明专利技术涉及图像处理领域，为提出一种通过将图像分块与卷积网络相结合来估计透射图的图像去雾方法,得到更高质量的无雾图像。为此，本发明专利技术采取的技术方案是，基于图像分块与卷积网络相结合来估计透射图图像去雾方法，将输入图像与标签图像分成n*n的表格，然后通过卷积网络进行训练，在测试时将输入图像的大小调整为每一块的大小，然后通过上采样得到与输入图像相同大小的透射图，然后将其代入大气散射模型输出无雾图像。本发明专利技术主要应用于图像处理场合。

Image segmentation and convolution network combined to estimate transmission image defogging method

【技术实现步骤摘要】
图像分块与卷积网络相结合估计透射图图像去雾方法
本专利技术涉及图像处理领域，具体涉及基于图像分块与卷积网络相结合来估计透射图图像去雾方法。
技术介绍
图像复原法基于大气散射物理模型，通过对有雾图像降质原因的分析，并有效利用先验知识，来恢复原始图像。大气散射公式：I(x)＝J(x)t(x)+A(1-t(x))(1)I(x)为有雾图像，J(x)为无雾图像，A为大气光照，t(x)为透射率。由于图像复原法更具有针对性，可以取得更理想的去雾效果，因此成为图像去雾领域的研究热点。对于单张图像去雾这个问题，最重要的步骤就是估计透射图，在初期人们通过“观察→经验→设计”构建各式各样的特征(如暗通道、颜色衰减、雾线、对比度等)来辅助估计透射图，后来随着人工智能的发展又提出了基于机器学习，深度学习的相关方法来估计透射图。相比于各种传统的基于先验知识的方法，机器学习甚至深度学习的方法则显得单调得多，直接通过神经网络自动提取特征，缺乏对问题本身以及图像统计特性十分深刻的理解。不过基于深度学习的方法可以理解为运用了非常强大的非线性模型，利用大量的有/无雾图像的数据对，对透射图进行估计，因此一般能得到超越传统方法的结果。DehazeNet(一种基于深度学习的去雾方法)是一个特殊设计的深度卷积网络，利用深度学习去智能地学习雾霾特征，解决手工特征设计的难点和痛点。DehazeNet去雾算法是一种基于深度学习的算法，它能实现较好的去雾效果，并克服了暗原色去雾算法的缺点，同时随着数据集的增加，去雾效果也会随之提高；MSCNN(多尺度卷积网络去雾方法)与DehazeNet非常相似的思路，不同的是提出了一个多尺度的卷积神经网络结构。通过先用粗糙网络生成粗粒度的透射图，再用精细网络进一步得到更细致的图像；为了实现端到端训练且避免利用额外的方法估计全局大气光照A，AOD-Net(一种端到端的去雾方法)做了一些简单的数学变换，把t(x)和A统一到了一个变量K(x)当中。这样只需要用网络估计出K(x)就可以直接得到J(x)。
技术实现思路
为克服现有技术的不足，本专利技术旨在提出一种通过将图像分块与卷积网络相结合来估计透射图的图像去雾方法,得到更高质量的无雾图像。为此，本专利技术采取的技术方案是，图像分块与卷积网络相结合估计透射图图像去雾方法，将输入图像与标签图像分成n*n的表格，然后通过卷积网络进行训练，在测试时将输入图像的大小调整为每一块的大小，然后通过上采样得到与输入图像相同大小的透射图，然后将其代入大气散射模型输出无雾图像。具体步骤细化如下：步骤一，训练阶段:1)分块：采用分块的形式将将输入图像与标签图像对应划分为n*n块的方法进行训练；2)将分块后的数据集输入神经网络进行训练，所述网络的第一层通过简单前馈非线性激活函数Maxout对每一个图像块进行特征提取，Maxout单元是用于多层感知机或卷积神经网络CNN的简单前馈非线性激活函数，通过对k个特征进行像素方式最大化操作来生成新的特征，经过Maxout进行特征提取之后，所有与雾相关的特征都提取出来，其公式为：之后的网络层采用粗细网络的方式，包括：池化层，每个卷积层之后使用最大池化层；上采样层，在每个池化层之后使用一个上采样层，以确保输出的透射图与输入的有雾图的大小相等；线性组合：通过一个线性组合整合来自最后一个上采样层的特征通道，然后通过sigmoid函数得到最后的输出，sigmoid函数是一个生物学中S型的函数，也称为S型生长曲线，用作神经网络的阈值函数；步骤二，测试阶段：在测试时将输入图像的大小调整为每一块的大小，然后通过上采样得到与输入图像相同大小的透射图。步骤三，将步骤二所得到的透射图代入大气散射模型，最后得到与输入图像同样大小的无雾图像。选择n＝3。在进行反向传播时，采用随机梯度下降算法的扩展式adam算法进行学习率设置。本专利技术的特点及有益效果是：本专利技术的有益效果是：本专利技术解决的技术问题是提供一种通过将图像分块与卷积网络相结合来估计透射图的图像去雾方法。该方法将输入图像与标签图像分成n*n的表格，然后通过卷积网络进行训练。因为对每一小块进行去雾会使运行时间变得特别缓慢，所以我们在测试时将输入图像的大小调整为每一块的大小，然后通过上采样得到与输入图像相同大小的透射图，然后将其代入大气散射模型输出无雾图像。通过广泛实验证明所提出的算法能得到更高质量的无雾图像。附图说明：图1为基于图像分块与卷积网络相结合来估计透射图的新型图像去雾方法的网络结构图。图2为有雾及去雾效果图，(b)、(c)、(d)是n分别为2，3，4时的去雾效果图。图3为不同去雾方法的去雾效果图。图中，(a)有雾图像，(b)暗原色去雾，(c)DehazeNet，(d)MSCNN，(e)AOD-Net，(f)ours。具体实施方式单图像去雾在计算机视觉领域一直是一个具有挑战性的问题。传统的图像去雾方法都是采用手工特征。而随着人工智能，机器学习、深度学习的的发展，基于深度学习的去雾方法发展迅速。本专利技术的目的是提出一种通过将图像分块与卷积网络相结合来估计透射图的图像去雾方法。该算法将输入图像与标签图像分成n*n的表格，然后通过卷积网络进行训练。因为对每一小块进行去雾会使运行时间变得特别缓慢，所以我们在测试时将输入图像的大小调整为每一块的大小，然后通过上采样得到与输入图像相同大小的透射图，然后将其代入大气散射模型输出无雾图像。通过广泛实验证明所提出的算法能得到更高质量的无雾图像。本专利技术解决的技术问题是提供一种通过将图像分块与卷积网络相结合来估计透射图的图像去雾方法。该方法将输入图像与标签图像分成n*n的表格，然后通过卷积网络进行训练。因为对每一小块进行去雾会使运行时间变得特别缓慢，所以我们在测试时将输入图像的大小调整为每一块的大小，然后通过上采样得到与输入图像相同大小的透射图，然后将其代入大气散射模型输出无雾图像。为了解决上述技术问题，本专利技术的技术方案是：一种基于深度学习的新型去雾方法，包括以下步骤：步骤一，训练阶段:1).分块：对于基于深度学习的去雾方法来说，数据集是关键，但去雾方向的数据集相对较少，如何使用有限的数据集获得更好的训练效果，从而得到更好的去雾效果是基于深度学习的去雾方法探究的重要方向。采用分块的形式将将输入图像与标签图像对应划分为n*n块的方法进行训练，相当于扩大了数据集，可以得到更高质量的无雾图；2).将分块后的数据集输入如图1所示的神经网络进行训练。该网络的第一层通过Maxout对每一个图像块进行特征提取。Maxout单元是用于多层感知机或CNN的简单前馈非线性激活函数。它通过对k个特征进行像素方式最大化操作来生成新的特征。经过Maxout进行特征提取之后，几乎所有与雾相关的特征都可以提取出来。其公式为：之后的网络层采用粗细网络的方式，因为MSCNN中设计的来估计透射图的粗细网络能得到较好的预测结本文档来自技高网...

【技术保护点】
1.一种图像分块与卷积网络相结合估计透射图图像去雾方法，其特征是，将输入图像与标签图像分成n*n的表格，然后通过卷积网络进行训练，在测试时将输入图像的大小调整为每一块的大小，然后通过上采样得到与输入图像相同大小的透射图，然后将其代入大气散射模型输出无雾图像。/n

【技术特征摘要】
1.一种图像分块与卷积网络相结合估计透射图图像去雾方法，其特征是，将输入图像与标签图像分成n*n的表格，然后通过卷积网络进行训练，在测试时将输入图像的大小调整为每一块的大小，然后通过上采样得到与输入图像相同大小的透射图，然后将其代入大气散射模型输出无雾图像。


2.如权利要求1所述的图像分块与卷积网络相结合估计透射图图像去雾方法，其特征是，具体步骤细化如下：
步骤一，训练阶段：
1)分块：采用分块的形式将将输入图像与标签图像对应划分为n*n块的方法进行训练；
2)将分块后的数据集输入神经网络进行训练，所述网络的第一层通过简单前馈非线性激活函数Maxout对每一个图像块进行特征提取，Maxout单元是用于多层感知机或卷积神经网络CNN的简单前馈非线性激活函数，通过对k个特征进行像素方式最大化操作来生成新的特征，经过Maxout进行特征提取之后，所有与雾相关的特征都提取出来，其公式为：



之后...

【专利技术属性】
技术研发人员：魏建国，原康乐，路文焕，张为，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12