雾霾天视频图像清晰化处理方法及其装置制造方法及图纸

本发明专利技术涉及雾霾天视频图像清晰化处理方法及装置，其方法步骤为：建立大气传递参数与光传播介质参数间的量化模型；获取实际测量地点光的传播介质参数，利用量化模型计算大气量化传递参数；对含雾霾原图像进行下采样处理得到预处理模板图像，提取暗通道图像；提取含雾霾原图像I(x)的大气光值A，初始化景深修正因子ω；对I(x)的透射率图中A和ω进行优化；估算预处理模板图像Imodel的模板透射图对进行升采样得到透射率图t(x)；根据t(x)和I(x)计算清晰化处理结果图像。本发明专利技术通过量化模型对雾霾图像清晰化参数进行闭环修正，结合图像抽样与多尺度插值方法，避免了暗通道图像去雾过程中人为定义参数不精确和无法根据实际环境进行调整的弊端，提升了清晰化处理效果。

【技术实现步骤摘要】
雾霾天视频图像清晰化处理方法及其装置
本专利技术涉及计算机图像处理
，特别是涉及一种雾霾天视频图像清晰化处理方法及其装置。
技术介绍
光在雾、霾等介质中传播时，由于粒子的散射作用导致成像传感器采集的图像信息严重降质，在很大程度上限制了图像的应用价值。为削弱雾霾等视障物对图像质量的影响，特别是对在诸如军事靶识别、户外监控和地形勘探等需要利用计算机视觉解决实际问题的领域，需要对图像进行清晰化处理。目前，在图像去雾领域有两类常见方法：基于图像增强的方法和基于物理模型的方法。其中，暗通道优先算法在实际应用中取得了较好的效果，受到广泛使用。该方法通过对户外无雾图像数据库的统计得出的规律，即把图像分成多个子块，每个子块中都有一些亮度很低的像素。根据这一规律，只需按雾气浓度局部修复图像各部分的颜色，并估算出大气传递参数，就能达到较好的去雾效果。但该算法中大气传递参数的估算往往是人为设定，不能根据实际应用中的环境变化来进行自适应微调，处理结果往往出现由传递参数造成的失真，对类似于施工现场监控、交通运输等环境参数变化大的应用方面，存在较大的局限性。同时，算法运算量大，无法支持高清视频实时处理，也限制了其在视频监控增强等方面的应用价值。
技术实现思路
本专利技术提供雾霾天视频图像清晰化处理方法及其装置，通过量化模型对雾霾图像清晰化参数进行闭环修正，结合图像抽样与多尺度插值方法，避免了暗通道图像去雾过程中人为定义参数不精确和无法根据实际环境进行调整的弊端，有效地提升了清晰化处理效果，减少了透射图估算过程的运算量，处理结果更加接近真实无雾场景，解决了现有技术中因为大气传递参数人为估算无法自适应调整而影响去雾效果的技术问题。本专利技术处理方法采用如下技术方案来解决上述技术问题：雾霾天视频图像清晰化处理方法，包括以下步骤：第一步、建立大气传递参数ω和A与光传播介质参数间的量化模型[ωA]T＝F(ρ,t,φ)，其中ω为一个介于[0,1]之间的景深修正因子，A为大气光值，ρ、t、φ分别表示光传播介质参数PM2.5、空气温度及空气湿度；第二步、获取实际测量地点光的传播介质参数，利用量化模型F(ρ,t,φ)计算大气量化传递参数ωquantified和Aquantified；第三步、对含雾霾原图像I(x)进行下采样处理，得到预处理模板图像Imodel，并从所述预处理模板图像Imodel提取暗通道图像第四步、从暗通道图像中提取含雾霾原图像I(x)的大气光值A，并初始化景深修正因子ω；第五步、结合求得的大气量化传递参数ωquantified和Aquantified，对含雾霾原图像I(x)的透射率图t(x)中的景深修正因子和大气光值进行优化，获得修正后的模型参数ωimproved和Aimproved；第六步、根据ωimproved和Aimproved利用暗通道优先算法估算预处理模板图像Imodel的模板透射图并利用Imodel的线性变换系数对模板透射图进行升采样，得到含雾霾原图像I(x)的透射率图t(x)；第七步、根据透射率图t(x)和含雾霾原图像I(x)，计算清晰化处理结果图像J(x)，其中计算公式为I(x)＝J(x)t(x)+A(1-t(x))。在专利技术一个优选实施例中，所述第一步包括以下步骤：a1、获取N幅含雾霾图像，标记并获取每幅雾霾图像采集现场的光传播介质参数矩阵Μ[ρ，t，φ]n，Μ[ρ，t，φ]n表示第n幅雾霾图像采集现场的光传播介质参数PM2.5、空气温度及空气湿度组成的矩阵，n∈[0,N]；a2、建立图像清晰化质量评价模型，即综合评价因子Q＝(S)α·(L)β·(HistDist)γ，其中S为图像结构信息的保留程度，L为处理后图像的有效细节强度，HistDist为色彩还原能力，α、β及γ分别表示处理后图像的有效细节强度、色彩还原能力和图像结构信息的保留程度在综合评价因子中所占比重；a3、对每幅雾霾图像进行清晰化处理，得到最优评价结果Qmax时所对应的大气传递参数样本其中ω0、A0分别表示第n幅雾霾图像通过计算得到的最优景深修正因子、大气光值；a4、利用卷积神经网络对样本T与Μ[ρ，t，φ]n的函数关系进行训练，获取量化模型[ωA]T＝F(ρ,t,φ)。在专利技术一个优选实施例中，所述步骤a2中α＝β＝γ＝1，所述步骤a3中最优景深修正因子、大气光值的计算如下：以ω∈[0.8,1.0],A∈[50,255]作为嵌套的循环体进行扫描；采用暗通道优先算法对所述雾霾图像进行清晰化处理，计算清晰化图像的标准差、信息熵、对比度和平均梯度，通过综合评价因子Q＝S·HistDist·L对图像清晰化处理效果进行评价，通过m次循环求解最优评价结果Qmax，m为循环次数；退出循环体，输出最优评价结果Qmax所对应的大气传递参数最优组合值[ω0A0]T。优选地，所述步骤a4如下：建立5×N的数组，每行对应一张含雾霾图片的传递参数Μ[ρ，t，φ]n和清晰化处理效果最优的景深修正因子、大气光值组合其中前三列按照ρ、t、φ的顺序排列，后两列是该组对应的ω0、A0，作为每组数据的训练标签；数组内数据的池化处理，即将数组内传递参数相近的组别尽可能放在一起，进行区域重组；通过卷积层处理，将输入层的特征图与一个可学习的核进行卷积，卷积的结果经过激活函数后的输出形成这一层的特征图；通过网络迭代，调整权值与阈值；当满足精度要求时，跳出迭代循环体，训练结束并将各层权值和阈值保存下来，形成固定的学习网络；最后，随机抽选N/3组数据对网络精度进行验证，满足精度要求则输出最终网络结构，完成所述函数关系训练。本专利技术处理装置采用如下技术方案来解决上述技术问题：雾霾天视频图像清晰化处理装置，包括：光传播介质参数处理模块，用于建立大气传递参数ω和A与光传播介质参数间的量化模型其中ω为一个介于[0,1]之间的景深修正因子，A为大气光值，ρ、t、φ分别表示光传播介质参数PM2.5、空气温度及空气湿度；以及用于获取实际测量地点的光传播介质参数，利用量化模型F(ρ,t,φ)计算大气量化传递参数ωquantified和Aquantified；图像预处理模块，用于对含雾霾原图像I(x)进行下采样处理，得到预处理模板图像Imodel，并从所述预处理模板图像Imodel提取暗通道图像并从暗通道图像中提取含雾霾原图像I(x)的大气光值A，初始化景深修正因子ω；视觉参数修正模块，用于根据大气量化参数ωquantified和Aquantified矫正初始化参数ω和A，获取修正后的模型参数ωimproved和Aimproved；以及清晰化处理模块，用于根据ωimproved和Aimproved利用暗通道优先算法估算预处理模板图像Imodel的模板透射图并利用Imodel的线性变换系数对模板透射图进行升采样，得到含雾霾原图像I(x)的透射率图t(x)；再根据透射率图t(x)和含雾霾原图像I(x)，计算清晰化处理结果图像J(x)，其中计算公式为I(x)＝J(x)t(x)+A(1-t(x))。本专利技术通过大量实验数据建立了一个量化模型，对雾霾图像清晰化参数进行闭环修正，引入了负反馈的机制；与现有技术相比，本专利技术具有如下优点及有益效果：1、雾霾天大气传递参数的值，是利用量化模型根据不同场景下变化的光传播介质参数求得的，本文档来自技高网...

【技术保护点】
雾霾天视频图像清晰化处理方法，其特征在于，包括以下步骤：第一步、建立大气传递参数ω和A与光传播介质参数间的量化模型[ω A]T＝F(ρ,t,φ)，其中ω为一个介于[0,1]之间的景深修正因子，A为大气光值，ρ、t、φ分别表示光传播介质参数PM2.5、空气温度及空气湿度；第二步、获取实际测量地点光的传播介质参数，利用量化模型F(ρ,t,φ)计算大气量化传递参数ωquantified和Aquantified；第三步、对含雾霾原图像I(x)进行下采样处理，得到预处理模板图像Imodel，并从所述预处理模板图像Imodel提取暗通道图像第四步、从暗通道图像中提取含雾霾原图像I(x)的大气光值A，并初始化景深修正因子ω；第五步、结合求得的大气量化传递参数ωquantified和Aquantified，对含雾霾原图像I(x)的透射率图t(x)中的景深修正因子和大气光值进行优化，获得修正后的模型参数ωimproved和Aimproved；第六步、根据ωimproved和Aimproved利用暗通道优先算法估算预处理模板图像Imodel的模板透射图并利用Imodel的线性变换系数对模板透射图进行升采样，得到含雾霾原图像I(x)的透射率图t(x)；第七步、根据透射率图t(x)和含雾霾原图像I(x)，计算清晰化处理结果图像J(x)，其中计算公式为I(x)＝J(x)t(x)+A(1‑t(x))。...

【技术特征摘要】
1.雾霾天视频图像清晰化处理方法，其特征在于，包括以下步骤：第一步、建立大气传递参数ω和A与光传播介质参数间的量化模型[ωA]T＝F(ρ,t,φ)，其中ω为一个介于[0,1]之间的景深修正因子，A为大气光值，ρ、t、φ分别表示光传播介质参数PM2.5、空气温度及空气湿度；第二步、获取实际测量地点光的传播介质参数，利用量化模型F(ρ,t,φ)计算大气量化传递参数ωquantified和Aquantified；第三步、对含雾霾原图像I(x)进行下采样处理，得到预处理模板图像Imodel，并从所述预处理模板图像Imodel提取暗通道图像第四步、从暗通道图像中提取含雾霾原图像I(x)的大气光值A，并初始化景深修正因子ω；第五步、结合求得的大气量化传递参数ωquantified和Aquantified，对含雾霾原图像I(x)的透射率图t(x)中的景深修正因子和大气光值进行优化，获得修正后的模型参数ωimproved和Aimproved；第六步、根据ωimproved和Aimproved利用暗通道优先算法估算预处理模板图像Imodel的模板透射图并利用Imodel的线性变换系数对模板透射图进行升采样，得到含雾霾原图像I(x)的透射率图t(x)；第七步、根据透射率图t(x)和含雾霾原图像I(x)，计算清晰化处理结果图像J(x)，其中计算公式为I(x)＝J(x)t(x)+A(1-t(x))；所述第一步包括以下步骤：a1、获取N幅含雾霾图像，标记并获取每幅雾霾图像采集现场的光传播介质参数矩阵M[ρ，t，φ]n，M[ρ，t，φ]n表示第n幅雾霾图像采集现场的光传播介质参数PM2.5、空气温度及空气湿度组成的矩阵，n∈[0,N]；a2、建立图像清晰化质量评价模型，即综合评价因子Q＝(S)α·(L)β·(HistDist)γ，其中S为图像结构信息的保留程度，L为处理后图像的有效细节强度，HistDist为色彩还原能力，α、β及γ分别表示处理后图像的有效细节强度、色彩还原能力和图像结构信息的保留程度在综合评价因子中所占比重；a3、对每幅雾霾图像进行清晰化处理，得到最优评价结果Qmax时所对应的大气传递参数样本其中ω0、A0分别表示第n幅雾霾图像通过计算得到的最优景深修正因子、大气光值；a4、利用卷积神经网络对样本与M[ρ，t，φ]n的函数关系进行训练，获取量化模型[ωA]T＝F(ρ,t,φ)。2.根据权利要求1所述的雾霾天视频图像清晰化处理方法，其特征在于，所述步骤a2中α＝β＝γ＝1，所述步骤a3中最优景深修正因子、大气光值的计算如下：以ω∈[0.8,1.0],A∈[50,255]作为嵌套的循环体进行扫描；采用暗通道优先算法对所述雾霾图像进行清晰化处理，计算清晰化图像的标准差、信息熵、对比度和平均梯度，通过综合评价因子Q＝S·HistDist·L对图像清晰化处理效果进行评价，通过m次循环求解最优评价结果Qmax，m为循环次数；退出循环体，输出最优评价结果Qmax所对应的大气传递参数最优组合值[ω0A0]T。3.根据权利要求1所述的雾霾天视频图像清晰化处理方法，其特征在于，所述步骤a4如下：建立5×N的数组，每行对应一张含雾霾图片的传递参数M[ρ，t，φ]n和清晰化处理效果最优的景深修正因子、大气光值组合其中前三列按照ρ、t、φ的顺序排列，后两列是该组对应的ω0、A0，作为每组数据的训练标签；数组内数据的池化处理，即将数组内传递参数相近的组别尽可能放在一起，进行区域重组；通过卷积层处理，将输入层的特征图与一个可学习的核进行卷积，卷积的结果经过激活函数后的输出形成这一层的特征图；通过网络迭代，调整权值与阈值；当满足精度要求时，跳出迭代循环体，训练结束并将各层权值和阈值保存下来，形成固定的学习网络；最后，随机抽选N/3组数据对网络精度进行验证，满足精度要求则输出最终网络结构，完成所述函数关系训练。4.根据权利要求1所述的雾霾天视频图像清晰化处理方法，其特征在于，所述第四步中，获取所述暗通道图像中灰度值最大的前0.1％区域的最大值作为A的初始值，ω初始值设为0.95。5.根据权利要求4所述的雾霾天视频图像清晰化处理方法，其特征在于，所述第四步中，若A与Aquantified的绝对误差在10以内，则A不变；反之，则将Aquantified的值...

【专利技术属性】
技术研发人员：王卫星，胡子昂，陆健强，胡月明，石颖，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：广东;44