基于深度先验的模拟雾图生成方法技术

本发明专利技术公开了一种基于深度先验的模拟雾图生成方法，主要解决现有技术模拟加雾方法没有合理结合深度信息的问题，其技术方案是：1)分离无雾图像中的天空区域，得到初始天空区域；2)基于边缘检测对初始天空区域进行修正；3)利用修正后的天空区域和非天空区域的位置关系构造无雾图像的深度图，并计算每一点的透射率；4)利用深度图和透射率建立无雾图像人工加雾后的模拟有雾图像。本发明专利技术具有图像天空区域分割准确，加雾过程符合自然规律、真实可信的优点，可用于对室外远距离场景拍摄的无雾图像构造深度图，评价去雾效果、检测设备的性能和去雾网络模型训练。

Fog generation method based on depth priors

The invention discloses a fog simulation graph generation method based on a priori depth, which mainly solves the problems of existing technology and Simulation of fog method without reasonable combination of depth information, the technical scheme is: 1) separated from the sky area in a fog image, get the initial sky area; 2) based on the edge detection of the initial area of the sky correction; 3) depth map fog image using location structure modified sky area and non sky area, and calculate the transmittance of each point; 4) map and establishment of artificial fog image transmission fog simulation of fog image using depth. The invention has the advantages of accurate image segmentation with the sky, fog process in line with the laws of nature and authentic advantages, no fog image structure depth map can be used for shooting on outdoor distant scenes, the performance evaluation of defogging effect, detection equipment and dehaze network model training.

【技术实现步骤摘要】
基于深度先验的模拟雾图生成方法
本专利技术属于图像处理
，更进一步涉及其中的一种模拟雾图生成方法，可用于对室外远距离场景拍摄的无雾图像构造深度图，评价去雾效果、检测设备的性能和去雾网络模型训练。
技术介绍
模拟雾图在多个领域都有广泛的用途，一方面可以用来评价去雾算法，利用模拟雾图作为无雾图像的参考图像，可以对去雾算法进行有参考的客观质量评价；还可以应用于某些可视化场景中，比如模拟有雾天气下的路况，用以检测一些设备的性能；除此之外，还可以用于生成训练数据，比如用深度学习的方法训练去雾网络模型时，需要大量的训练数据，直接获取各种室外场景下的彩色图像及相应的雾图有很大难度，因此可以采用模拟加雾的方式生成训练数据。根据雾气形成原理即大气散射模型，模拟雾图的构造和深度信息的获取密不可分，越准确的深度信息可以帮助我们获取更加准确的模拟雾图。因此，如何获得单幅图像的深度信息是构建模拟雾图中十分关键的问题。生成模拟雾图主要有以下几个方法：1)通过计算机软件进行模拟加雾。现有的计算机模拟加雾方法大多采用3dsmax，maya，Photoshop等成熟的商业软件，如郭璠，蔡自兴发表的论文“图像去雾算法清晰化效果客观评价方法”，见自动化学报，2012第9期，38(9)。该方法公开了两种加雾的方法，第一种是利用3dsmax软件中的渲染器渲染出雾气的效果；第二种是利用3dsmax软件中的建模工具创建虚拟场景，然后利用大气散射模型获得模拟雾图。这两种方法虽然直观方便，操作简单，但是也存在不足之处，这些商业图像软件没有公开各自程序的算法，无法得知程序是否按照正确的雾图形成理论构造雾图；而且其创建的模拟图像与真实图像有一定的差别，不能客观的反映自然界和生活中的真实场景，如果把模拟雾图作为参考图像用于去雾算法评价方面，在实际应用中并不能得到令人信服的结果。2)通过专业设备采集某一场景的深度信息。如深度相机TOF，就是利用飞行时间法来采集场景的深度信息。所谓飞行时间法，就是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光，通过探测光脉冲的飞行(往返)时间来得到目标物距离。TOF相机由光源、光学部件、传感器、控制电路以及处理电路等几部单元组成，可以同时得到整幅图像的深度信息。这种深度相机的优势是与立体相机或三角测量系统相比，其相机体积小巧，而且能够实时快速的计算深度信息，但是该方法的缺点是设备昂贵，操作较为复杂，耗费人力物力，有一定的局限性。3)通过算法计算获得深度信息，主要有以下三种方法：3a、清华大学深圳研究生院所拥有的专利技术“一种获取图像深度信息的方法”(专利申请号201310416866，授权公告号103473743B)公开了一种获取图像深度信息的方法，该方法步骤如下：1)对待处理的单幅原始图像进行高斯模糊处理，得到模糊图像；2)检测待处理的原始图像的纹理边缘，将所述原始图像划分为纹理梯度相对较大的区域，定义为D区域和纹理梯度相对较小的区域，定义为F区域；3)对于所述D区域内的像素点，根据模糊估计方法计算得到各像素点的比例因子；4)对于所述F区域内的各像素点，进行Kalman滤波，估计各像素点的比例因子；5)根据原始图像的聚焦信息，将各像素点的比例因子转换为各像素点的相对深度值。该方法提供了获取图像深度信息的方法，引入Kalman滤波的思想，可以抑制常规的散焦法获取深度值时的噪声，提高最终获得的深度图的精度。但是，该专利技术仍然存在的不足是：仅利用图像的纹理特征，并没有结合图像的空间特征和深度先验条件，所得到的深度信息适用性不强。3b、北京航空航天大学所申请的专利技术“基于深度信息分离天空区域的单幅图像去雾方法及装置”(专利申请号：201510108717.2)公开了一种基于深度信息分离天空区域的单幅图像去雾方法及装置，主要包括以下步骤：(1)采用SLIC超像素分割方法，对含有天空的有雾图像进行过分割预处理，得到过分割图像；(2)提取区域的深度信息，对过分割图像进行区域合并，分离天空和非天空；(3)以天空区域的平均值估计大气光值，然后分别计算天空和非天空区域的透射率，形成整幅图像的透射率分布图；(4)由大气光值和透射率分布图，复原无雾图像。该专利技术结合超像素分割和区域合并技术，能够精准提取天空与景物的交界线，获得准确而完整的天空区域，不仅可得到可靠的大气光值，同时能避免天空失真，减少天空边界处由景深突变而引起的光晕现象，实现图像去雾。但该专利存在的不足之处在于其分离天空的方法是针对于有雾图像的，有雾图像的天空区域纹理信息较少且颜色发白，比较容易与非天空部分区分开来，所以该方法分离天空区域通用性较差。3c、西安电子科技大学所申请的专利技术“基于人工加雾的最佳雾图复原方法”(专利申请号：201510112392.5)公开了一种获取图像深度信息的方法，该方法步骤如下：(1)使用相机采集无雾图像；(2)种群粒子初始化；(3)产生个体最优位置和全局最优位置；(4)更新种群粒子；(5)无雾图像分割；(6)计算无雾图像的灰度图像矩阵的深度；(7)计算无雾图像的灰度图像矩阵的透射率；(8)建立无雾图像人工加雾后的有雾图像；(9)获得去雾后的图像；(10)获得评价指标值；(11)获得最佳去雾算法；(12)获得室外监控设备的去雾图像。该方法采用了先进的达尔文粒子群分类方法，分割过程快速准确。但是，该专利技术仍然存在的不足是：分割结果是依据灰度图像的灰度值来进行分类，与图像的深度信息没有直接相关关系，所以得到的深度信息不能完全反映真实的深度信息，因而对后续的去雾算法的客观性能评价指导意义有限。
技术实现思路
本专利技术的目的在于针对上述现有技术的不足，提出一种基于深度先验的模拟雾图生成方法，以提高图像深度信息的真实性和准确性，使生成的模拟雾图能更加逼近真实雾图。本专利技术的技术方案是，结合图像的空间特征和深度先验条件，首先利用色彩和亮度信息对无雾图像进行天空区域分割；再根据初始天空区域的位置关系判断天空区域是否需要修正，如若需要修正，则利用边缘检测进一步修正天空区域，得到修正后的天空区域；然后根据天空及非天空区域的划分构造不同的深度信息；最后计算透射率，生成模拟雾图，其实现的步骤包括如下：1.一种基于深度先验的模拟雾图生成方法，包括以下步骤：(1)分离无雾图像中的天空区域，得到初始天空区域：(1a)读入无雾图像，得到无雾图像的彩色图像矩阵，将彩色图像三通道矩阵像素值中的第一通道矩阵、第二通道矩阵、第三通道矩阵分别定义为红，绿，蓝，即R、G、B三个矩阵，从彩色图像矩阵中选取图像的前N行作为局部天空区域，用Ω1表示；(1b)利用局部天空区域的像素值，计算天空区域的第一阈值t1和第二阈值t2；(1c)按照下式，从无雾图像中选取同时满足以下三个公式的像素点为初始天空区域：其中，C表示图像的通道，C∈{R,G,B}，Ω是无雾图像整幅图的区域，表示无雾图像的第C个图像通道中第i行第j列的像素值；(2)判断初始天空区域是否需要修正：(2a)将初始天空区域转换为灰度图像；(2b)设置a为初始天空区域出现不连通现象的列数，初始a置0，从第一列开始判断初始天空区域的灰度图像是否出现不连通现象，若是，则计数标志a加1，否则，a值不变；(2c)按照下式，计算比例系本文档来自技高网...

【技术保护点】
一种基于深度先验的模拟雾图生成方法，包括以下步骤：(1)分离无雾图像中的天空区域，得到初始天空区域：(1a)读入无雾图像，得到无雾图像的彩色图像矩阵，将彩色图像三通道矩阵像素值中的第一通道矩阵、第二通道矩阵、第三通道矩阵分别定义为红，绿，蓝，即R、G、B三个矩阵，从彩色图像矩阵中选取图像的前N行作为局部天空区域，用Ω1表示；(1b)利用局部天空区域的像素值，计算天空区域的第一阈值t1和第二阈值t2；(1c)按照下式，从无雾图像中选取同时满足以下三个公式的像素点为初始天空区域：

【技术特征摘要】
1.一种基于深度先验的模拟雾图生成方法，包括以下步骤：(1)分离无雾图像中的天空区域，得到初始天空区域：(1a)读入无雾图像，得到无雾图像的彩色图像矩阵，将彩色图像三通道矩阵像素值中的第一通道矩阵、第二通道矩阵、第三通道矩阵分别定义为红，绿，蓝，即R、G、B三个矩阵，从彩色图像矩阵中选取图像的前N行作为局部天空区域，用Ω1表示；(1b)利用局部天空区域的像素值，计算天空区域的第一阈值t1和第二阈值t2；(1c)按照下式，从无雾图像中选取同时满足以下三个公式的像素点为初始天空区域：其中，C表示图像的通道，C∈{R,G,B}，Ω是无雾图像整幅图的区域，表示无雾图像的第C个图像通道中第i行第j列的像素值；(2)判断初始天空区域是否需要修正：(2a)将初始天空区域转换为灰度图像；(2b)设置a为初始天空区域出现不连通现象的列数，初始a置0，从第一列开始判断初始天空区域的灰度图像是否出现不连通现象，若是，则计数标志a加1，否则，a值不变；(2c)按照下式，计算比例系数T：其中，w为原始无雾图像的列数；(2d)设置t3为初始天空区域的第三阈值，将比例系数T与t3进行对比，如果T大于t3，则执行步骤(3)，否则，直接执行步骤(4)；(3)修正初始天空区域：(3a)利用Canny算子，获得初始天空区域的二值化边缘图像；(3b)将边缘图像中每一列的第一个边缘点保存下来，构成初始天空边缘线；(3c)对初始天空边缘线逐点更新，得到优化后的天空边缘线；(3d)将优化后的天空边缘线以上的区域设置为修正后的天空区域；(4)构造无雾图像的深度图：(4a)用Ω2表示得到的天空区域，对天空区域矩阵中像素点的值赋予相应的图像比特类型的最大值，即对于8比特类型的图像，赋值为255；(4b)用Ω3表示非天空区域，通过下式给非天空区域中每一个像素点赋值：其中dm,n表示非天空区域中第m行第n列像素点的值，(m,n)∈Ω3，h1表示非天空区域的高度；(4c)整合天空区域和非天空区域中像素点的值，构成整幅图的深度信息矩阵，将此矩阵称为无雾图像的深度图，该深度图中的第i行第j列深度值di,j可表示为：其中，Ω2表示天空区域，dm,n表示非天空区域深度图第m行第n列的深度值；(5)按照下式...

【专利技术属性】
技术研发人员：王柯俨，李昱霏，李云松，吴宪云，张闪闪，何旭升，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61