一种基于双目图像的去雾方法技术

本发明专利技术涉及一种基于双目图像的去雾方法，包括下列步骤：第一步，构建双目有雾的图片数据库，计算出不连续的左图的距离图，在已知左右距离图的前提下，根据大气散射模型，设置三种雾的浓度，随机从[0.7,1]中选取一个值作为大气光参数，合成双目有雾数据集；分别设计透射图估计网络和大气光参数预测网络；利用第一步构建的数据集对透射图估计网络和大气光参数预测网络同时进行训练透射图估计网络和大气光参数预测网络，训练出一个基于双目图像的去雾模型。

【技术实现步骤摘要】
一种基于双目图像的去雾方法
本专利技术属于深度学习和计算机视觉领域，特别涉及一种利用深度卷积神经网络的基于双目图像的去雾方法。
技术介绍
恶劣天气如雾，雨，烟会严重影响图片的质量，质量差的图片会大大降低基于图像的物体检测等计算机视觉任务的性能。在无人驾驶的场景中，物体检测对于行车路线的决策规划发挥重要的作用。其中2D物体检测框出物体的位置并识别物体的种类，相较之下3D物体检测还能检测到距离信息。在行驶过程中，如果检测到前方有行人，就要减速避让，若是检测到红灯，就要停车。这个过程中，检测到障碍物，行人，红绿灯很重要，获得它们的距离信息对于行车决策尤为关键，因此3D物体检测是无人驾驶中一个重要课题。3D物体检测技术目前可以大致分为两类：基于激光雷达的3D物体检测和基于双目相机的物体检测。雷达造价高，感知距离相对有限(100m之内)，双目相机价格低，利用左右图的视差关系预测的深度距离比单目相机更加准确，感知的距离与相机的焦距，两个相机之间的距离成正比，所以基于双目的3D检测应用前景更加广阔[1]。在恶劣天气如大雾的情况下，输入的双目图像质量差，严重影响3D检测的准确性。因此，在恶劣天气下，恢复高质量的无雾双目图像，对无人驾驶尤为重要。现有的一些去雾算法都是对单目图像的去雾。通常基于一个大气散射模型，公式如下I(x)＝J(x)t(x)+A(1-t(x))其中I(x)是有雾图像，J(x)是清晰图片，t(x)是透射图，其中t(x)＝e-βd(x)，d(x)物体和相机成像点的距离图，β是常数，β越大雾的浓度越大。透射图t(x)是距离d(x)成正比。A是大气光参数。现有的基于深度学习的单目去雾算法输入一张有雾图片，用卷积神经网络预测透射图t(x)，用传统方法或较浅的神经网络预测大气光参数A，最后利用以下公式求得去除雾的图片：由于t(x)主要与物体和相机成像点的距离有关。参考文献：[1]PeiliangLi,XiaozhiChen,andShaojieShen.StereoR-CNNbased3DObjectDetectionforAutonomousDriving.InProc.CVPR2019.[2]MariusCordts,MohamedOmran,SebastianRamos,TimoRehfeld,MarkusEnzweiler,RodrigoBenenson,UweFranke,StefanRoth,andBerntSchiele.Thecityscapesdatasetforsemanticurbansceneunderstanding.InProc.CVPR2016.
技术实现思路
本专利技术考虑到双目图像可以预测深度信息，以及实际应用对双目图像去雾的需求提出一种可以恢复出清晰的高质量的双目图像的去雾方法。为了达到上述目的，本专利技术的技术方案如下：一种基于双目图像的去雾方法，包括下列步骤：第一步，构建双目有雾的图片数据库，对于已有数据库的图片，计算出不连续的左图的距离图，利用ImageInpainting将左图距离图补全，利用左右图的视差关系对应求得右图不连续的距离图，继续使用ImageInpainting补全右图的距离图，在已知左右距离图的前提下，根据大气散射模型，设置三种雾的浓度，随机从[0.7,1]中选取一个值作为大气光参数，合成双目有雾数据集，并将数据集划分为训练数据集和测试数据集；训练集的标签为清晰的双目图像和对应图片的左右透射图及大气光参数；第二步，分别设计透射图估计网络和大气光参数预测网络：透射图估计网络包含卷积参数共享的特征提取模块，双目传输模块和透射图预测模块，卷积参数共享的特征提取模块是一个encoder-decoder的结构，先利用5层卷积层和池化进行下采样，再利用双线性插值和4层卷积层进行上采样恢复原图大小，同分辨率的卷积层输出的特征利用跨连接进行融合，得到鲁棒有效的特征；将有雾的左图和右图输入两个相同的，卷积参数共享的特征提取模块，得到左图和右图的特征，然后将左图和右图的特征输入到双目传输模块中,通过学习水平方向的关系矩阵，利用左右图的视差关系更好地融合深度信息，更准确地预测透射图；大气光参数预测网络，只输入有雾的左图，网络为encoder-decoder结构，经过4层卷积和池化操作下采样4倍，接着上采样和卷积层交替2次恢复至原图大小，通过一个3×3卷积预测大气光参数；第三步，利用第一步构建的数据集对透射图估计网络和大气光参数预测网络同时进行训练透射图估计网络和大气光参数预测网络：使用MSEloss损失函数对预测的左图的透射图，右图的透射图，大气光参数计算损失值；同时用MSEloss损失函数对根据大气散射模型恢复出的左图和右图计算损失值，这两个损失值使得整个网络能够联合优化，训练出一个基于双目图像的去雾模型。本专利技术利用深度卷积神经网络的算法，设计一种基于双目图像的去雾算法，利用双目图像包含的深度信息来提升去雾算法的性能，能够同时恢复出没有雾的高质量的左右一对图片。与现有的单目去雾算法相比，去雾后的图片更清晰，主观客观评测的性能都更高。同时恢复出的左右高质量图片有助于后续的基于双目图像的3D检测等任务，在无人驾驶中发挥重要的作用。附图说明图1透射图估计网络图2大气光参数预测网络图3基于双目图像的去雾算法的模型结构图图4输入的有雾的双目图像图5使用基于双目图像的去雾算法增强后的双目图像具体实施方式为使本专利技术的技术方案更加清楚，下面结合附图对本专利技术做进一步阐述.。本专利技术按以下步骤具体实现：第一步，准备数据集。Cityscapes是一个公开的城市街道的数据集[2]，其中训练集有2975张图片，验证集有500张图片，测试集有1525张图片，有像素级的标注，有物体级的标注，可以用来研究语义分割任务和物体检测任务。Cityscapes有左图和右图，有视差的标注，这为我们合成有雾的双目数据集提供了便利。合成双目有雾数据集的步骤如下：(1)我们利用视差图和相机参数可以求得不连续的深度图depth(i,j)，其中fx是相机的焦距，B是左右相机之间的距离，disparity(i,j)是视差图的标签，其中，i是图片的横坐标，j是图片的纵坐标。(2)利用三角相似关系，勾股定理，可以算出物体到左图成像点的距离dl:其中，(cx,cy)是cameracenter的坐标。(3)dl是不连续的左距离图，利用ImageInpainting将不连续的左距离图dl补全，这样，根据公式我们可以得到左图的透射图tl(x)，其中x是图片中的某一点的像素。随机生成一个大气光参数值A，A∈[0.7,1]，利用下述大气散射模型的公式，我们就能合成有雾的左图。Il(x)＝Jl(x)tl(x)+A(1-tl(x))其中Il(x)是合成的有雾的左图，Jl(x)是清晰的左图。(4)为了合成有雾的右图本文档来自技高网...

【技术保护点】
1.一种基于双目图像的去雾方法，包括下列步骤：/n第一步，构建双目有雾的图片数据库，对于已有数据库的图片，计算出不连续的左图的距离图，利用Image Inpainting将左图距离图补全，利用左右图的视差关系对应求得右图不连续的距离图，继续使用Image Inpainting补全右图的距离图，在已知左右距离图的前提下，根据大气散射模型，设置三种雾的浓度，随机从[0.7,1]中选取一个值作为大气光参数，合成双目有雾数据集，并将数据集划分为训练数据集和测试数据集；训练集的标签为清晰的双目图像和对应图片的左右透射图及大气光参数。/n第二步，分别设计透射图估计网络和大气光参数预测网络：/n透射图估计网络包含卷积参数共享的特征提取模块，双目传输模块和透射图预测模块，卷积参数共享的特征提取模块是一个encoder-decoder的结构，先利用5层卷积层和池化进行下采样，再利用双线性插值和4层卷积层进行上采样恢复原图大小，同分辨率的卷积层输出的特征利用跨连接进行融合，得到鲁棒有效的特征；将有雾的左图和右图输入两个相同的，卷积参数共享的特征提取模块，得到左图和右图的特征，然后将左图和右图的特征输入到双目传输模块中,通过学习水平方向的关系矩阵，利用左右图的视差关系更好地融合深度信息，更准确地预测透射图；/n大气光参数预测网络，只输入有雾的左图，网络为encoder-decoder结构，经过4层卷积和池化操作下采样4倍，接着上采样和卷积层交替2次恢复至原图大小，通过一个3×3卷积预测大气光参数；/n第三步，利用第一步构建的数据集对透射图估计网络和大气光参数预测网络同时进行训练透射图估计网络和大气光参数预测网络：使用MSE loss损失函数对预测的左图的透射图，右图的透射图，大气光参数计算损失值；同时用MSE loss损失函数对根据大气散射模型恢复出的左图和右图计算损失值，这两个损失值使得整个网络能够联合优化，训练出一个基于双目图像的去雾模型。/n...

【技术特征摘要】
1.一种基于双目图像的去雾方法，包括下列步骤：
第一步，构建双目有雾的图片数据库，对于已有数据库的图片，计算出不连续的左图的距离图，利用ImageInpainting将左图距离图补全，利用左右图的视差关系对应求得右图不连续的距离图，继续使用ImageInpainting补全右图的距离图，在已知左右距离图的前提下，根据大气散射模型，设置三种雾的浓度，随机从[0.7,1]中选取一个值作为大气光参数，合成双目有雾数据集，并将数据集划分为训练数据集和测试数据集；训练集的标签为清晰的双目图像和对应图片的左右透射图及大气光参数。
第二步，分别设计透射图估计网络和大气光参数预测网络：
透射图估计网络包含卷积参数共享的特征提取模块，双目传输模块和透射图预测模块，卷积参数共享的特征提取模块是一个encoder-decoder的结构，先利用5层卷积层和池化进行下采样，再利用双线性插值和4层卷积层进行上采样恢复原图大小，同...

【专利技术属性】
技术研发人员：聂晶，庞彦伟，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12