基于浅层融合的多模态图像能见度检测模型的深度学习方法技术

本发明专利技术公开了一种基于浅层融合的多模态图像能见度检测模型的深度学习方法，包括如下步骤：步骤1)利用双目摄像机采集可见光、红外图像，并通过“预处理”获取多模态能见度观测数据作为“浅层融合网络”的输入信号，建立多模态能见度观测数据训练数据集合；步骤2)建立“浅层融合网络”，利用多模态能见度观测数据集训练网络，获取卷积神经网络权值参数；步骤3)利用训练完毕的“浅层融合网络”对待测的多模态图像进行能见度等级的分类估计。本发明专利技术能够利用深度融合网络将三模态图像丰富的特征信息在卷积神经网络的浅层进行有效地叠加融合、实现三个模态的互补，显著提高小样本条件下的神经网络能见度检测的准确性和稳定性。

【技术实现步骤摘要】
基于浅层融合的多模态图像能见度检测模型的深度学习方法
本专利技术属于基于图像/视频的能见度等级分类、检测
，尤其涉及一种利用三模态图像(可见光图像、可见光边缘特征图像-红外图像)作为输入信号，通过浅层融合网络，进行浅层局部特征图的融合；再通过深层的迭代提取三模态深层融合特征，进而对能见度等级进行分类和检测的方法。
技术介绍
雾、霾等恶劣天气是严重影响道路行车安全的因素，每年由低能见度原因造成的交通拥塞甚至恶性事故频频发生，据统计发生在恶劣天气下的交通事故占总交通事故的24％。因此，及时、准确、有效地对雾天道路能见度进行监测和预警意义重大。传统的能见度监测仪器价格昂贵，体积较大，且无法密集布设。因此，研究基于图像处理的能见度检测算法已成为一种新的主流方向。目前，常见的基于图像的能见度检测方法大概可以分为一下两种。传统的基于统计模型的能见度检测方法，以及基于深度学习模型的能见度检测方法。传统的能见度检测统计模型，通过物理或者概率模型，对图像场景对应的能见度距离或者等级进行估计，其计算量小，但准确性和稳定性都欠佳。且有时需要设置人工辅助本文档来自技高网...

【技术保护点】
1.一种基于浅层融合的多模态图像能见度检测模型的深度学习方法，其特征在于，包括如下步骤：/n步骤1)利用双目摄像机采集可见光、红外图像，并通过“预处理”获取多模态能见度观测数据作为“浅层融合网络”的输入信号，建立多模态能见度观测数据训练数据集合；/n步骤2)建立“浅层融合网络”，利用多模态能见度观测数据集训练网络，获取卷积神经网络权值参数；/n步骤3)利用训练完毕的“浅层融合网络”对待测的多模态图像进行能见度等级的分类估计。/n

【技术特征摘要】
1.一种基于浅层融合的多模态图像能见度检测模型的深度学习方法，其特征在于，包括如下步骤：
步骤1)利用双目摄像机采集可见光、红外图像，并通过“预处理”获取多模态能见度观测数据作为“浅层融合网络”的输入信号，建立多模态能见度观测数据训练数据集合；
步骤2)建立“浅层融合网络”，利用多模态能见度观测数据集训练网络，获取卷积神经网络权值参数；
步骤3)利用训练完毕的“浅层融合网络”对待测的多模态图像进行能见度等级的分类估计。


2.根据权利要求1所述的基于浅层融合的多模态图像能见度检测模型的深度学习方法，其特征在于：所述步骤1)的具体内容为：
首先，利用“摄像机标定技术”对可见光-红外双目摄像机进行标定，获取左右两个摄像机的相机内参数矩阵K和畸变系数矩阵D，进而求取左右两个摄像机的相对位置关系，即右摄像头相对于左摄像头的平移向量t和旋转矩阵R，其具体标定计算方法如下：
a.利用“棋盘图”获取摄像头畸变方面的信息，在Matlab标定工具箱中，通过reprojectonimages函数得到根据当前标定结果得到的反投影误差，利用Recomp.corners选项完成根据反向投影得到角点坐标、计算角点；然后，采用Calibration根据角点对左右摄像头分别进行标定，得到两个摄像头各自的内参矩阵和畸变参数向量；
b.经过双目标定得到摄像头的各项参数后，采用OpenCV库中的立体校正函数stereoRectify得到校正旋转矩阵R、投影矩阵P、重投影矩阵Q；然后，采用initUndistortRectifyMap函数得出校准映射参数；最后，利用remap来校准输入的左右图像，获取分表率与视野均相同的输出图像；
然后，利用高通滤波器对可见光灰度图像进行“高通滤波”，获取可见光边缘特征图像，其具体滤波过程如下：
a.首先利用二维快速傅里叶变换(2DFFT)对M×N的可见光灰度图像f(m,n)进行频率域的变换，其数学公式入下：



式中，f(m,n)是可见光灰度图像在m行、n列的灰度值，F(u,v)是傅里叶变换结果；
b.对上述傅里叶变换结果进行，中心相位移动；然后，设置高通截止频率，对其进行滤波；最后，将滤波后的频谱进行“傅里叶反变换”获取可见光边缘特征图像；
最后，将三种不同种类的信号，包括：3通道可见光彩色图像IRGB、3通道可见光边缘特征图像Iedge、3通道红外灰度图像IIR，组成“多模态能见度观测数据”Idata＝{IRGB，Iedge，IIR}，并且利用上述“预处理”方法,面向对所有采集的可见光-红外图像对，制作对应的多模态能见度观测数据Idata(i),i∈[1,N]，N为训练样本个数；然后，根据能见度的强弱将多模态能见度观测数据Idata(i)分成七类，其中，1为能见度最强，7为能见度最弱；对每一类的三模态图像Idata(i)＝{IRGB(i),Iedge(i),IIR(i)}标定种类标签Y(i),Y(i)∈[1,7]；建立完成多模态能见度训练数据集合。


3...

【专利技术属性】
技术研发人员：王晗，施佺，沈克成，余佩伦，
申请(专利权)人：南通大学，
类型：发明
国别省市：江苏;32