一种基于深度融合网络的双模态图像能见度检测方法技术

本发明专利技术公开了一种基于深度融合网络的双模态图像能见度检测方法，包括如下步骤：步骤1)利用双目摄像机采集可见光、红外图像，并通过图像配准获取视野与分辨率均相同的可见光‑红外图像对作为“深度融合网络”的双模态输入图像信号；步骤2)建立“深度融合网络”，利用双模态图像数据集训练网络，获取神经网络权值参数；步骤3)利用训练完毕的“深度融合网络”对待测的可见光‑红外双模态图像能见度的等级进行分类。采用本发明专利技术方法，能够将双模态图像的特征进行有效地融合，实现模态互补，有效克服传统单模态可见光图像结合深度学习的能见度检测方法，在小样本条件下“特征信息不足”问题，显著提高小样本条件下能见度检测的准确性与稳定性。

A visibility detection method of dual-mode image based on depth fusion network

【技术实现步骤摘要】
一种基于深度融合网络的双模态图像能见度检测方法
本专利技术涉及基于图像/视频的能见度等级分类、检测技术，尤其涉及一种利用双模态图像(可见光-红外图像对儿)作为输入信号，通过深度融合网络进行模态互补，提取多模态联合特征，进而对能见度等级进行分类和检测的方法。
技术介绍
雾、霾等恶劣天气是严重影响道路行车安全的因素，每年由低能见度原因造成的交通拥塞甚至恶性事故频频发生，据统计发生在恶劣天气下的交通事故占总交通事故的24％。因此，及时、准确、有效地对雾天道路能见度进行监测和预警意义重大。传统的能见度监测仪器价格昂贵，体积较大，且无法密集布设。因此，研究基于图像处理的能见度检测算法已成为一种新的主流方向。目前，常见的基于图像的能见度检测方法大概可以分为一下三种。“双亮度差法”：在图像中寻找距离不同的两个目标，然后通过目标与背景的相对亮度比估计能见度值。该方法需要设置人工辅助目标物，操作复杂。“暗通道法”：利用暗通道先验知识求取大气消光系数，在利用韦伯定律求取大气能见度。该方法精度较低，且受到ROI区域检测效果影响较大。“深度学习法”：利用卷积神经网络对输入可见光彩色图像的能见度等级进行分类，该方法性能受到训练样本的质量和数量的影响。综上所述，现有的基于图像的能见度检测方法多局限于面向可见光彩色图像的研究，即通过可见光彩色图像的内容和色彩信息估计能见度的等级或者能见度距离。现有基于深度学习的方法在小样本条件下受到初始训练权值的影响、稳定性不佳，为了获取最优参数需要长时间反复训练。
技术实现思路
r>为了解决上述问题，本专利技术的主要目的在于提供一种基于深度融合网络的双模态图像(可见光－红外)能见度检测方法，其先进性表现为：一、双模态图像由于其成像原理不同，对不同程度的雾霾天气表现出的图像特征显著不同，因此，双模态图像的结合可以实现模态互补、提供更加丰富而有效的特征信息。二、通过设计深度融合网络结构，可以有效地将可见光和红外图像的特征进行融合，能够显著提高小样本下神经网络能见度的检测准确度和稳定性。为达到上述目的，本专利技术的技术方案是：一种基于深度融合网络的双模态图像能见度检测方法，该方法包括：步骤1)利用双目摄像机采集可见光、红外图像，并通过图像配准获取视野与分辨率均相同的可见光-红外图像对作为“深度融合网络”的双模态输入图像信号；步骤2)建立“深度融合网络”，利用双模态图像数据集训练网络，获取神经网络权值参数；步骤3)利用训练完毕的“深度融合网络”对待测的可见光-红外双模态图像能见度的等级进行分类。步骤1)的具体内容为：首先，将可见光彩色图像转换为灰度图像ICCD，并且在灰度图像ICCD和红外图像IIR中分别提取SIFT特征点；然后，以红外图像IIR中每个SIFT特征点FIRi为中心，在给定的搜索范围(searchwindow)内在可见光灰度图像ICCD中寻找SIFT候补特征点集合{FCCD1,FCCD2,…FIRn}；接着，计算红外图像IIR特征点FIRi与灰度图像ICCD候补特征点集合中每一个特征点FCCDj之间的相似度，最后，根据最大相似度完成FIRi和{FCCD1,FCCD2,…FIRn}之间的可见光-红外SIFT特征点匹配。其中，FIRi与FCCDj之间相似度的具体计算方法如下：a.分别以SIFT特征点FIRi和FCCDj为中心，从IIR和ICCD中提取80x80的图像块PIR和PCCD；然后，分别从PIR和PCCD中提取384维的LGHD特征向量HIRi和HCCDj；b.利用直方图交叉核(histogramintersection)度量两个LGHD特征向量HIRi和HCCDj之间的相似度，计算公式如下：式中，HIRi,HCCDj分别是红外图像IIR第i个SIFT特征点对应LGHD特征向量；HCCDj是可见光灰度图像ICCD第j个SIFT特征点对应LGHD特征向量；在红外图像IIR中所有的SIFT特征点匹配之后，利用RANSAC算法从可见光-红外SIFT特征点对儿集合中，估计可见光图像ICCD与红外图像IIR之间的转换矩阵M；最后，根据M矩阵将灰度图像ICCD转换为与红外图像IIR在视野和分辨率均相同的图像Icolor。步骤2)的具体内容为：本专利技术提出的双模态图像深度融合网络由四个子网络模块构成：“红外图像特征提取子网络”、“可见光图像特征提子网络”、“双模态图像特征叠加子网络”和“特征融合子网络”，参见图2(深度融合网络结构图)。“红外图像特征提取子网络”的输入为红外图像IIR，网络共有10层，分别是输入层(224x224x3)、卷积层1(96个11x11卷积核)、最大池化层1(3x3)、卷积层2(256个5x5卷积核)、最大池化层2(3x3)、卷积层3(384个3x3卷积核)、卷积层4(384个3x3卷积核)、卷积层5(256个3x3卷积核)、最大池化层3(3x3)、全连接层(2048维)。“红外图像特征提取子网络”的输出为2048维红外图像特征向量。“可见光图像特征提取子网络”的输入为经过步骤1)配准过的可见光彩色图像Icolor，网络共有10层，分别是输入层(224x224x3)、卷积层1(96个11x11卷积核)、最大池化层1(3x3)、卷积层2(256个5x5卷积核)、最大池化层2(3x3)、卷积层3(384个3x3卷积核)、卷积层4(384个3x3卷积核)、卷积层5(256个3x3卷积核)、最大池化层3(3x3)、全连接层(2048维)。“可见光图像特征提取子网络”的输出为2048维可见光图像特征向量。“双模态图像特征叠加子网络”的输入由两路信号组成：分别为红外、可见光图像特征提取子网络在各个最大池化层后提取的特征图,“双模态图像特征叠加子网络”共10层：元素相加层1、卷积层2(256个5x5卷积核)、最大池化层2(3x3)、元素相加层2、卷积层3(384个3x3卷积核)、卷积层4(384个3x3卷积核)、卷积层5(256个3x3卷积核)、最大池化层3(3x3)、元素相加层3、全连接层(2048维)。“双模态图像特征叠加子网络”能够有效地将可见光和红外图像在每个池化层进行信息叠加，然后再利用卷积层对叠加的信息提取特征。“双模态图像特征叠加子网络”的输出为2048维可见光-红外叠加信息特征向量。“特征融合子网络”共有4层：首先，将“红外图像特征提取子网络”、“可见光图像特征提取子网络”和“双模态图像特征叠加子网络”的三个输出特征向量利用concate层进行拼接；然后将拼接获取的6144维特征向量，送入Dropout层，防止训练中出现“过拟合”现象；接着，将Dropout层的输出送到6144维的融合全连接层，完成双模态图像特征的深度融合；最后，将输出的6144联合特征利用softmax层进行能见度等级的分类。网络训练过程如下：依次将每一类的双模态训练图像中的可见光彩色图像Icolor利用imresize函数改变为分辨率为224x224x3的彩色图像作为“可见光图像特征提取子本文档来自技高网...

【技术保护点】
1.一种基于深度融合网络的双模态图像能见度检测方法，其特征在于：包括如下步骤：/n步骤1)利用双目摄像机采集可见光、红外图像，并通过图像配准获取视野与分辨率均相同的可见光-红外图像对作为“深度融合网络”的双模态输入图像信号；/n步骤2)建立“深度融合网络”，利用双模态图像数据集训练网络，获取神经网络权值参数；/n步骤3)利用训练完毕的“深度融合网络”对待测的可见光-红外双模态图像能见度的等级进行分类。/n

【技术特征摘要】
1.一种基于深度融合网络的双模态图像能见度检测方法，其特征在于：包括如下步骤：
步骤1)利用双目摄像机采集可见光、红外图像，并通过图像配准获取视野与分辨率均相同的可见光-红外图像对作为“深度融合网络”的双模态输入图像信号；
步骤2)建立“深度融合网络”，利用双模态图像数据集训练网络，获取神经网络权值参数；
步骤3)利用训练完毕的“深度融合网络”对待测的可见光-红外双模态图像能见度的等级进行分类。


2.根据权利要求1所述的基于深度融合网络的双模态图像能见度检测方法，其特征在于：所述的步骤1)为：
首先，将可见光彩色图像转换为灰度图像ICCD，并且在灰度图像ICCD和红外图像IIR中分别提取SIFT特征点；然后，以红外图像IIR中每个SIFT特征点FIRi为中心，在给定的搜索范围内在可见光灰度图像ICCD中寻找SIFT候补特征点集合{FCCD1,FCCD2,…FIRn}；接着，计算红外图像IIR特征点FIRi与灰度图像ICCD候补特征点集合中每一个特征点FCCDj之间的相似度，最后，根据最大相似度完成FIRi和{FCCD1,FCCD2,…FIRn}之间的可见光-红外SIFT特征点匹配；其中，FIRi与FCCDj之间相似度的具体计算方法如下：
a.分别以SIFT特征点FIRi和FCCDj为中心，从IIR和ICCD中提取80x80的图像块PIR和PCCD；然后，分别从PIR和PCCD中提取384维的LGHD特征向量HIRi和HCCDj；
b.利用直方图交叉核度量两个LGHD特征向量HIRi和HCCDj之间的相似度，计算公式如下：



式中，HIRi,HCCDj分别是红外图像IIR第i个SIFT特征点对应LGHD特征向量；HCCDj是可见光灰度图像ICCD第j个SIFT特征点对应LGHD特征向量；
在红外图像IIR中所有的SIFT特征点匹配之后，利用RANSAC算法从可见光-红外SIFT特征点对儿集合中，估计可见光图像ICCD与红外图像IIR之间的转换矩阵M；最后，根据M矩阵将灰度图像ICCD转换为与红外图像IIR在视野和分辨率均相同的图像Icolor。


3.根据权利要求1所述的基于深度融合网络的双模态图像能见度检测方法，其特征在于：所述的步骤2为：
双模态图像深度融合网络由四个子网络模块构成：“红外图像特征提取子网络”、“可见光图像特征提子网络”、“双模态图像特征叠加子网络”和“特征融合子网络”；
“红外图像特征提取子网络”的输入为红外图像IIR，网络共有10层，分别是输入层(224x224x3)、卷积层1(96个11x11卷积核)、最大池化层1(3x3)、卷积层2(256个5x5卷积核)、最大池化层2(3x3)、卷积层3(384个3x3卷积核)、卷积层4(384个3x3卷积核)、卷...

【专利技术属性】
技术研发人员：王晗，施佺，沈克成，余佩伦，
申请(专利权)人：南通大学，
类型：发明
国别省市：江苏;32