基于低光照增强的夜间高速公路雾天能见度检测方法技术

本发明专利技术公开了基于低光照增强的夜间高速公路雾天能见度检测方法，包括：实时获取高速公路上的摄像头拍摄的夜间高速公路雾天情况的图像数据；输入至低光图像增强的能见度检测网络模型，该模型包括增强网络模块

【技术实现步骤摘要】
基于低光照增强的夜间高速公路雾天能见度检测方法


[0001]本专利技术涉及图像处理
，具体涉及基于低光照增强的夜间高速公路雾天能见度检测方法
。

技术介绍

[0002]雾天能见度检测对于交通预警
、
安全行车具有重要意义，本专利技术主要关注高速公路路段中夜间能见度检测
。
目前，对雾天图像可见度检测问题的关注较少，尤其针对夜间情况，夜间是团雾的高发时间，但夜间监控图像的成像质量差，光照度低，从低光照度图像预测能见度是一个富有挑战性的问题
。
但当下解决这一问题的方法很少，大致可以分为两类：基于物理模型的方法和基于深度学习的方法
。
基于物理模型的方法主要是基于
Koschmieder
定律和大气散射模型来设计预测规则
。
基于深度学习的方法主要是利用深度网络直接学习雾图像到雾密度的映射
。
虽然深度网络具有很好的学习能力，但它们的预测主要依赖黑盒模式下所学习的视觉特征，然而由于不同监控设备的不同成像时段以及光照条件影响等因素影响，导致视觉特征具有广泛的差异性，仅仅依赖视觉特征往往并不能形成好的预测结果，因此，目前的夜间雾天能见度检测的准确率较低
。

技术实现思路

[0003]本专利技术目的：在于提供基于低光照增强的夜间高速公路雾天能见度检测方法，以提高夜间高速公路雾天能见度检测的准确率
。
[0004]为实现以上功能，本专利技术设计基于低光照增强的夜间高速公路雾天能见度检测方法，执行如下步骤
S1
‑
步骤
S5
，完成夜间高速公路雾天能见度的等级检测：步骤
S1
：实时采集摄像头拍摄的高速公路雾天情况的夜间图像，以所采集的夜间图像构建训练集
、
测试集；步骤
S2
：构建基于低光图像增强的能见度检测网络模型，包括增强网络模块
、
亮通道先验计算模块
、
融合分类网络；将步骤
S1
所采集的夜间图像分别输入增强网络模块
、
亮通道先验计算模块，其中增强网络模块基于
Unet
网络和全局判别器，并经过卷积神经网络，将输入的夜间图像进行低光照增强，获得深度视觉特征
X1
；亮通道先验计算模块根据输入的夜间图像中各像素的亮度，获得亮度特征
X2
；将深度视觉特征
X1、
亮度特征
X2
输入融合分类网络进行拼接，并进行能见度预测，输出能见度等级分类；步骤
S3
：设计损失函数，以优化基于低光图像增强的能见度检测网络模型，预设网络模型的训练超参数；步骤
S4
：将训练集输入基于低光图像增强的能见度检测网络模型中，根据损失函数，采用
Adam
优化器对网络模型中需要优化的参数进行迭代优化与更新，直至网络模型收敛，训练完毕；步骤
S5
：针对训练好的基于低光图像增强的能见度检测网络模型，采用测试集进行测试，直至在测试集上达到精度要求，应用基于低光图像增强的能见度检测网络模型，完
成夜间高速公路雾天能见度的等级检测
。
[0005]作为本专利技术的一种优选技术方案：步骤
S1
中，首先获取不同时段
、
不同地区的高速公路雾天夜间图像，根据能见度距离将各夜间图像分为4个能见度等级，并将每个能见度等级中的夜间图像按照预设比例划分出训练集和测试集
。
[0006]作为本专利技术的一种优选技术方案：步骤
S2
中所构建的基于低光图像增强的能见度检测网络模型如下式：；；其中，
X
为输入的夜间图像，
N
z
(X)
为增强网络模块，
N
f
(X)
为卷积神经网络，
N
l
(X)
为亮通道先验计算模块，
N
t
(X)
为融合分类网络，
S1表示深度视觉特征
X1
，
S2表示亮度特征
X2
，
Contact
表示拼接操作，
Y
为输出的能见度等级分类
。
[0007]作为本专利技术的一种优选技术方案：步骤
S2
的具体步骤如下：步骤
S2.1
：增强网络模块包括
Unet
网络和全局判别器，将夜间图像输入
Unet
网络，利用
Unet
网络的
Gan
网络对夜间图像进行低光照增强，同时在
Unet
网络中将
RGB
图像形式的夜间图像的光照通道标准化为
[0,1]，作为自正则注意图，并调整自正则注意图大小适应每个尺度的特征图，其中特征图指
Unet
网络中的中间层输出，包含了夜间图像在不同尺度下的特征表示；最后将其与对应的特征图以及
Unet
网络最终输出的低光照增强的夜间图像相乘，从而获得增强后的夜间图像；步骤
S2.2
：将增强后的夜间图像通过卷积神经网络，卷积神经网络中使用9个卷积层，最终得到深度视觉特征
X1
；步骤
S2.3
：将夜间图像输入亮通道先验计算模块，针对夜间图像采用滑动窗口，计算夜间图像中局部区域中各像素的最大亮度，最终获得亮度特征
X2
，亮通道先验计算模块的计算公式如下：；其中，
I
bright
(x)
表示像素
x
的亮通道值，
Ω
(x)
是以像素
x
为中心的邻域，
y
表示领域
Ω
(x)
中的像素，
c
表示
RGB
彩色图像中的通道，
r、g、b
表示红
、
绿
、
蓝三个通道的索引，
I
c
(y)
是输入夜间图像的
RGB
彩色图像；步骤
S2.4
：将深度视觉特征
X1、
亮度特征
X2
输入融合分类网络进行拼接，获得融合特征，将融合特征分为不同的空间块，输入至
Transformer
网络进行能见度预测，输出能见度等级分类
。
[0008]作为本专利技术的一种优选技术方案：步骤
S2.4
的具体方法如下：采用如下公式将融合特征所分的各空间块展开为一维向量：；其中，
s0为嵌入向量序列，
x
class
为可学习的类别向量，是将融合特征分为不同的空间块后，第
l<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于低光照增强的夜间高速公路雾天能见度检测方法，其特征在于，执行如下步骤
S1
‑
步骤
S5
，完成夜间高速公路雾天能见度的等级检测：步骤
S1
：实时采集摄像头拍摄的高速公路雾天情况的夜间图像，以所采集的夜间图像构建训练集
、
测试集；步骤
S2
：构建基于低光图像增强的能见度检测网络模型，包括增强网络模块
、
亮通道先验计算模块
、
融合分类网络；将步骤
S1
所采集的夜间图像分别输入增强网络模块
、
亮通道先验计算模块，其中增强网络模块基于
Unet
网络和全局判别器，并经过卷积神经网络，将输入的夜间图像进行低光照增强，获得深度视觉特征
X1
；亮通道先验计算模块根据输入的夜间图像中各像素的亮度，获得亮度特征
X2
；将深度视觉特征
X1、
亮度特征
X2
输入融合分类网络进行拼接，并进行能见度预测，输出能见度等级分类；步骤
S3
：设计损失函数，以优化基于低光图像增强的能见度检测网络模型，预设网络模型的训练超参数；步骤
S4
：将训练集输入基于低光图像增强的能见度检测网络模型中，根据损失函数，采用
Adam
优化器对网络模型中需要优化的参数进行迭代优化与更新，直至网络模型收敛，训练完毕；步骤
S5
：针对训练好的基于低光图像增强的能见度检测网络模型，采用测试集进行测试，直至在测试集上达到精度要求，应用基于低光图像增强的能见度检测网络模型，完成夜间高速公路雾天能见度的等级检测
。2.
根据权利要求1所述的基于低光照增强的夜间高速公路雾天能见度检测方法，其特征在于，步骤
S1
中，首先获取不同时段
、
不同地区的高速公路雾天夜间图像，根据能见度距离将各夜间图像分为4个能见度等级，并将每个能见度等级中的夜间图像按照预设比例划分出训练集和测试集
。3.
根据权利要求1所述的基于低光照增强的夜间高速公路雾天能见度检测方法，其特征在于，步骤
S2
中所构建的基于低光图像增强的能见度检测网络模型如下式：；；其中，
X
为输入的夜间图像，
N
z
(X)
为增强网络模块，
N
f
(X)
为卷积神经网络，
N
l
(X)
为亮通道先验计算模块，
N
t
(X)
为融合分类网络，
S1表示深度视觉特征
X1
，
S2表示亮度特征
X2
，
Contact
表示拼接操作，
Y
为输出的能见度等级分类
。4.
根据权利要求3所述的基于低光照增强的夜间高速公路雾天能见度检测方法，其特征在于，步骤
S2
的具体步骤如下：步骤
S2.1
：增强网络模块包括
Unet
网络和全局判别器，将夜间图像输入
Unet
网络，利用
Unet
网络的
Gan
网络对夜间图像进行低光照增强，同时在
Unet
网络中将
RGB
图像形式的夜间图像的光照通道标准化为
[0,1]
，作为自正则注意图，并调整自正则注意图大小适应每个尺度的特征图，其中特征图指
Unet
网络中的中间层输出，包含了夜间图像在不同尺度下的特征表示；最后将其与对应的特征图以及
Unet
网络最终输出的低光照增强的夜间图像相乘，从而获得增强后的夜间图像；
步骤
S2.2
：将增强后的夜间图像通过卷积神经网络，卷积神经网络中使用9个卷积层，最终得到深度视觉特征
X1
；步骤
S2.3
：将夜间图像输入亮通道先验计算模块，针对夜间图像采用滑动窗口，计算夜间图像中局部区域中各像素的最大亮度，最终获得亮度特征

【专利技术属性】
技术研发人员：孙玉宝，唐继辉，马晓捷，刘青山，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：