基于自适应图像增强的夜间道路场景语义分割方法技术

本发明专利技术公开了一种基于自适应图像增强的夜间道路场景语义分割方法，主要解决夜间道路场景下图像缺乏带标注夜间道路场景数据集以及图像亮度低、特征提取困难等问题。所述方法包括如下步骤：构建结合侧窗盒式滤波和生成对抗网络优点的日夜转换模型；合成夜间道路场景语义分割数据集；构建夜间道路场景语义分割方法的训练数据集；构建自适应图像增强网络；对训练数据集进行自适应图像增强并分割；通过交叉熵损失函数计算语义分割损失；获取夜间道路场景测试图像，将其输入至训练好的夜间道路场景语义分割模型，输出对应的语义分割结果。本发明专利技术缓解了夜间道路场景图像照明弱、细节不清楚等问题，同时提高了夜间道路场景的分割预测。测。测。

【技术实现步骤摘要】
基于自适应图像增强的夜间道路场景语义分割方法


[0001]本专利技术涉及一种语义分割方法，特别是一种基于自适应图像增强的夜间道路场景语义分割方法。

技术介绍

[0002]语义分割是对图像中的每个像素分配唯一的标签。通用的语义分割方法大多是在细节清楚、光照良好的图像上进行训练的，并在通用的语义分割数据集上取得了不错的效果。然而，将通用的语义分割方法直接应用于夜间道路场景时，会导致语义分割精度下降、图像内容识别不准确。夜间道路场景语义分割对自动驾驶、安防监控和环境监测等领域具有潜在的应用前景，因此，设计一种较为精准的夜间道路场景语义分割方法具有重要意义。
[0003]夜间道路场景分割主要面临两个挑战：一个是由于夜间感知能力差，难以获得大规模标注的夜间道路场景数据集。深度学习本质上是基于数据驱动的方法，目前实现高性能语义分割的标准策略是使用神经网络训练大量带标注的低光数据。然而，收集这种低光图像并对其进行标注的过程是劳动密集型的。此外，由于夜间图片中黑暗或阴影部分的面积较大，在像素级建立高质量的标注是非常困难的。另一个挑战是夜间道路场景图像存在亮度低、噪声和运动模糊等问题，使用卷积层提取的特征与在良好光照条件下获得的特征存在明显差异。因此，使用日间道路数据集训练的模型，不能直接应用于夜间道路场景。

技术实现思路

[0004]针对夜间道路场景图像亮度低以及缺乏带标注的夜间道路场景语义分割数据集的问题，本专利技术提出了一种基于自适应图像增强的夜间道路场景语义分割方法，用于提高夜间道路场景的分割预测。结合侧窗盒式滤波和生成对抗网络的优点，将带标注的白天道路场景语义分割数据集转换为低光条件下的道路场景数据集；将待训练数据集输入自适应图像增强网络，得到滤波器的参数，通过循环遍历滤波器列表：曝光处理、伽玛校正、对比度处理和锐化处理，输出增强后的图像，再进行分割，得到夜间道路场景语义分割预测图。本专利技术缓解了夜间道路场景图像照明弱、细节不清楚等问题，同时提高了夜间道路场景的分割预测。
[0005]本专利技术的技术方案是这样实现的：
[0006]基于自适应图像增强的夜间道路场景语义分割方法，其步骤如下：
[0007]步骤一、构建结合侧窗盒式滤波和生成对抗网络优点的日夜转换模型；
[0008]步骤二、合成夜间道路场景语义分割数据集；
[0009]步骤三、构建夜间道路场景语义分割方法的训练数据集；
[0010]步骤四、构建自适应图像增强网络；
[0011]步骤五、对训练数据集进行自适应图像增强并分割；
[0012]步骤六、通过交叉熵损失函数计算语义分割损失；
[0013]步骤七、获取夜间道路场景测试图像，将其输入至训练好的夜间道路场景语义分
割模型，输出对应的语义分割结果。
[0014]优选的，所述步骤一中构建结合侧窗盒式滤波和生成对抗网络优点的日夜转换模型的具体步骤为：
[0015]S11：收集白天道路场景图像和夜间道路场景图像；
[0016]S12：将待训练的数据集按照数据风格和需求划分为源域训练集、目标域训练集和测试集，其中源域训练集定义为S
data(x)
，目标域训练集定义为S
data(y)
；
[0017]S13：对目标域训练集进行侧窗盒式滤波处理和边缘提取操作，生成新的目标域训练集定义为S
data(z)
；
[0018]S14：将待训练的数据集，包括源域数据集S
data(x)
及目标域数据集S
data(z)
，进行数据预处理，包括数据增强和标准化处理；
[0019]S15：构建生成器，由下采样、8个残差块以及上采样组成，其中下采样由5个卷积层组成，每层的输出通道数分别为{64，128，128，256，256}，第一个卷积核为7
×
7，步长为1，后四个卷积核为3
×
3，步长分别为{2，1，2，1}；上采样由2个转置卷积和3个普通卷积组成，转置卷积的输出通道数分别为{128，64}，卷积核为3
×
3，步长为1/2，普通卷积的输出通道数分别为{128，64，3}，前两个卷积核为3
×
3，最后一个卷积核为7
×
7，步长均为1；
[0020]S16：构建判别器，由一个3
×
3的卷积核、LReLU层以及三个卷积块组成；其中，前两个卷积块分别由两个3
×
3的卷积核、LReLU层、标准化组成，每层的输出通道数分别为{64，128，128，256}，步长分别为{2，1，2，1}；最后一个卷积块由一个步长为1的3
×
3的卷积核、标准化以及LReLU层组成，输出通道数为256；
[0021]S17：将源域和目标域训练数据集中的图像作为所述生成器的输入，通过所述生成器网络分别得到其对应的夜间图像；
[0022]S18：将所述得到的夜间图像作为所述判别器的输入，采用自适应学习率调整各层特征的对抗性学习方法，通过反向传播的方式，对判别器网络和生成器网络中的参数进行不断地更新优化。
[0023]优选的，所述步骤S13中侧窗盒式滤波处理的具体方法为：读入目标域图像，输入参数m和n，其中m为待处理像素，n为邻接像素；定义侧窗编组S＝{L，R，Up，Dn，NW，NE，SW，SE}；计算m经过不同侧窗i加权滤波处理后的结果I
i
，公式如下：其中，ω
′
i
为侧窗i，w
mn
是以像素(m，n)为中心的滤波窗口中各像素的权重，q
n
为输入图像q在位置n处的强度，N
i
为单个侧窗的权重之和，公式如下：计算代价函数E
m
，公式如下：其中，q
m
为输入图像q在位置m处的强度；得出最佳侧窗编号I
j
，公式如下：通过得到的最佳侧窗编号，对目标域的图像进行侧窗盒式滤波处理。
[0024]优选的，所述步骤S13中边缘提取操作的具体方法为：将读取的RGB彩色图像转换为灰度图像；使用标准Canny边缘检测器检测边缘像素；使用膨胀函数膨胀边缘区域；对所得到的边缘区域进行高斯平滑操作。
[0025]优选的，所述步骤二中合成夜间道路场景语义分割数据集的具体步骤为：
[0026]S21：将白天道路场景数据集进行归一化处理，归一化处理的均值和标准差均为
[0.5，0.5，0.5]；
[0027]S22：将所述归一化处理后的图像输入到步骤一中训练得到的最优生成对抗网络模型，输出对应的夜间道路场景图像。
[0028]优选的，所述步骤三中构建训练数据集的具体步骤为：
[0029]S31：收集夜间道路场景数据集；定义源域T
s
、目标域T
n
和目标域T
c
，其中T
s
、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自适应图像增强的夜间道路场景语义分割方法，其特征在于，结合侧窗盒式滤波和生成对抗网络的优点，将带标注的白天道路场景语义分割数据集转换为低光条件下的道路场景数据集；将待训练数据集输入自适应图像增强网络，得到滤波器的参数，通过循环遍历滤波器列表：曝光处理、伽玛校正、对比度处理和锐化处理，输出增强后的图像，再进行分割，得到夜间道路场景语义分割预测图，其步骤如下：步骤一、构建结合侧窗盒式滤波和生成对抗网络优点的日夜转换模型；步骤二、合成夜间道路场景语义分割数据集，包括以下步骤：S21：将白天道路场景数据集进行归一化处理，归一化处理的均值和标准差均为[0.5，0.5，0.5]；S22：将所述归一化处理后的图像输入到步骤一中训练得到的最优生成对抗网络模型，输出对应的夜间道路场景图像；步骤三、构建夜间道路场景语义分割方法的训练数据集，包括以下步骤：S31：收集夜间道路场景数据集；定义源域T
s
、目标域T
n
和目标域T
c
，其中T
s
、T
n
和T
c
分别代表cityscapes(白天)、nightcity(夜间)、步骤二合成的夜间道路场景图像；S32：将收集的数据集进行数据预处理；步骤四、构建自适应图像增强网络；步骤五、对训练数据集进行自适应图像增强并分割；步骤六、通过交叉熵损失函数计算语义分割损失，包括以下步骤：S61：使用重新加权策略来提高网络对小物体的关注，公式如下：w
′
v
＝
‑
log(a
v
)，其中，a
v
表示在标注的数据集中被注释为v的像素的比例，a
v
的值越低，分配的权重越大，有助于网络对小尺寸类别的划分；S62：对所述得到的权重进行归一化处理，公式如下：其中，和σ(w)分别是w
′
v
的平均值和标准差，
·
为矩阵的点积，std为0.1，avg为1.0；S63：使用交叉熵损失函数对网络进行优化，分割损失公式如下：其中，P
(v)
为分割结果的第v个通道，U1为相应的分割标注图像中的有效像素数，|R1|为数据集中标注类别的数量，GT
(v)
为第v类真实标签的一个热编码，为矩阵的点积；S64：循环迭代步骤S61、S62、S63，得到最优的夜间道路场景语义分割网络模型；步骤七、获取夜间道路场景测试图像，将其输入至训练好的夜间道路场景语义分割模型，输出对应的语义分割结果。2.根据权利要求1所述的基于自适应图像增强的夜间道路场景语义分割方法，其特征在于，所述步骤一中构建结合侧窗盒式滤波和生成对抗网络优点的日夜转换模型的具体步骤为：S11：收集白天道路场景图像和夜间道路场景图像；S12：将待训练的数据集按照数据风格和需求划分为源域训练集、目标域训练集和测试集，其中源域训练集定义为S
data(x)
，目标域训练集定义为S
data(y)
；S13：对目标域训练集进行侧窗盒式滤波处理和边缘提取操作，生成新的目标域训练集
定义为S
data(z)
；S14：将待训练的数据集，包括源域数据集S
data(x)
和目标域数据集S
data(z)
，进行数据预处理，包括数据增强和标准化处理；S15：构建生成器，由下采样、8个残差块以及上采样组成，其中下采样由5个卷积层组成，每层的输出通道数分别为{64，128，128，256，256}，第一个卷积核为7
×
7，步长为1，后四个卷积核为3
×
3，步长分别为{2，1，2，1}；上采样由2个转置卷积和3个普通卷积组成，转置卷积的输出通道数分别为{128，64}，卷积核为3
×
3，步长为1/2，普通卷积的输出通道数分别为{128，64，3}，前两个卷积核为3
×
3，最后一个卷积核为7
×
7，步长均为1；S16：构建判别器，由一个3
×
3的卷积核、LReLU层以及三个卷积块组成；其中，前两个卷积块分别由两个3
×
3的卷积核、LReLU层、标准化组成，每层的输出通道数分别为{64，128，128，256}，步长分别为{2，1，2，1}；最后一个卷积块由一个步长为1的3
×
3的卷积核、标准化以及LReLU层组成，输出通道数为256；S17：将源域和目标域训练数据集中的图像作为所述生成器的输入，通过所述生成器网络分别得到其对应的夜间图像；S18：将所述得到的夜间图像作为所述判别器的输入，采用自适应学习率调整各层特征的对抗性学习方法，通过反向传播的方式，对判别器网络和生成器网络中的参数进行不断地更新优化。3.根据权利要求2所述...

【专利技术属性】
技术研发人员：李灿林，张文娇，毕丽华，王永彪，张卫正，刘岩，
申请(专利权)人：郑州轻工业大学，
类型：发明
国别省市：