【技术实现步骤摘要】
本专利技术涉及计算机视觉领域，尤其是涉及一种基于多特征融合的夜间道路图像语义分割方法及系统。
技术介绍
1、语义分割是计算机视觉领域的一项重要任务，其目的是将图像分割成不同的语义区域，例如将图像中的前景物体与背景区分开，或将图像中的不同类别的物体分割成不同的区域。白天场景下的语义分割技术已经十分出色，但夜间光照情况不好的场景却少有人踏足研究，夜间环境的复杂性和不确定性为夜间语义分割任务增加了难度。
2、神经网络卷积技术、注意力机制、对抗网络等都带动着夜间语义分割任务的发展。起初基于神经网络卷积技术的分割网络颇多，通过训练大量的图像数据，模型可以自动学习到图像中的特征和规律，从而实现对图像的准确分割，但卷积网络层数的增加会带来梯度消失和梯度爆炸的问题，这会导致模型难以训练，并且可能会影响模型的性能。随后，注意力机制为图像分割带来了新的发展。注意力机制是一种能够自动关注图像中重要区域的技术，比起卷积，注意力机制使模型获取像素之间的依赖关系时不再局限于卷积核的大小，直接计算整个图像块与块之间的联系，但注意力机制需要计算输入序列中每个位置的注意力权重，这使得计算复杂度较高，特别是在处理长序列时，计算量会更大。除此以外，对抗网络中有着对抗关系的生成器和判别器推动模型不断优化自我优化，从而提高了语义分割的准确性；迁移学习则是充分将白天的分割方法运用到了夜间场景中，迁移学习将在白天场景学到的知识应用到夜间，从而帮助模型利用已有的图像分割知识，更好地适应夜间环境。但这些模型都忽略了夜间不同场景曝光程度的特殊性，白天和夜间的图像在光照
技术实现思路
1、本专利技术的目的就是为了提供一种提高图像分割准确性的基于多特征融合的夜间道路图像语义分割方法及系统。
2、本专利技术的目的可以通过以下技术方案来实现：
3、一种基于多特征融合的夜间道路图像语义分割方法，包括以下步骤：
4、获取夜间道路图像，并进行预处理获得图像的曝光辅助层；
5、将所述夜间道路图像和曝光辅助层输入至预先构建好的语义分割模型中，获得夜间道路语义分割结果，其中获得夜间道路语义分割结果的具体步骤包括：
6、所述夜间道路图像和曝光辅助层在所述语义分割模型的两个分支中的多个串联编码器上进行并行的逐层编码，逐层生成多尺度特征，并将生成的多尺度特征逐层进行多特征信息融合，获得融合特征图；
7、对所述融合特征图进行解码，获得最终的夜间道路语义分割结果。
8、进一步地，所述预处理的具体步骤包括：
9、将所述夜间道路图像进行数据增强处理；
10、基于经过数据增强处理后的夜间道路图像，提取图像的高频信息，得到图像的曝光辅助层。
11、进一步地，所述数据增强处理操作包括旋转、裁剪和缩放。
12、进一步地，所述语义分割模型的主干网络为resnet-152。
13、进一步地，所述多特征信息融合为将多尺度特征中曝光特征和分割特征进行信息融合，以根据曝光特征指导并增强所述分割特征，获得融合特征图。
14、进一步地，所述两个分支中的多个串联编码器的层数为5层。
15、进一步地，对所述融合特征图进行解码时，采用逐层解码的方式进行解码。
16、进一步地，训练所述语义分割模型的损失函数为：
17、l1＝lce(o5,g1)
18、l2＝lce(o4,g2)
19、l3＝lce(o3,g3)
20、l4＝lce(o2,g4)
21、l5＝lce(o1,g5)
22、
23、式中，lce表示交叉损失函数，ok表示5次解码的输出，gk表示真实分割图下采样的结果，k＝{1,2,3,4,5}，ln分别为5层的损失，lmsa表示多尺度对齐损失的总和，λn表示不同尺度的权重。
24、进一步地，采用平均准确率和平均交并比作为所述语义分割模型的评价指标，所述评价指标为：
25、
26、
27、式中，macc为平均准确率，n表示总的类别数，pij表示i类被预测为j类的像素个数，miou为平均交并比，pii是正确分类的个数，pij和pji是错误分类的个数。
28、本专利技术还提供一种基于多特征融合的夜间道路图像语义分割系统，包括：
29、图像获取模块：用于获取夜间道路图像，并进行预处理获得图像的曝光辅助层；
30、语义分割模块：用于将所述夜间道路图像和曝光辅助层输入至预先构建好的语义分割模型中，获得夜间道路语义分割结果，其中获得夜间道路语义分割结果的具体步骤包括：
31、所述夜间道路图像和曝光辅助层在所述语义分割模型的两个分支中的多个串联编码器上进行并行的逐层编码，逐层生成多尺度特征，并将生成的多尺度特征逐层进行多特征信息融合，获得融合特征图；
32、对所述融合特征图进行解码，获得最终的夜间道路语义分割结果。
33、与现有技术相比，本专利技术具有以下有益效果：
34、(1)本专利技术采用双分支结构，分别对夜间道路图像和曝光辅助层进行逐层编码，并将各自的编码特征进行融合，利用了曝光特征指导语义分割，使得语义分割任务达到最佳性能，提高了语义分割结果的准确性。
35、(2)本专利技术的语义分割模型采用resnet-152为主干网络架构，根据不同层的特征设计损失函数，从而针对性地进行学习，模型收敛更快、泛化能力更强，适用于不同程度弱光情况下的图像修复问题。
本文档来自技高网...【技术保护点】
1.一种基于多特征融合的夜间道路图像语义分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多特征融合的夜间道路图像语义分割方法，其特征在于，所述预处理的具体步骤包括：
3.根据权利要求2所述的一种基于多特征融合的夜间道路图像语义分割方法，其特征在于，所述数据增强处理操作包括旋转、裁剪和缩放。
4.根据权利要求1所述的一种基于多特征融合的夜间道路图像语义分割方法，其特征在于，所述语义分割模型的主干网络为ResNet-152。
5.根据权利要求1所述的一种基于多特征融合的夜间道路图像语义分割方法，其特征在于，所述多特征信息融合为将多尺度特征中曝光特征和分割特征进行信息融合，以根据曝光特征指导并增强所述分割特征，获得融合特征图。
6.根据权利要求1所述的一种基于多特征融合的夜间道路图像语义分割方法，其特征在于，所述两个分支中的多个串联编码器的层数为5层。
7.根据权利要求1所述的一种基于多特征融合的夜间道路图像语义分割方法，其特征在于，对所述融合特征图进行解码时，采用逐层解码的方式进行解码。p>
8.根据权利要求1所述的一种基于多特征融合的夜间道路图像语义分割方法，其特征在于，训练所述语义分割模型的损失函数为：
9.根据权利要求1所述的一种基于多特征融合的夜间道路图像语义分割方法，其特征在于，采用平均准确率和平均交并比作为所述语义分割模型的评价指标，所述评价指标为：
10.一种基于多特征融合的夜间道路图像语义分割系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于多特征融合的夜间道路图像语义分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多特征融合的夜间道路图像语义分割方法，其特征在于，所述预处理的具体步骤包括：
3.根据权利要求2所述的一种基于多特征融合的夜间道路图像语义分割方法，其特征在于，所述数据增强处理操作包括旋转、裁剪和缩放。
4.根据权利要求1所述的一种基于多特征融合的夜间道路图像语义分割方法，其特征在于，所述语义分割模型的主干网络为resnet-152。
5.根据权利要求1所述的一种基于多特征融合的夜间道路图像语义分割方法，其特征在于，所述多特征信息融合为将多尺度特征中曝光特征和分割特征进行信息融合，以根据曝光特征指导并增强所述分割特征，获得融...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。