一种基于多模态特征融合的雾天道路裂纹分割方法和系统技术方案

本发明专利技术公开了一种基于多模态特征融合的雾天道路裂纹分割方法和系统，涉及深度学习技术领域。本发明专利技术包括：数据采集模块用于采集目标道路上的裂纹图片；数据传输模块用于将数据采集模块采集的照片实时发送到控制台；数据处理模块用于实时读取和预处理图像；智能分割模块用于对采集到的裂纹图片进行语义分割。本发明专利技术通过使用暗通道先验算法获得无雾图像、透射图像和暗通道图像三种模态的图像，然后构建以三模态图像为输入的深度卷积神经网络模型，再将测试集输入训练完成的深度卷积神经网络模型得到预测的道路裂纹分割结果，提高雾天道路裂纹的分割精度且适用于包含不同裂纹情况的道路。道路。

【技术实现步骤摘要】
一种基于多模态特征融合的雾天道路裂纹分割方法和系统


[0001]本专利技术属于深度学习
，特别是涉及一种基于多模态特征融合的雾天道路裂纹分割方法和系统。

技术介绍

[0002]因长期受到交通荷载、腐蚀和高温等多种恶劣因素的共同作用，公共基础设施表面易出现各种缺陷(例如：裂纹、坑槽和翻浆)。对于设施表面裂纹的定期检测可为设施维护提供重要的决策依据，有助于延长设施使用寿命。随着恶劣天气(如雾霾)的频繁发生，采集到的图像会出现细节信息丢失、颜色失真、图像分辨率降低等问题。网络模型在清晰图像场景下的识别方法略显得缺乏实用性。目前，大多数相关研究都是在图像信息清晰明显的条件下进行的。当雾中采集的图像目标特征不清晰、分辨率存在问题时，直接使用神经网络进行裂纹分割，分割性能会降低。因此需要一个自动化的雾天裂纹检测技术，从而能够准确的分割道路裂纹，发现道路缺陷并进行维护，避免出现各种安全隐患。

技术实现思路

[0003]本专利技术的目的在于提供一种基于多模态特征融合的雾天道路裂纹分割方法和系统，通过实现自动识别裂纹，有效提高分割精度且适用于包含不同裂纹情况的道路，解决了雾天道路裂纹分割精度低和裂纹边缘分割不准确的问题。
[0004]为解决上述技术问题，本专利技术是通过以下技术方案实现的：
[0005]本专利技术为一种基于多模态特征融合的雾天道路裂纹分割方法，包括如下步骤：
[0006]步骤S1：采取人工加雾法对公开数据集进行加雾，将含雾图像及其对应的标签图像均按照7:3比例划分为训练集和测试集；
[0007]步骤S2：使用暗通道先验算法对有雾的道路裂纹图像进行去雾处理，得到无雾图像、透射图像和暗通道图像；将原始图像、有雾图像、无雾图像、透射图像、暗通道图像和标签图像放入单独文件夹；
[0008]步骤S3：构建包括多模态特征融合(MFF)模块、基于注意力机制的侧边融合模块和基于Canny算子的边缘提取模块的深度卷积神经网络模型，使用训练集训练包括MFF模块、基于注意力机制的侧边融合模块和基于Canny算子的边缘提取模块的深度卷积神经网络模型得到训练完成的网络模型；
[0009]步骤S4：将训练集中的图片输入卷积神经网络，得到第一输出结果，基于输出结果对深度卷积神经网络的参数进行迭代调整，以得到目标卷积神经网络模型；
[0010]步骤S5：将测试集输入训练完成的目标卷积神经网络模型得到预测的道路裂纹分割结果。
[0011]作为一种优选的技术方案，所述步骤S1中，含雾图像和标签图像创建的数据集包括：将含雾图像和标签图像进行相同的尺度变换、裁剪、拼接，对数据进行扩充得到雾天环境下的道路图像数据集。
[0012]作为一种优选的技术方案，所述步骤S3中，深度卷积神经网络为U形多模态特征融合网络，具体包括：
[0013]步骤S31：使用U
‑
Net模型作为基本的网络单元，将以单模态输入的U
‑
Net改进为以三模态输入的模型，输入的图片的尺寸为3
×
256
×
256；
[0014]步骤S32：上路进行下采样，下路进行上采样；
[0015]步骤S33：在下采样过程中，经过五个MFF模块进行提取和融合多模态图像中的多尺度特征；
[0016]步骤S34：下半路进行上采样处理，每级与上路包含相同尺度的特征图进行跳跃连接，然后将下半路各级输出传入基于注意力机制的侧边融合模块以融合各级输出；
[0017]步骤S35：使用基于Canny算子的边缘提取模块对输入的三模态图像中的裂纹进行边缘提取；
[0018]步骤S36：将上采样、侧边融合模块和边缘提取模块的输出特征进行通道融合，再经过一个卷积层使得输出特征图与输入特征图的尺寸大小相同。
[0019]作为一种优选的技术方案，所述步骤S3中，使用训练集训练深度卷积神经网络模型前，使用基于暗通道先验原理方法去雾得到的无雾图像、透射图像和暗通道图像作为网络模型的输入。
[0020]作为一种优选的技术方案，所述步骤S3中，使用训练集训练深度卷积神经网络模型时，优化训练效果使用的方法包括：
[0021]使用RAdam优化器一次随机优化一条训练数据上的损失函数，在网络的中间层使用批量标准化和ReLU激活层对每个卷积核的输入做归一化和激活，建立损失函数时使用联合训练的方法。
[0022]作为一种优选的技术方案，所述步骤S3中，使用训练集训练深度卷积神经网络模型时，基于输出结果和标签图像对卷积神经网络的参数进行迭代调整，以得到目标卷积神经网络，具体包括：
[0023]所述损失函数一部分使用交叉熵(BCE)和Dice损失构造预测图像与标签图像中之间的损失函数；所述损失函数另一部分使用Dice损失构造预测图像与标签图像中边缘信息之间的损失函数；
[0024]所述损失函数公式如下：
[0025]L＝λL
BCE
+(1
‑
λ)L
Dice1
+L
Dice2
；
[0026]式中，λ的固定设置为0.5，每个损失函数分别为：
[0027][0028][0029][0030]式中，p
i
为第i个像素的预测概率，y
i
为对应的标签图像中标注裂纹的真实值,为对应的标签图像中标注裂纹边缘的真实值，N表示输入像素的总数，θ为模型参数。
[0031]作为一种优选的技术方案，所述步骤S3中，MFF模块包括空洞Inception模块、通道注意模块和残差连接，MFF模块对输入的多模态图像进行多尺度特征的提取和融合；所述侧边融合模块使用并行策略和注意力机制对解码器的每级输出特征进行融合和强化；所述边缘提取模块使用Canny边缘检测方法提取多模态输入图像中裂纹的边缘特征。
[0032]作为一种优选的技术方案，所述深度卷积神经网络的基本框架为U
‑
Net，所述深度卷积神经网络为U形多模态特征融合网络(UMFFNet)。
[0033]作为一种优选的技术方案，所述步骤S5中，将测试集输入训练完成的目标卷积神经网络模型得到预测的道路裂纹分割结果，具体流程如下：
[0034]步骤S51：将测试集输入到训练完成的神经网络模型中；测试集中图像在编码器中经过MFF模块和下采样；其中，MFF模块根据测试集中裂纹图像提取多种不同尺度的多模态特征图并进行融合，下采样通过池化操作压缩图像的大小；
[0035]步骤S52：下采样的输出特征传入解码器，解码器中使用侧边融合模块将每级预测的输出特征进行上采样至预处理后图像的大小，再根据并行策略和注意力机制对上采样后每级输出特征进行特征融合和强化；
[0036]步骤S53：边缘提取模块使用Canny边缘检测方法对三种模态的图像中的裂纹进行边缘提取，将提取到的边缘特征与U形网络解码器中已进行侧边融合后的输出特征进行通道融合；
[0037]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态特征融合的雾天道路裂纹分割方法，其特征在于，包括如下步骤：步骤S1：采取人工加雾法对公开数据集进行加雾，将含雾图像及其对应的标签图像均按照7:3比例划分为训练集和测试集；步骤S2：使用暗通道先验算法对有雾的道路裂纹图像进行去雾处理，得到无雾图像、透射图像和暗通道图像；将原始图像、有雾图像、无雾图像、透射图像、暗通道图像和标签图像放入单独文件夹；步骤S3：构建包括多模态特征融合(MFF)模块、基于注意力机制的侧边融合模块和基于Canny算子的边缘提取模块的深度卷积神经网络模型，使用训练集训练包括MFF模块、基于注意力机制的侧边融合模块和基于Canny算子的边缘提取模块的深度卷积神经网络模型得到训练完成的网络模型；步骤S4：将训练集中的图片输入卷积神经网络，得到第一输出结果，基于输出结果对深度卷积神经网络的参数进行迭代调整，以得到目标卷积神经网络模型；步骤S5：将测试集输入训练完成的目标卷积神经网络模型得到预测的道路裂纹分割结果。2.根据权利要求1所述的一种基于多模态特征融合的雾天道路裂纹分割方法，其特征在于，所述步骤S1中，含雾图像和标签图像创建的数据集包括：将含雾图像和标签图像进行相同的尺度变换、裁剪、拼接，对数据进行扩充得到雾天环境下的道路图像数据集。3.根据权利要求1所述的一种基于多模态特征融合的雾天道路裂纹分割方法，其特征在于，所述步骤S3中，深度卷积神经网络为U形多模态特征融合网络，具体包括：步骤S31：使用U
‑
Net模型作为基本的网络单元，将以单模态输入的U
‑
Net改进为以三模态输入的模型，输入的图片的尺寸为3
×
256
×
256；步骤S32：上路进行下采样，下路进行上采样；步骤S33：在下采样过程中，经过五个MFF模块进行提取和融合多模态图像中的多尺度特征；步骤S34：下半路进行上采样处理，每级与上路包含相同尺度的特征图进行跳跃连接，然后将下半路各级输出传入基于注意力机制的侧边融合模块以融合各级输出；步骤S35：使用基于Canny算子的边缘提取模块对输入的三模态图像中的裂纹进行边缘提取；步骤S36：将上采样、侧边融合模块和边缘提取模块的输出特征进行通道融合，再经过一个卷积层使得输出特征图与输入特征图的尺寸大小相同。4.根据权利要求1所述的一种基于多模态特征融合的雾天道路裂纹分割方法，其特征在于，所述步骤S3中，使用训练集训练深度卷积神经网络模型前，使用基于暗通道先验原理方法去雾得到的无雾图像、透射图像和暗通道图像作为网络模型的输入。5.根据权利要求1所述的一种基于多模态特征融合的雾天道路裂纹分割方法，其特征在于，所述步骤S3中，使用训练集训练深度卷积神经网络模型时，优化训练效果使用的方法包括：使用RAdam优化器一次随机优化一条训练数据上的损失函数，在网络的中间层使用批量标准化和ReLU激活层对每个卷积核的输入做归一化和激活，建立损失函数时使用联合训练的方法。
6.根据权利要求5所述的一种基于多模态特征融合的雾天道路裂纹分割方法，其特征在于，所述步骤S3中，使用训练集训练深度卷积神经网络模型时，基于输出结果和标签图像对...

【专利技术属性】
技术研发人员：闻军，王强，高静，周岳钰，桂艺婷，黄晓晓，朱柱，
申请(专利权)人：安庆师范大学，
类型：发明
国别省市：