基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统技术方案

本发明专利技术公开了基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统

【技术实现步骤摘要】
基于交叉注意引导特征对齐网络的道路裂缝检测方法和系统


[0001]本专利技术属于道路裂缝检测领域，更具体地，涉及一种用于道路裂缝的检测方法
。

技术介绍

[0002]道路在经济繁荣和扩张中发挥着至关重要的作用，它们具有显著的社会效益
。
道路网络促进交通和互联互通，它们为人们提供了方便的就业
、
社会
、
卫生和教育服务
。
因此，道路基础设施被认为是所有公共资产中最重要的部分之一
。
但是，由于位置
、
交通量
、
天气
、
施工材料等各种因素的影响，路面会随着时间的推移而逐渐磨损变质，造成交通事故
。
在许多国家，道路养护里程已占道路总里程的
99
％
。
因此，道路裂缝检测是道路基础设施领域的一项重要任务，涉及道路裂缝的定位和分类
。
它可以识别需要维护的道路，以减少潜在的安全隐患，对于有效
、
经济的道路养护和交通安全尤为重要
。
[0003]传统方法中，道路裂缝区域通常使用阈值法进行检测
。
这些算法可以通过设置不同的阈值来快速检测输入图像的结果
。
由于道路裂缝区域吸收的光线较多，因此通常在图像中呈现为较暗的区域
。
然而，当存在一定程度的噪声时，低于损伤像素强度的像素严重降低了整体检测性能
。
这些方法缺乏全局信息的描述，对噪声敏感，并且主要依赖于阈值的选择
。
其他研究人员使用人工设计的特征描述符来识别图像中的损伤
。
例如，
Gabor
滤波器和小波变换在检测简单裂缝方面取得了显著进展
。
然而，由于道路上存在复杂的拓扑结构
、
任意的形状和宽度以及油渍
、
杂草
、
污渍和其他强烈的干扰，这些方法的性能仍然有限
。
[0004]随着机器学习方法的进一步发展，它在道路裂缝检测领域得到了广泛应用
。
改进的主动轮廓模型和基于贪婪搜索的支持向量机
(SVM)
被用于桥梁损伤检测的研究
。
有研究者提出了一种基于
SVM
的方法，用于计算具有多尺度邻域信息的概率图
。
通过融合算法，从概率生成模型
(PGM)
和
SVM
方法获得的多个概率图被合并成一个融合图，可以比任何单独的概率图更精确地识别裂缝
。
也有研究者使用随机森林方法对多个经过空间调整的视觉特征进行分类
。
然而，这些检测方法只能检测已学习的裂缝，因此无法检测新的裂缝
。
为了解决上述问题，基于随机结构森林的
CrackForest
提出了自动裂缝检测方法，通过选择裂缝特征和学习内部结构来有效抑制噪声
。
然而，它未考虑复杂裂缝提取情况下的不同损伤类别
。
由于传统方法通过手动设置颜色或纹理特征来模拟裂缝，在特定情况下只能满足裂缝提取的需求
。
这些方法无法在多变环境中进行稳健的检测
。
因此，在复杂情况下，手动设计特征的效率低下，无法从不同的道路图像中提取裂缝
。
[0005]最近的理论发展表明，深度学习可以通过自动学习不同层次的特征来解决复杂问题
。
深度卷积神经网络
(DCNN)
具有丰富的分层特征和端到端可训练的框架，在像素级语义分割任务中取得了重大进展
。
最近，提出了几种基于目标检测
、
图像块分割和利用深度学习的裂缝检测方法
。
然而，由于这些粗略估计的方法无法在像素级别提取裂缝，因此无法准确地对裂缝进行分类和严重程度级别分配
。
有研究人员提出了使用
FCN
网络进行像素级裂缝提取的解决方案
。
然而，这种方法没有考虑到具有不同宽度和拓扑结构的裂缝需要不同的上下文信息大小
。
此外，在该方法中，忽略了裂缝特征对裂缝检测的不同贡献，将所有裂缝
特征都以相同的方式处理
。
部分研究人员在
SegNet
的编码器
‑
解码器架构上实现了
DeepCrack
网络，并在相同尺度上将编码器和解码器网络中生成的卷积特征两两合并，实现了像素级裂缝检测
。
然而，基于
SegNet
网络结构，编码
‑
解码阶段的学习特征相对简单，大部分空间信息在上采样过程中丢失，无法通过浅层恢复
。
也有研究人员在
DeepLabv3
框架中开发了一种用于隧道裂缝像素级精确分割的裂缝分割网络
。
尽管该方法充分利用了
Atrous
空间金字塔池化
(ASPP)
模块获取多尺度信息，但它未充分认识到上采样操作对于改善检测结果的重要性
。
深度学习方法的结果比传统方法更好
。
然而，对于可训练的
DCNN
模型在丰富的语义信息方面进行鲁棒像素级裂缝检测的研究仍然不足
。
以上基于
DCNN
的裂缝检测方法没有考虑裂缝分类和损伤严重程度
。
在这些检测方法中利用深度学习特征显著提高了道路裂缝检测的检测性能
。
然而，它们仍然面临一些重要的问题需要解决
。
首先，许多类型的道路裂缝，如裂缝
、
坑洞
、
路肩破损和路边设施，存在
。
每种损伤类型具有独特的特征和表现形式，使得学习有效的多尺度特征以实现高效的道路裂缝检测变得困难
。
其次，道路裂缝以不同的大小和形状出现，突出了利用具有不同分辨率的多个特征图来捕捉不同尺度特征的重要性
。
尽管有了进展，但现有方法在全面理解道路图像中不同区域的重要性并有效利用相关特征来提高道路裂缝检测任务的检测性能方面仍面临挑战
。

技术实现思路

[0006]针对现有技术的缺陷以及改进需求，本专利技术提供了一种基于交叉注意引导特征对齐网络的道路裂缝检测方法，可以精准地实现道路裂缝自动化检测
。
包括如下步骤：
[0007]步骤1，采用车载高清摄像头采集到的道路裂缝图像作为数据集，将实际道路裂缝图像划分为训练集和测试集；
[0008]步骤2，构建由编码器和解码器组成的裂缝自动化检测模型，所述编码器包括权重共享的协同网络模块
(encoder1
和
encoder2)
和跨层交互模块，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于交叉注意引导特征对齐网络的道路裂缝检测方法，其特征在于，包括以下步骤：步骤1，采集道路裂缝图像作为数据集，并划分为训练集和测试集；步骤2，构建由编码器和解码器组成的裂缝自动化检测模型，所述编码器包括权重共享的协同网络模块
encoder1
和
encoder2
，以及跨层交互模块，所述解码器包括多尺度特征融合以及特征对齐模块；所述权重共享的协同网络
encoder1
和
encoder2
分别都拥有
k
个阶段，每个阶段包括多尺度图像块嵌入层和多头卷积自注意力层，输入裂缝图像，分别获取
k
个阶段的不同尺度特征图；所述跨层交互模块首先对
encoder1
和
encoder2
中同一阶段的不同尺度特征图进行重塑和维度交换操作，然后对得到的张量进行归一化和全局平均池化的操作，最后利用自注意力机制提取更全面的裂缝特征语义信息；所述多尺度特征融合模块采用重建与上采样块的双重渐进式融合策略，将提取到的含有丰富多尺度语义信息的特征进行融合；所述特征对齐模块结合图像中的上下文信息，对多尺度特征融合模块的输出图像进行特征对齐操作，确保不同层级或分支特征之间的尺度和语义一致性；步骤3，利用步骤1中的训练集对步骤2中的裂缝自动化检测模型进行训练，利用训练好的模型实现道路裂缝检测
。2.
根据权利要求1所述的方法，其特征在于，步骤1包括：
11)
采用车载高清摄像头采集到的道路裂缝图像作为数据集，根据数据集中的裂缝图像来制作二值化标签图像，其中，标签图像中的每个像素代表一种类别，为裂缝或背景；
12)
将道路裂缝图像以及其对应的二值化标签图像组成道路裂缝自动化检测图像数据集，在该数据集中按照一定的比例划分训练集和测试集
。3.
根据权利要求1所述的方法，其特征在于：步骤2中权重共享的协同网络的处理过程具体实现包含以下子步骤；
211)
给定输入的原始图像
F1
，首先采用由两个卷积层组成的主干块，调整图像的大小和通道数，得到第一阶段中的多尺度图像块嵌入层的输入特征；
212)
将输入特征分别同时进入
encoder1
和
encoder2
中进行特征提取操作，每个阶段中包含多尺度图像块嵌入层和多头卷积自注意力层，来提取裂缝信息；
213)
多尺度图像块嵌入层在同一特征级别上利用细粒度和粗粒度的视觉标记，使用带有重叠补丁的卷积操作；具体而言，对于来自前一阶段的
2D
重塑输出特征图作为第
i
阶段的输入，首先学习一个函数
F
k
×
k
(
·
)
，将
X
i
映射为具有通道大小
C
i
的新标记
F
k
×
k
(X
i
)
，其中
F(
·
)
是核大小即补丁大小为
k
×
k
，步幅为
s
，填充为
p
的
2D
卷积操作；输出的
2D
标记图具有以下高度和宽度：具有以下高度和宽度：通过多尺度图像块嵌入层通过更改步幅和填充来调整标记的序列长度的方式，输出具有不同标记大小的相同分辨率大小的特征；
214)
将多尺度图像块嵌入层得到的不同尺度的标记特征图分别输入到多头卷积自注意力层的每个自注意力层中，得到不同尺度的全局特征图；多尺度图像块嵌入层输出的特
征中的最后一个尺度的特征输入到了卷积局部特征块得到局部特征图；最后，利用多尺度特征交互块，将局部特征和全局特征聚合起来，并通过一个卷积操作得到第一阶段的输出特征图；
215)
每一阶段都按步骤
213)
‑
215)
进行处理，
encoder1
和
encoder2
分别输出多个不同尺度的特征图
。4.
根据权利要求3所述的方法，其特征在于：主干块中的第一个卷积层的通道数为
C1/2
，第二个卷积层的通道数为
C1
，两个卷积操作生成特征图的大小为
H/4
×
W/4
×
C1
，其中
C1
为第一阶段的通道大小，每个卷积之后是
Batch Normalization
和
Hardswish
激活函数
。5.
根据权利要求3所述的方法，其特征在于：多头卷积自注意力层的处理过程为：输入首先经过
Layer Norm
进行归一化，然后通过
Factorized MHSA
进行自注意力计算，接着通过残差连接将原始输入与注意力输出相加，再进行
Layer Norm
归一化，之后，通过
FFN
进行非线性变换，再次通过残差连接，最后再进行
Layer Norm
归一化；卷积局部特征块采用由1×1卷积
、3
×3深度卷积和1×1卷积组成的残差瓶颈块实现
。6.
根据权利要求1所述的方法，其特征在于：步骤2中的跨层交互模块的具体实现包含以下子步骤；
221)
将特征形状分别为
[B,C,H,W]、[B,2C,H,W]
的输入特征矩阵分别进行形状调整操作，将它们从
4D
张量变成
3D
张量，并交换它们各自的第二和第三个维度，分别得到张量
e
，
r
；
[B,C,H,W]
代表的是
encoder1
中每一个阶段得到的特征图的统称，
[B,2C,H,W]
代表的是
encoder2
中每一个阶段得到的特征图的统称，
encoder1
和
encoder
相同阶段的特征图之间通道数之间是2倍的关系；
222)
对张量
e
和
r
同时进行归一化和全局平均池化的操作，得到长度均为1的特征向量，记为
e_t、r_t
；
223)
将
e_t
和

【专利技术属性】
技术研发人员：徐川，张琪，常秀丰，梅礼晔，孙少华，杨威，王颖，阳威，叶昭毅，张依铭，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：