基于Transformer和CNN双骨干的桥梁结构表面裂缝检测方法技术

本发明专利技术公开了一种基于Transformer和CNN双骨干的桥梁结构表面裂缝检测方法，该方法结合卷积神经网络CNN和Transformer的双骨干结构，用于同时捕获裂缝图像的局部特征和全局特征；以及设计了一个特征融合模块，该模块能够将CNN和Transformer捕获的特征进行融合，以获取更丰富的语义特征；以及在CNN分支中采用动态蛇形卷积，并设计了特征增强模块；以及利用聚焦的线性注意力优化了Transformer结构，将原本的平方级复杂度优化为线性复杂度。该方法有效地提高了模型抵抗图像噪声干扰的性能，并且降低了Transformer处理过程中因损失局部细节而造成的细粒度裂缝检测精度下降。

【技术实现步骤摘要】

本专利技术涉及深度学习相关的，具体涉及transformer结构、卷积神经网络( convolutional neural networks, cnn)和图像分割方法。

技术介绍

1、桥梁设施常常会因为长期使用、过度使用导致其物理结构或性能状态发生改变，对其功能和使用安全造成一定的损害，桥梁损伤成为一个不可忽视的问题。为确保桥梁的安全性，必须定期对其进行适当的检查并对其健康状态进行相应的评估。裂缝是桥梁的主要损伤之一，也是结构健康监测的重要监测对象之一，裂缝检测能够在裂缝出现初期及时对其进行修复和维护，避免裂缝发展成为更严重的损伤，造成重大的安全事故。

2、早期的裂缝检测方法采用人工检测、光学检测、超声检测、声学检测、基于振动的损伤检测等，这些检测方法都存在操作复杂、成本高、效率低等问题，难以满足大规模实际应用的需求。随着计算机视觉技术的发展，自动裂缝检测技术开始受到重视。

3、到目前为止，已经有大量的研究者对基于计算机视觉的自动裂缝检测技术进行了研究。现有的自动化混凝土裂缝检测方法本文档来自技高网...

【技术保护点】

1.一种基于Transformer和CNN双骨干的桥梁结构表面裂缝检测方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的基于Transformer和CNN双骨干的桥梁结构表面裂缝检测方法，其特征在于，步骤2包括步骤2.1，在步骤2.1中，利用动态蛇形卷积提取裂缝的局部特征，其中每个卷积核都被拉长，即将形状为k×k的卷积核转换成k×1或1×k；并且每个网格Ki相对于中心坐标的位置都取决于前一个网格Ki-1的位置，Ki相对于Ki-1的偏移量在-1和1之间，从而将卷积核调整为能够适应裂缝特点的线型形状。

3.根据权利要求1或2所述的基于Transforme...

【技术特征摘要】

1.一种基于transformer和cnn双骨干的桥梁结构表面裂缝检测方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的基于transformer和cnn双骨干的桥梁结构表面裂缝检测方法，其特征在于，步骤2包括步骤2.1，在步骤2.1中，利用动态蛇形卷积提取裂缝的局部特征，其中每个卷积核都被拉长，即将形状为k×k的卷积核转换成k×1或1×k；并且每个网格ki相对于中心坐标的位置都取决于前一个网格ki-1的位置，ki相对于ki-1的偏移量在-1和1之间，从而将卷积核调整为能够适应裂缝特点的线型形状。

3.根据权利要求1或2所述的基于transformer和cnn双骨干的桥梁结构表面裂缝检测方法，其特征在于，步骤2包括步骤2.2：在步骤2.2中将步骤2.1获取的特征图像输入局部特征增强模块；所述局部特征增强模块由两个完全相同的卷积块构成，每个卷积块包含一个3×3的卷积和一个1×1的卷积；以及对于单个卷积块来说，首先使用两个卷积单元分别从不同的感受...

【专利技术属性】
技术研发人员：李华，胡翔坤，钱松荣，冯毅雄，李键，杨静，李少波，
申请(专利权)人：贵州大学，
类型：发明
国别省市：