基于视觉大模型SAM的桥梁表观裂缝像素级辨识方法技术

本发明专利技术提出了一种基于视觉大模型SAM的桥梁表观裂缝像素级辨识方法，包括：采集桥梁表观裂缝图像并进行像素级标注，使用随机采样法进行训练、验证和测试集的划分；对视觉大模型SAM进行修改，删除图像嵌入之后的部分，对剩余的部分添加裂缝特征低秩适应器，形成SAM‑Crack编码器；在SAM‑Crack编码器后增加裂缝像素级辨识解码模块，形成完整的SAM‑Crack模型；使用训练集对SAM‑Crack模型进行训练，训练损失函数为DICE损失和交叉熵损失的组合函数；使用训练好的SAM‑Crack模型对待辨识的桥梁表观裂缝图像进行处理，生成裂缝像素级辨识结果。本发明专利技术大幅度提升了有限标注数据下的裂缝辨识准确率。

【技术实现步骤摘要】

本专利技术涉及桥梁表观病害智能辨识领域，具体涉及一种基于视觉大模型sam的桥梁表观裂缝像素级辨识方法。

技术介绍

1、桥梁服役性能会随着服役时间的增长和复杂荷载耦合作用不可避免地产生退化，对桥梁安全运营和交通运输网络的保通保畅产生极大威胁。桥梁服役性能退化最直接的反映就是表观病害的萌生和发展，而桥梁表观裂缝又是表观病害最重要的类型之一，辨识桥梁表观裂缝具有重要意义。基于养护规范的表观裂缝辨识严重依赖养护工程师的实践经验，辨识结果存在易受主观性影响、效率低下的问题。为解决这一问题，研究者发展出了基于计算机视觉和深度学习的桥梁表观病害辨识方法，并完成了从“图像级别精度”到“局部图像级别精度”到“像素级精度”的跨越。

2、当前基于深度学习的桥梁表观病害像素级辨识方法的技术核心和本质还是目标分割算法，主要包括基于卷积神经网络架构的和基于transformer架构的，这些方法通常需要大量的有标注训练数据，造成标注成本高、模型泛化能力差的问题。segment anythingmodel(sam)的出现是目标分割领域的里程碑，其强大的泛化能力使得其所需标注数本文档来自技高网...

【技术保护点】

1.一种基于视觉大模型SAM的桥梁表观裂缝像素级辨识方法，其特征在于，步骤如下：

2.根据权利要求1所述的一种基于视觉大模型SAM的桥梁表观裂缝像素级辨识方法，其特征在于，步骤S4所述的裂缝像素级辨识解码模块的具体结构为：该模块首先是两个串联的反卷积层，反卷积层的输出尺寸是输入尺寸的2倍；反卷积层后边是一个多尺度卷积层，该层需要设置的超参数为多尺度的数量，根据图像的复杂度设置为4-8的整数；多尺度卷积层后边是一个1×1的卷积层，输出通道是1；最后是两个插值层，每个插值层的输出尺寸都是输入尺寸的2倍，插值方式使用最近邻或多项式。

3.根据权利要求1所述的一种基于视觉...

【技术特征摘要】

1.一种基于视觉大模型sam的桥梁表观裂缝像素级辨识方法，其特征在于，步骤如下：

2.根据权利要求1所述的一种基于视觉大模型sam的桥梁表观裂缝像素级辨识方法，其特征在于，步骤s4所述的裂缝像素级辨识解码模块的具体结构为：该模块首先是两个串联的反卷积层，反卷积层的输出尺寸是输入尺寸的2倍；反卷积层后边是一个多尺度卷积层，该层需要设置的超参数为多尺度的数量，根据图像的复杂度设置为4-8的整数；多尺度卷积层后边是一个1×1的卷积层，输出通道是1；最后是两个插值层，每个插值层的输出尺寸都是输入尺寸的2倍，插值方式使用最近邻或多项式。

3.根据权利要求1所述的一种基于视觉大模型sam的桥梁表观裂缝像素级辨识方法，其特征在于，步骤s5所述的裂缝辨识大模型sam-crack...

【专利技术属性】
技术研发人员：李顺龙，郭亚朋，徐阳，崔洪涛，党明昊，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：