【技术实现步骤摘要】
本申请属于计算机应用，特别是涉及一种轻量化裂缝分割方法、装置、终端设备及计算机可读存储介质。
技术介绍
1、裂缝是工程结构中常见的损伤，会导致工程结构的承载能力及耐久性等降低，因此，对裂缝的识别是结构健康检测领域重要的项目之一。
2、相关技术中，可以通过传统模型（例如卷积神经网络等）对裂缝图像进行裂缝分割，但是由于用于训练传统模型的数据集规模较小，从而导致了裂缝分割的泛化性、鲁棒性及效率低的问题。大模型与传统模型相比，训练数据集规模庞大，从而泛化性更佳，但是需要足够的算力支持，由于自动化检测设备的计算资源有限，因此导致了无法将大模型部署于自动化检测设备的问题。
技术实现思路
1、本申请的目的在于提供一种轻量化裂缝分割方法、装置、终端设备及计算机可读存储介质，能够解决相关技术中，通过传统模型或大模型进行裂缝分割，由于传统模型的训练数据规模小、大模型要求的算力高，导致的裂缝分割泛化性、鲁棒性及效率低并且大模型无法部署于自动化检测设备的问题。
2、第一方面，本申请实施例提供了一种轻量化裂缝分割方法，包括：获取多张裂缝图像，根据裂缝图像，生成裂缝数据集；基于参数高效微调思想，根据adapter微调技术及裂缝数据集，对语义分割大模型进行训练并测试调整，生成裂缝分割模型；将裂缝分割模型作为教师模型，通过知识蒸馏指导预设学生模型进行训练，生成轻量级裂缝分割模型；将轻量级裂缝分割模型部署至自动化检测设备；通过自动化检测设备获取目标裂缝图像，调用轻量级裂缝分割模型，生成裂缝分
3、在第一方面的一种可能的实现方式中，上述语义分割大模型包括图像编码器、提示编码器及掩码解码器，上述基于参数高效微调思想，根据adapter微调技术及裂缝数据集，对语义分割大模型进行训练并测试调整，生成裂缝分割模型，包括：
4、在图像编码器中插入多个adapter层，其中，adapter层包括下采样线性层、激活函数层及上采样线性层；
5、基于参数高效微调思想，根据裂缝数据集，对adapter层及提示编码器、掩码解码器的权重进行训练；
6、根据裂缝数据集，对训练后的语义分割大模型进行测试，并调整语义分割大模型的超参数，生成裂缝分割模型。
7、可选的，在第一方面的另一种可能的实现方式中，上述图像编码器包括vit块，上述vit块包括自注意力层及多层感知机，上述在图像编码器中插入多个adapter层，包括：
8、在自注意力层后串联的插入adapter层；
9、在多层感知机处并联的插入adapter层。
10、可选的，在第一方面的再一种可能的实现方式中，上述将裂缝分割模型作为教师模型，通过知识蒸馏指导预设学生模型进行训练，生成轻量级裂缝分割模型，包括：
11、将裂缝分割模型作为教师模型，根据裂缝分割模型最终输出层的响应及中间层特征，指导预设学生模型进行训练，生成轻量级裂缝分割模型。
12、可选的，在第一方面的又一种可能的实现方式中，上述根据裂缝分割模型最终输出层的响应及中间层特征，指导预设学生模型进行训练，包括：
13、根据裂缝分割模型及预设学生模型最终输出层的响应，确定基于响应的损失；
14、根据裂缝分割模型及预设学生模型中间层的特征图，确定基于特征的损失；
15、确定预设学生模型的硬损失，其中，硬损失包括交叉熵及骰子损失；
16、根据基于响应的损失、基于特征的损失及硬损失，对预设学生模型进行训练。
17、可选的，在第一方面的另一种可能的实现方式中，上述知识蒸馏为在线蒸馏，上述将裂缝分割模型作为教师模型，通过知识蒸馏指导预设学生模型进行训练，包括：
18、将裂缝分割模型作为教师模型，指导预设学生模型进行蒸馏训练，并对裂缝分割模型进行同步更新。
19、可选的，在第一方面的再一种可能的实现方式中，上述获取多张裂缝图像，根据裂缝图像，生成裂缝数据集，包括：
20、获取多张裂缝图像，对各个裂缝图像的格式及尺寸进行处理，生成格式及尺寸相同的多张裂缝图像；
21、对各个裂缝图像进行标注及数据增强，生成裂缝数据集。
22、第二方面，本申请还提供了一种轻量化裂缝分割装置，包括：第一获取模块，用于获取多张裂缝图像，根据裂缝图像，生成裂缝数据集；第一生成模块，用于基于参数高效微调思想，根据adapter微调技术及裂缝数据集，对语义分割大模型进行训练并测试调整，生成裂缝分割模型；第二生成模块，用于将裂缝分割模型作为教师模型，通过知识蒸馏指导预设学生模型进行训练，生成轻量级裂缝分割模型；部署模块，用于将轻量级裂缝分割模型部署至自动化检测设备；第三生成模块，用于通过自动化检测设备获取目标裂缝图像，调用轻量级裂缝分割模型，生成裂缝分割结果。
23、在第二方面的一种可能的实现方式中，上述语义分割大模型包括图像编码器、提示编码器及掩码解码器；相应的，上述第一生成模块，包括：
24、第一插入单元，用于在图像编码器中插入多个adapter层，其中，adapter层包括下采样线性层、激活函数层及上采样线性层；
25、第一训练单元，用于基于参数高效微调思想，根据裂缝数据集，对adapter层及提示编码器、掩码解码器的权重进行训练；
26、第一生成单元，用于根据裂缝数据集，对训练后的语义分割大模型进行测试，并调整语义分割大模型的超参数，生成裂缝分割模型。
27、可选的，在第二方面的另一种可能的实现方式中，上述图像编码器包括vit块，上述vit块包括自注意力层及多层感知机，上述第一插入单元，具体用于：
28、在自注意力层后串联的插入adapter层；
29、在多层感知机处并联的插入adapter层。
30、可选的，在第二方面的再一种可能的实现方式中，上述第二生成模块，包括：
31、第二生成单元，用于将裂缝分割模型作为教师模型，根据裂缝分割模型最终输出层的响应及中间层特征，指导预设学生模型进行训练，生成轻量级裂缝分割模型。
32、可选的，在第二方面的又一种可能的实现方式中，上述第二生成单元，具体用于：
33、根据裂缝分割模型及预设学生模型最终输出层的响应，确定基于响应的损失；
34、根据裂缝分割模型及预设学生模型中间层的特征图，确定基于特征的损失；
35、确定预设学生模型的硬损失，其中，硬损失包括交叉熵及骰子损失；
36、根据基于响应的损失、基于特征的损失及硬损失，对预设学生模型进行训练。
37、可选的，在第二方面的另一种可能的实现方式中，上述知识蒸馏为在线蒸馏；相应的，上述第二生成模块，还包括：
38、更新单元，用于将裂缝分割模型作为教师模型，指导预设学生模型进行蒸馏训练，并对教师模型进行同步更新。
39、可选的，在第一方面的再一种可能的本文档来自技高网...
【技术保护点】
1.一种轻量化裂缝分割方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述语义分割大模型包括图像编码器、提示编码器及掩码解码器，所述基于参数高效微调思想，根据adapter微调技术及所述裂缝数据集，对语义分割大模型进行训练并测试调整，生成裂缝分割模型，包括：
3.如权利要求2所述的方法，其特征在于，所述图像编码器包括ViT块，所述ViT块包括自注意力层及多层感知机，所述在所述图像编码器中插入多个adapter层，包括：
4.如权利要求1所述的方法，其特征在于，所述将所述裂缝分割模型作为教师模型，通过知识蒸馏指导预设学生模型进行训练，生成轻量级裂缝分割模型，包括：
5.如权利要求4所述的方法，其特征在于，所述根据所述裂缝分割模型最终输出层的响应及中间层特征，指导预设学生模型进行训练，包括：
6.如权利要求1所述的方法，其特征在于，所述知识蒸馏为在线蒸馏，所述将所述裂缝分割模型作为教师模型，通过知识蒸馏指导预设学生模型进行训练，包括：
7.如权利要求1-6任一所述的方法，其特征在于，所述获取多张
8.一种轻量化裂缝分割装置，其特征在于，包括：
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使得所述终端设备实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被电子设备执行时实现如权利要求1至7中任一项所述的方法。
...【技术特征摘要】
1.一种轻量化裂缝分割方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述语义分割大模型包括图像编码器、提示编码器及掩码解码器，所述基于参数高效微调思想，根据adapter微调技术及所述裂缝数据集，对语义分割大模型进行训练并测试调整，生成裂缝分割模型，包括：
3.如权利要求2所述的方法，其特征在于，所述图像编码器包括vit块，所述vit块包括自注意力层及多层感知机，所述在所述图像编码器中插入多个adapter层，包括：
4.如权利要求1所述的方法，其特征在于，所述将所述裂缝分割模型作为教师模型，通过知识蒸馏指导预设学生模型进行训练，生成轻量级裂缝分割模型，包括：
5.如权利要求4所述的方法，其特征在于，所述根据所述裂缝分割模型最终输出层的响应及中间层特征，指导预设学...
【专利技术属性】
技术研发人员：葛康，郭宇韬，赵晓龙，唐彦嵩，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。