一种基于多维注意力模块的轻量化混凝土裂缝检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于多维注意力模块的轻量化混凝土裂缝检测方法及装置，包括如下步骤：创建混凝土裂缝图像的训练集和测试集；基于深度学习创建包含轻量化

【技术实现步骤摘要】
一种基于多维注意力模块的轻量化混凝土裂缝检测方法及装置


[0001]本专利技术涉及图像检测识别方法
和计算机视觉领域，具体涉及基于多维注意力模块的轻量化混凝土裂缝检测方法及装置
。

技术介绍

[0002]混凝土作为重要基础构件，广泛应用于桥梁
、
隧洞及道路等基础设施的建设中
。
但受到温差
、
负载及养护不周等因素影响，混凝土建筑使用期间极易出现开裂，导致其承载性能降低，形成安全隐患
。
因此，在工程实际中，有必要对混凝土建筑进行定期检查和安全评估
。
然而，当前对混凝土损伤的检测主要通过人工巡检完成，检测效率低
、
人工成本高且存在风险，在极端工况下，甚至可能危及人身安全
。
基于图像处理的混凝土裂缝检测能够实现对混凝土损伤更高效
、
安全的检测，其相关研究大致可划分为两阶段：传统裂缝图像检测阶段和基于深度学习的裂缝检测阶段
。
[0003]在传统裂缝图像检测阶段主要是采用
SVM、K
‑
Means
等传统机器学习算法，对人工提取的特征依赖性较强，且这些特征表征能力弱，受环境
、
复杂纹理背景影响较大，检测效率低下
。
随着大数据和
GPU
技术的发展，拥有强大特征提取能力的深度学习方法为混凝土损伤检测提供了新的途径，迎来了基于深度学习的裂缝检测阶段
。
虽然许多用于混凝土裂缝检测的深度学习目标检测模型被提出来，但这些研究也有一定的局限性：首先，对检测实时性的考虑不足，当参数量
、
计算量较大的模型部署到移动设备及无人机上时，受限于硬件条件，易导致高延迟
、
检测效率低下的问题；其次，存在模型生成的裂缝检测框尺寸不准的问题，而且模型仅适用于裂缝较为明显
、
背景条件较为简单的情况，当裂缝不明显时易出现漏检；此外，裂缝目标相较于其他目标有整体较为细长等特点，但当前的模型都未能运用这些特点来进行判断
。

技术实现思路

[0004]针对现有技术的以上不足，本专利技术提出一种于多维注意力模块的轻量化混凝土裂缝检测方法及装置
。
其目的旨在于通过提出的轻量化混凝土裂缝模型解决网络参数量大导致检测实时性不足及裂缝检测不准
、
漏检的问题，以满足实际工业部署和检测实时性需求的同时提高裂缝检测精度
。
[0005]为了实现上述目标，本专利技术提供一种基于多维注意力模块的轻量化混凝土裂缝检测方法及装置，包括以下步骤：
[0006]步骤
S1
：创建混凝土裂缝图像的训练集和测试集；
[0007]使用无人机或相机采集混凝土裂缝图像，或从公共混凝土裂缝图像数据集中获取混凝土裂缝图像；对所获取图像中的裂缝区域进行人工标注，构建混凝土裂缝图像数据集，将该数据集划分为训练集
X
train
＝
{{X1}
，
…
，
{X
n
}}
和测试集
X
test
＝
{{X1}
，
…
，
{X
m
}}
，其中
n、m
分别为训练集与测试集样本的个数
(n:m
＝
7:3)
；
[0008]步骤
S2
：基于深度学习创建包含轻量化
CBS
特征提取模块
、
轻量化
Bottleneck
特征提取模块
、
多尺度特征提取模块
、
多维注意力模块的轻量化混凝土裂缝检测模型；
[0009]所述轻量化混凝土裂缝检测模型使用深度学习库
PyTorch
实现，其基于
YOLOv5
，由主干
、
颈部
、
预测层三个部分组成，这些部分由轻量化
CBS
特征提取模块
(Lightweight CBS
，以下简称
LCBS
模块
)、
轻量化
Bottleneck
特征提取模块
(Lightweight Bottleneck
，以下简称
LB
模块
)、
多尺度特征提取模块
(Multi
‑
Scale Feature
，以下简称
MSF
模块
)、
多维注意力模块
(Multi
‑
Dimensional Attention
，以下简称
MDA
模块
)
构成；
[0010]步骤
S3
：根据训练参数，对模型在划分好的训练集进行训练并在测试集上进行评估；
[0011]对轻量化混凝土裂缝检测模型在训练集上通过不断地降低损失函数的函数值来进行训练，然后在测试集上评估模型的训练效果，直到该模型收敛并在测试集上达到较好的检测效果，得到轻量化混凝土裂缝检测模型；
[0012]步骤
S4
：通过训练得到的轻量化混凝土裂缝检测模型对混凝土图像中的裂缝进行检测；
[0013]其中，步骤
S2
中所述
LCBS
模块，由一个
3*3
深度可分离卷积层
、
批归一化
(Batch Normalization)、SiLU
激活函数构成；
[0014]步骤
S2
中所述
LB
模块，在主干及颈部有不同的结构，在主干的
LB
模块由两个
LCBS
模块及一个
MDA
模块构成，其表示为：
[0015]F
＝
MDA(Add(X,LCBS(LCBS(X))))
[0016]式中，
X、F
分别为输入
、
输出的特征图，
LCBS
及
MDA
分别表示特征图输入到
LCBS、MDA
模块进行计算，
Add
表示特征图相加；在颈部的
LB
模块由两个
LCBS
模块构成，其表示为：
[0017]F
＝
LCBS(LCBS(X))
[0018]式中，
X、F
分别为输入
、
输出的特征图，
LCBS
表示特征图输入到
LCBS
进行计算
。
[0019]进一步地，步骤
S2
中所述...

【技术保护点】

【技术特征摘要】
1.
一种基于多维注意力模块的轻量化混凝土裂缝检测方法，其特征在于，包括以下步骤：步骤
S1
：创建混凝土裂缝图像的训练集和测试集；使用无人机或相机采集混凝土裂缝图像，或从公共混凝土裂缝图像数据集中获取混凝土裂缝图像；对所获取图像中的裂缝区域进行人工标注，构建混凝土裂缝图像数据集，将该数据集按
7:3
的比例划分为训练集和测试集；步骤
S2
：基于深度学习创建包含轻量化
CBS
特征提取模块
、
轻量化
Bottleneck
特征提取模块
、
多尺度特征提取模块
、
多维注意力模块的轻量化混凝土裂缝检测模型；所述轻量化混凝土裂缝检测模型使用深度学习库
PyTorch
实现，其基于
YOLOv5
，由主干
、
颈部
、
预测层三个部分组成，这些部分由轻量化
CBS
特征提取模块
(Lightweight CBS
，以下简称
LCBS
模块
)、
轻量化
Bottleneck
特征提取模块
(Lightweight Bottleneck
，以下简称
LB
模块
)、
多尺度特征提取模块
(Multi
‑
Scale Feature
，以下简称
MSF
模块
)、
多维注意力模块
(Multi
‑
Dimensional Attention
，以下简称
MDA
模块
)
构成；步骤
S3
：根据训练参数，对模型在划分好的训练集进行训练并在测试集上进行评估；对轻量化混凝土裂缝检测模型在训练集上通过不断地降低损失函数的函数值来进行训练，然后在测试集上评估模型的训练效果，直到该模型收敛并在测试集上达到较好的检测效果，得到轻量化混凝土裂缝检测模型；步骤
S4
：通过训练得到的轻量化混凝土裂缝检测模型对混凝土图像中的裂缝进行检测；其中，步骤
S2
中所述
LCBS
模块，由一个
3*3
深度可分离卷积层
、
批归一化
(Batch Normalization)、SiLU
激活函数构成；步骤
S2
中所述
LB
模块，在主干及颈部有不同的结构，在主干的
LB
模块由两个
LCBS
模块及一个
MDA
模块构成，其表示为：
F
＝
MDA(Add(X,LCBS(LCBS(X))))
式中，
X、F
分别为输入
、
输出的特征图，
LCBS
及
MDA
分别表示特征图输入到
LCBS、MDA
模块进行计算，
Add
表示特征图相加；在颈部的
LB
模块由两个
LCBS
模块构成，其表示为：
F
＝
LCBS(LCBS(X))
式中，
X、F
分别为输入
、
输出的特征图，
LCBS
表示特征图输入到
LCBS
进行计算
。2.
根据权利要求1所述的一种基于多维注意力模块的轻量化混凝土裂缝检测方法，其特征在于，步骤
S2
中所述
MSF
模块，将裂缝特征图
X
分别通过
1*1
卷积层
、3*3
卷积层
、
空洞率为2的
3*3
空洞卷积层来提取裂缝特征，然后再连接在一起得到输出的特征图，其表示为：
F
cat
＝
Concat(Conv1*1(X),Conv3*3(X),Dilated(X))
式中
Conv1*1、Conv3*3
分别表示
1*1
卷积层
、3*3
卷积层，
Dilated
表示空洞率为2的
3*3
空洞卷积层，
Concat
表示特征图连接操作，
X、F
ca...

【专利技术属性】
技术研发人员：许华杰，郑力文，苏国韶，秦远卓，梁贤哲，秦秀芬，
申请(专利权)人：广西大学，
类型：发明
国别省市：