融合多重注意力机制的道路隐蔽病害自动识别方法、存储介质及设备技术

技术编号:43333191 阅读:15 留言:0更新日期:2024-11-15 20:30
融合多重注意力机制的道路隐蔽病害自动识别方法、存储介质及设备,属于探地雷达道路无损检测技术领域。为了解决探地雷达图像鉴别极度依赖人工的问题,以及复杂场景下道路隐蔽病害识别模型的精确度与鲁棒性不佳的问题。本发明专利技术针对探地雷达采集到的原始图像进行预处理后送入基于YOLOv8的改进网络,即融合多重注意力机制的YOLOv8模型进行识别,将骨干网络中的标准卷积层替换为深度可分离卷积层;在颈部网络中进行特征融合的过程中,在颈部网络中每一个上采样之后的C2f模块之后,插入一个由混合注意力机制模块与SE注意力模块并行连接形成的多重注意力机制MSE模块;基于融合多重注意力机制的YOLOv8得到道路隐蔽病害。

【技术实现步骤摘要】

本专利技术属于探地雷达道路无损检测,尤其是涉及一种道路隐蔽病害自动识别方法、存储介质及设备。


技术介绍

1、道路在日常使用过程中由于温湿度交替变化、季节性冻融、交通荷载以及其他因素,将导致各类隐蔽病害的产生。隐蔽病害具有路表不可见、隐伏性强的特点,难以进行检测,对道路安全构成巨大威胁。利用探地雷达技术能够检测规模大小不一、种类多样的道路隐蔽病害,有效帮助道路养护维修人员尽早发现道路损伤并及时进行修复,从而延长道路服役寿命,节省养护成本。

2、探地雷达技术利用高频电磁波的穿透特性对道路内部结构进行无损检测,当电磁波在传播过程中遇到地下目标体或具有不同电磁特性的地下介质时,电磁波随即发生反射和折射。发射天线将高频电磁波辐射入地下,接收天线接收各类道路材料在不同状态下的电磁特性(介电常数、电导率等)反射回波信号。通过不同类型病害反射信号的振幅、相位等特征差异,可以推断出其物理性质、几何形状和地理位置,从而进一步判断病害类型和病害规模。

3、不同类型隐蔽病害的振幅、相位特征差异性较小,尺寸差异性大,难以分析评估。目前,探地雷达隐蔽病害识别主要依赖有经验的技术人员分析判断,或者通过目前主流的人工智能方法识别单一检测场景和类型的隐蔽病害。这样会造成探地雷达技术数字化程度低,耗时费力,大幅降低探地雷达识别效率,产生漏检、误检现象,影响探地雷达道路隐蔽病害检测效果。

4、人工智能模型的网络结构中包含众多参数需要学习,而更新网络每一层的参数值需要大规模的正确标记的样本数据,网络充分训练后模型才能具备较强能力。否则,模型训练的过程中容易出现欠拟合、过拟合等问题,不利于模型能力的提升。由于通过分析探地雷达图像呈现的特征判定病害类别本身的难度较高,道路雷达图像数据严重缺乏已标注的样本,目前人工智能方法识别探地雷达隐蔽病害时无法兼顾不同尺寸、不同类型目标的检测精度,这制约了探地雷达隐蔽病害自动检测的发展。


技术实现思路

1、本专利技术的目的是为了解决探地雷达图像鉴别极度依赖人工的问题,以及复杂场景下道路隐蔽病害识别模型的精确度与鲁棒性不佳的问题。

2、一种融合多重注意力机制的道路隐蔽病害自动识别方法,针对探地雷达采集到的原始图像进行预处理后送入融合多重注意力机制的yolov8模型进行识别,得到道路隐蔽病害;

3、所述融合多重注意力机制的yolov8为yolov8的改进网络,融合多重注意力机制的yolov8包括用于特征提取的骨干网络、用于特征融合的颈部网络和用于检测的头部网络;对yolov8的改进包括:

4、将yolov8的骨干网络中的标准卷积层替换为深度可分离卷积层,即骨干网络中的卷积层均为dwconv层;

5、在颈部网络中进行特征融合的过程中,在颈部网络中每一个上采样之后的c2f模块之后,插入一个由混合注意力机制模块与se注意力模块并行连接形成的多重注意力机制mse模块。

6、进一步地,对yolov8的改进还包括多重注意力机制响应融合方式,具体处理过程如下:

7、将骨干网络中的第二个dwconv+c2f模块的特征定义为原始特征分支;将颈部网络中第一个c2f+mse模块的上采样特征定义为经过多种注意力机制后的特征分支;

8、将原始特征分支及经过多重注意力机制后的特征分支分别进行卷积互相关运算,然后将两个卷积互相关运算结果进行线性融合,融合结果送入颈部网络中第二个c2f+mse模块进行处理。

9、进一步地,将两个卷积互相关运算结果进行线性融合的融合公式如下:

10、f=c1f1+c2f2

11、式中:f1为原始特征分支经过卷积互相关运算响应;f2为经过多重注意力机制后的特征分支经过卷积互相关运算响应;c1为原始特征分支所占权重系数;c2为经过多重注意力机制后特征分支所占权重系数。

12、进一步地,所述混合注意力机制模块将通道注意力与空间注意力机制进行混合;

13、所述混合注意力机制中的通道注意力机制处理过程如下:

14、对输入的单个特征层沿着空间方向进行全局平均池化操作,接着对池化结果进行mlp处理并将其送入sigmod函数,获得输入特征层每一个通道的权值,最后将权值乘以原输入特征层作为输出;

15、所述混合注意力机制中的空间注意力机制处理过程如下:

16、输入为通道注意力机制的输出,在每一个特征点的通道上取最大值与平均值,然后将两个结果进行堆叠,再利用通道为1的卷积对通道进行降维,并将降维结果经过sigmod函数,获得输入特征层每一个特征点得权值,最后将权值乘以通道注意力输出结果。

17、进一步地,针对探地雷达采集到的原始图像进行预处理包括背景去除及滤波处理。

18、进一步地,在预处理过程中,所述背景去除利用主元分析法实现背景去除;所述滤波处理通过有限脉冲响应滤波器和fr滤波器进行滤波,并利用维纳滤波反卷积。

19、进一步地,所述的融合多重注意力机制的yolov8模型是预先训练好的,用于训练融合多重注意力机制的yolov8模型的训练集构建过程包括以下步骤:

20、步骤1、对探地雷达采集到的原始图像数据进行预处理:依次进行静校正切除及干扰抑制、增益、背景去除及滤波、反褶积处理;

21、步骤2、基于步骤1处理后的图像,确定道路隐蔽病害区域,利用labelimg对图像中的病害特征进行标注制作数据集,病害特征包括图像中的竖井、空洞及裂缝区域。

22、进一步地,基于步骤1处理后的图像,确定道路隐蔽病害区域,利用labelimg对图像中的病害特征进行标注的过程包括:

23、并对原始数据集进行切片处理,即将基于步骤1处理后的图像切分成众多尺寸大小512×512的小图,基于病害区域对小图进行筛选,再使用labelimg软件对图像中的病害区域标注形成对应的txt文件,该文件包含有每个探测目标的类型、大小以及位置信息。

24、一种计算机存储介质,所述存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现所述的一种融合多重注意力机制的道路隐蔽病害自动识别方法。

25、一种融合多重注意力机制的道路隐蔽病害自动识别设备,所述设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由处理器加载并执行以实现所述的一种融合多重注意力机制的道路隐蔽病害自动识别方法。

26、有益效果:

27、本专利技术可以实现探地雷达图像的识别,可以有效的解决探地雷达图像鉴别极度依赖人工的问题。同时专利技术的模型对yolov8进行改进,利用dwconv取代原有骨干网络中的标准卷积层,并在颈部网络部分添加mse注意力机制进行多特征感知融合使得模型获得更加精确关注特征的有用信息,在更好地将更多目标特征映射到特征图上的同时,对于病害中一些微小目标的特征信息也能够进行很好的提取,丰富语义信息,从而提高检测精度;本专利技术还设计一种多重注意力机制响应本文档来自技高网...

【技术保护点】

1.一种融合多重注意力机制的道路隐蔽病害自动识别方法,其特征在于,针对探地雷达采集到的原始图像进行预处理后送入融合多重注意力机制的YOLOv8模型进行识别,得到道路隐蔽病害;

2.根据权利要求1所述的一种融合多重注意力机制的道路隐蔽病害自动识别方法,其特征在于,对YOLOv8的改进还包括多重注意力机制响应融合方式,具体处理过程如下:

3.根据权利要求2所述的一种融合多重注意力机制的道路隐蔽病害自动识别方法,其特征在于,将两个卷积互相关运算结果进行线性融合的融合公式如下:

4.根据权利要求1所述的一种融合多重注意力机制的道路隐蔽病害自动识别方法,其特征在于,所述混合注意力机制模块将通道注意力与空间注意力机制进行混合;

5.根据权利要求1所述的一种融合多重注意力机制的道路隐蔽病害自动识别方法,其特征在于,针对探地雷达采集到的原始图像进行预处理包括背景去除及滤波处理。

6.根据权利要求5所述的一种融合多重注意力机制的道路隐蔽病害自动识别方法,其特征在于,在预处理过程中,所述背景去除利用主元分析法实现背景去除;所述滤波处理通过有限脉冲响应滤波器和FR滤波器进行滤波,并利用维纳滤波反卷积。

7.根据权利要求1至6任意一项所述的一种融合多重注意力机制的道路隐蔽病害自动识别方法,其特征在于,所述的融合多重注意力机制的YOLOv8模型是预先训练好的,用于训练融合多重注意力机制的YOLOv8模型的训练集构建过程包括以下步骤:

8.根据权利要求7所述的一种融合多重注意力机制的道路隐蔽病害自动识别方法,其特征在于,基于步骤1处理后的图像,确定道路隐蔽病害区域,利用Labelimg对图像中的病害特征进行标注的过程包括:

9.一种计算机存储介质,其特征在于,所述存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现权利要求1至6任意一项所述的一种融合多重注意力机制的道路隐蔽病害自动识别方法。

10.一种融合多重注意力机制的道路隐蔽病害自动识别设备,其特征在于,所述设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由处理器加载并执行以实现权利要求1至6任意一项所述的一种融合多重注意力机制的道路隐蔽病害自动识别方法。

...

【技术特征摘要】

1.一种融合多重注意力机制的道路隐蔽病害自动识别方法,其特征在于,针对探地雷达采集到的原始图像进行预处理后送入融合多重注意力机制的yolov8模型进行识别,得到道路隐蔽病害;

2.根据权利要求1所述的一种融合多重注意力机制的道路隐蔽病害自动识别方法,其特征在于,对yolov8的改进还包括多重注意力机制响应融合方式,具体处理过程如下:

3.根据权利要求2所述的一种融合多重注意力机制的道路隐蔽病害自动识别方法,其特征在于,将两个卷积互相关运算结果进行线性融合的融合公式如下:

4.根据权利要求1所述的一种融合多重注意力机制的道路隐蔽病害自动识别方法,其特征在于,所述混合注意力机制模块将通道注意力与空间注意力机制进行混合;

5.根据权利要求1所述的一种融合多重注意力机制的道路隐蔽病害自动识别方法,其特征在于,针对探地雷达采集到的原始图像进行预处理包括背景去除及滤波处理。

6.根据权利要求5所述的一种融合多重注意力机制的道路隐蔽病害自动识别方法,其特征在于,在预处理过程中,所述背景去除利用主元分析法实现背景去除;所...

【专利技术属性】
技术研发人员:张宇辉王大为吕浩天倪耀威汤伏蛟樊泽鹏吴汉立戴江博
申请(专利权)人:哈尔滨工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1