一种用于轮对踏面缺陷识别的图像交互融合方法技术

本发明专利技术公开了一种用于轮对踏面缺陷识别的图像交互融合方法，所述方法主体包含有五个阶段，分别为数据采集与处理阶段、多尺度交互注意特征提取阶段、约束耦合解码阶段、融合推断阶段以及结果展示阶段；其多尺度交互注意特征提取阶段中运用的自适应混合交互注意模块，利于进行模型目标形状的区分，其多尺度交互注意特征提取阶段中运用的多尺度稀疏特征提取模块，利于进行提取特征时尺度的区分；其设计的约束耦合解码阶段，该阶段将一致性损失和重构损失引入模态解码器中，提高了模型识别的精度；综上所述，本发明专利技术解决了提取特征时目标形状和尺度难以区分的问题，模型识别精度高。模型识别精度高。模型识别精度高。

【技术实现步骤摘要】
一种用于轮对踏面缺陷识别的图像交互融合方法


[0001]本专利技术涉及轮对踏面识别
，特别是涉及一种用于轮对踏面缺陷识别的图像交互融合方法。

技术介绍

[0002]随着列车运行跨入高速、重载时代，其智能运维越发受到关注，作为列车重要的走行和支撑部件，轮对高速旋转引起的高频振动、轮轨接触过程中的滑动/滚动等现象带来的轮轨温升等因素，都会引起轮轨接触疲劳，使轮对踏面产生擦伤、咯伤、掉块等多类型缺陷，实现踏面缺陷的精确识别可为列车运维提供关键支撑。而受轮轨接触工况复杂多变等因素制约，踏面缺陷数据样本多呈现为异类型缺陷形状差异小、同类型缺陷尺度差异大的情形，使得现行深度学习网络在特征提取时常面临目标形状和尺度难以区分、模型识别精度低等问题，难以满足列车智能运维对轮对踏面缺陷实时诊断的需求。
[0003]公开号为CN114663344A的专利技术创造专利，公开了一种基于图像融合的列车轮对踏面缺陷识别方法，所述的专利技术创造进行列车轮对踏面缺陷时，通过可见光相机和红外相机采集图像，获得列车轮对踏面区域图像；基于神经网络构建可见光图像与红外图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于轮对踏面缺陷识别的图像交互融合方法，其特征在于，所述方法主体包含有五个阶段，分别为数据采集与处理阶段、多尺度交互注意特征提取阶段、约束耦合解码阶段、融合推断阶段以及结果展示阶段；所述方法的步骤如下：S1、数据采集与处理阶段：现场采集轮对踏面缺陷的RGB图像样本，采用泊松编码器对原始RGB图像样本进行编码得到泊松模态POS图像用于图像融合；S2、多尺度交互注意特征提取阶段：S2.1、将融合了RGB和泊松图像的预训练轻量化网络Mobilenetv2作为模型主干网络，提取步骤S1中分别采集RGB图像和泊松模态图像的模态的底层特征，设输入特征映射x
m
∈R
H
×
W
×
C
为m模态输入图像，则其最终编码特征如下：h
m
＝Mobile
m
(x
m
),m∈{r,p}其特征映射x
m
∈R
H
×
W
×
C
式中的H、W、C表示为输入图像的长、宽、通道数，式中其中的H1、W1、C1又分别表示特征图的长、宽、通道数，Mobile
m
分别表示m模态的编码特征、Mobilenetv2网络；S2.2、采用多尺度稀疏特征提取模块DGASPP用于对底层特征的多尺度特征提取，多尺度稀疏特征提取模块DGASPP对两个模态的编码特征h
m
进行多尺度特征提取，提取公式为：式中DGASPP
m
分别表示m模态的多尺度编码特征、DGASPP模块；S2.3、运用自适应混合交互注意模块AHMA模块来提取底层特征中具有交互信息的空间通道注意特征，用以解决图像样本中缺陷形状差异小的问题，采用AHMA模块来提取具有交互信息的空间通道注意特征的公式：m
r
,m
p
＝AHMA(s
r
,s
p
)式中，分别表示两个模态的注意加权特征；AHMA为自适应混合交互注意模块；S3、约束耦合解码阶段：启用约束耦合解码模块，运用模态解码器解码步骤S2.2中多尺度交互注意特征提取模块中提取的特征，模态解码器中采用改进的编码解码结构的网络Deeplabv3，对解码部分进行改进过程如下：S3.1、添加额外的特征拼接卷积CConv、捷径卷积SConv，用以在更多尺度上获取的解码特征；S3.2、在不同模态的解码特征间添加一致性约束损失，捕获解码特征中的交互特征；S3.3、在输入图像和重构图像间增加重构损失，提取形状特征；S3.4、构建由任务损失、一致性损失、重构损失组成总目标损失函数，指导网络学习相关特征，所述总目标损失函数的公式为：L
total
＝μL
task
+(1
‑
μ)(L
consis
+L
recon
)式中：μ为损失函数调剂因子，L
task
...

【专利技术属性】
技术研发人员：刘建华，杨皓楠，何静，张昌凡，李哲姝，王忠美，贾林，黄刚，
申请(专利权)人：湖南工业大学，
类型：发明
国别省市：