【技术实现步骤摘要】
本申请属于航空监视巡检领域，具体涉及一种铁路桥梁裂缝分类识别方法及装置。
技术介绍
1、铁路桥梁巡检是运输系统监测中重要一环。当前的铁路桥梁异常检测方法主要包括：人工检测巡视、超声波探伤技术、电涡流技术和机器视觉等。对于桥梁的裂缝、露筋、掉块、蜂窝麻面等病害检测目前以人工检测巡视为主，这种方法存在一些弊端：(1)人工检测消耗时间长，大范围人工检查难度大，检测效率与质量低；(2)容易漏检，人工无法确定铁轨细微伤痕；(3)易受天气、环境等客观因素影响而使铁轨缺陷检测结果无法保证较高的准确性；(4)在列车运行速度逐步提高的情况下，巡检人员的人身安全也需要保障。因此研制智能化、平民化的铁轨检测设备已成为发展需要。
2、目前，铁路桥梁异常检测智能化方法通常使用机器视觉技术对铁路桥梁异常进行实时监测，例如：目标检测、实例分割等图像算法。然而，高分辨率的无人机图像尺度较大，其中异常瑕疵部分占比小，并受到图像噪声、混淆目标等干扰。因此，成功提取出高分辨率无人机图像中的微小尺度目标特征是重要挑战。
技术实现思路
1、基于以上技术问题，本申请提出一种铁路桥梁裂缝分类识别方法及装置。
2、第一方面，本申请提出一种铁路桥梁裂缝分类识别方法，包括：
3、获取待预测的铁路桥梁图片；
4、将所述待预测的铁路桥梁图片转变为第一分辨率的铁路桥梁图片以及第二分辨率的铁路桥梁图片，所述第一分辨率大于第二分辨率；
5、将第一分辨率的铁路桥梁图片输入到预训练的卷积
6、将第二分辨率的铁路桥梁图片输入到预训练的耦合关系模型中，得到全局特征；
7、将所述局部特征与全局特征进行交叉注意力计算，得到融合后的局部特征图以及融合后的全局特征图；
8、将所述融合后的局部特征图以及融合后的全局特征图输入到预训练的自注意力模型中，得到铁路桥梁图片的分类识别结果。
9、所述获取待预测的铁路桥梁图片，包括：
10、无人机搭载高清相机对铁路桥梁进行拍摄，得到铁路桥梁的视频；
11、将铁路桥梁的视频按照时间顺序逐帧提取原铁路桥梁图片；
12、将所述原铁路桥梁图片按照指定顺序进行分割，将分割后的一幅图片作为待预测的铁路桥梁图片。
13、所述第一分辨率的铁路桥梁图片的尺寸为w×h×cl，其中，w为待预测的铁路桥梁图片的水平方向像素个数，h为待预测的铁路桥梁图片的垂直方向像素个数，cl为局部特征的通道数，cl＝ci/2，co为全局特征的通道数；
14、所述第二分辨率的铁路桥梁图片的尺寸为w×h×ci。
15、所述将第二分辨率的铁路桥梁图片输入到预训练的耦合关系模型中，得到全局特征，包括：
16、将第二分辨率的铁路桥梁图片转变为长度为ll的序列，所述序列中的每个元素均为ci维向量，其中，ll＝w×h×ci，每个元素为wa×hb，wa为待预测的铁路桥梁图片的水平方向第a个像素，hb为待预测的铁路桥梁图片的垂直方向第b个像素；
17、将所述序列输入到预训练的耦合关系模型中，得到全局特征。
18、所述预训练的耦合关系模型，计算式如下：
19、
20、其中，fg为全局特征，fq＝wq×fg，fq为第一参数，wq为预训练的耦合关系模型的查询权重矩阵，fg为长度为ll的序列，fk＝wk*fg，fk为第二参数，wk为预训练的耦合关系模型的关键矩阵，fv＝wv×fg，fv为第三参数，wv为预训练的耦合关系模型的值矩阵，softmax()为归一化指数函数，t为矩阵的转置,d＝ci/(2*n)，n为注意头的数量。
21、所述预训练的自注意力模型，训练过程包括：
22、获取铁路桥梁样本图片以及铁路桥梁样本图片对应的分类标签；
23、将所述铁路桥梁样本图片转变为第一铁路桥梁样本图片以及第二铁路桥梁样本图片，所述第一铁路桥梁样本图片的分辨率大于第二铁路桥梁样本图片的分辨率；
24、将第一铁路桥梁样本图片输入到预训练的卷积神经网络中，得到局部样本特征；
25、将第二铁路桥梁样本图片输入到预训练的耦合关系模型中，得到全局样本特征；
26、将所述局部样本特征与全局样本特征进行交叉注意力计算，得到融合后的局部样本特征图以及融合后的全局样本特征图；
27、将所述融合后的局部样本特征图以及融合后的全局样本特征图输入到当前的自注意力模型中，得到铁路桥梁样本图片的分类识别结果；
28、将所述铁路桥梁样本图片的分类识别结果与铁路桥梁样本图片对应的分类标签输入到预设的第一损失函数中，得到第一损失函数值；
29、将第一损失函数值输入到当前的自注意力模型中进行迭代，直到第一损失函数被满足，则停止迭代，将迭代后的自注意力模型作为预训练的自注意力模型。
30、在增加铁路桥梁样本图片数量以及样本分类标签数量的情况下，所述预训练的自注意力模型，训练过程还包括：
31、获铁路桥梁新样本图片的分类识别结果以及铁路桥梁新样本图片对应的新分类标签；
32、将铁路桥梁新样本图片的分类识别结果以及铁路桥梁新样本图片对应的新分类标签输入到预设的第二损失函数中，得到第二损失函数值；
33、将第一损失函数值与第二损失函数值相加，得到总损失值；
34、将总损失值输入到当前的自注意力模型中进行迭代，直到第一损失函数以及第二损失函数同时被满足，则停止迭代，将迭代后的自注意力模型作为增加铁路桥梁样本图片数量以及样本分类标签数量后的预训练的自注意力模型。
35、第二方面，本申请提出本申请提出一种铁路桥梁裂缝分类识别装置，包括：
36、图片获取模块，用于获取待预测的铁路桥梁图片；
37、分辨率调整模块，用于将所述待预测的铁路桥梁图片转变为第一分辨率的铁路桥梁图片以及第二分辨率的铁路桥梁图片，所述第一分辨率大于第二分辨率；
38、局部特征提取模块，用于将第一分辨率的铁路桥梁图片输入到预训练的卷积神经网络中，得到局部特征；
39、全局特征提取模块，用于将第二分辨率的铁路桥梁图片输入到预训练的耦合关系模型中，得到全局特征；
40、特征融合模块，用于将所述局部特征与全局特征进行交叉注意力计算，得到融合后的局部特征图以及融合后的全局特征图；
41、分类识别模块，用于将所述融合后的局部特征图以及融合后的全局特征图输入到预训练的自注意力模型中，得到铁路桥梁图片的分类识别结果。
42、第三方面，本申请提出一种电子设备，包括：一个或多个处理器，以及存储器，所述存储器存储指令，当所述指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行所述的铁路桥梁裂缝分类识别方法。
43、第四方面，本申请提出一种计算机可读存储介质，其存储有可执行指令，所述指令当被本文档来自技高网...
【技术保护点】
1.一种铁路桥梁裂缝分类识别方法，其特征在于，包括：
2.根据权利要求1所述的铁路桥梁裂缝分类识别方法，其特征在于，所述获取待预测的铁路桥梁图片，包括：
3.根据权利要求1所述的铁路桥梁裂缝分类识别方法，其特征在于，所述第一分辨率的铁路桥梁图片的尺寸为W×H×Cl，其中，W为待预测的铁路桥梁图片的水平方向像素个数，H为待预测的铁路桥梁图片的垂直方向像素个数，Ck为局部特征的通道数，Cl＝Ci/2，Ci为全局特征的通道数；
4.根据权利要求3所述的铁路桥梁裂缝分类识别方法，其特征在于，所述将第二分辨率的铁路桥梁图片输入到预训练的耦合关系模型中，得到全局特征，包括：
5.根据权利要求1所述的铁路桥梁裂缝分类识别方法，其特征在于，所述预训练的耦合关系模型，计算式如下：
6.根据权利要求1所述的铁路桥梁裂缝分类识别方法，其特征在于，所述预训练的自注意力模型，训练过程包括：
7.根据权利要求6所述的铁路桥梁裂缝分类识别方法，其特征在于，在增加铁路桥梁样本图片数量以及样本分类标签数量的情况下，所述预训练的自注意力模型，训
8.一种铁路桥梁裂缝分类识别装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：一个或多个处理器，以及存储器，所述存储器存储指令，当所述指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行权利要求1～7任一项权利要求所述的铁路桥梁裂缝分类识别方法。
10.一种计算机可读存储介质，其特征在于，其存储有可执行指令，所述指令当被执行时使得处理器执行权利要求1～7任一项权利要求所述的铁路桥梁裂缝分类识别方法。
...【技术特征摘要】
1.一种铁路桥梁裂缝分类识别方法，其特征在于，包括：
2.根据权利要求1所述的铁路桥梁裂缝分类识别方法，其特征在于，所述获取待预测的铁路桥梁图片，包括：
3.根据权利要求1所述的铁路桥梁裂缝分类识别方法，其特征在于，所述第一分辨率的铁路桥梁图片的尺寸为w×h×cl，其中，w为待预测的铁路桥梁图片的水平方向像素个数，h为待预测的铁路桥梁图片的垂直方向像素个数，ck为局部特征的通道数，cl＝ci/2，ci为全局特征的通道数；
4.根据权利要求3所述的铁路桥梁裂缝分类识别方法，其特征在于，所述将第二分辨率的铁路桥梁图片输入到预训练的耦合关系模型中，得到全局特征，包括：
5.根据权利要求1所述的铁路桥梁裂缝分类识别方法，其特征在于，所述预训练的耦合关系模型，计算式如下：
6....
【专利技术属性】
技术研发人员：孙惠昕，孟宪洪，谢晋东，曹先彬，张斌，
申请(专利权)人：国能朔黄铁路发展有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。