混合钢轨超声波B显图谱伤损识别方法、系统和存储介质技术方案

本发明专利技术公开了混合钢轨超声波B显图谱伤损识别方法、系统和存储介质，包括对钢轨超声波B显图像各类伤损图谱的分类学习，使用收集的数据样本集进行识别模型的训练、通过对所有参数的比对选择出最优的模型，再配以最合适的数据增强组合，最后将其搭载系统上，部署在硬件设备或存储介质上进行伤损识别作业，系统在识别完伤损图谱后，以列表的形式展示在超声波视频中识别出的所有伤损数据，本发明专利技术通过人工智能深度学习算法来训练出用于识别钢轨超声波B显图谱的模型，探伤人员在使用搭载了该模型的系统时，可以直接在列表中查看到伤损的数据及其相关信息，大大缩短判伤作业时长，提升探伤工作效率。作效率。作效率。

【技术实现步骤摘要】
混合钢轨超声波B显图谱伤损识别方法、系统和存储介质


[0001]本专利技术涉及智能识别
，具体涉及混合钢轨超声波B显图谱伤损识别方法、系统和存储介质。

技术介绍

[0002]有关铁路钢轨无损探伤技术的应用研究早在1877年就已开始。1927年，Elmer Sperry博士应美国铁路联盟的要求，研制了世界上第一辆基于漏磁检测原理的轨道探伤车，但漏磁检测法只能探测钢轨表面和近表面的缺陷。随着超声波检测技术的发展，该方法后来逐步成为了铁路轨道伤损检测的主要方法。欧洲各国和日本等铁路发达国家先后推出了各种形式的超声波钢轨探伤设备，有便携式的、手推式的、道路和轨道两用的检测车辆以及专用的轨道检测列车等。目前，国内外铁路轨道检测大都采用大型高速钢轨探伤车与手推式钢轨探伤车辆相结合的方式。
[0003]传统的超声波检测法主要采用轮式探头对钢轨内部的缺陷进行检测，但其对表面和近表面缺陷(如轨头龟裂和压溃)的探测效果则较差或根本就无法检测，特别是靠近轨距角的水平方向纵向延伸的剥离缺陷会对超声波产生反射作用，阻碍声束入射，致使不能探测到埋藏在其下面的危险性裂纹。此外，传统超声波检测技术采用接触式超声换能器进行检测，检测效果受钢轨表面几何形状、粗糙度和清洁度等因素的影响，检测速度也受到限制。高频超声波能量衰减较大，对焊缝区域、轨腰或轨底等处埋藏较深的缺陷检出率也较低。正是由于传统超声波检测技术在钢轨检测中的不足，促使各国研究者不断探索新的钢轨无损探伤技术，一些新技术、新方法不断涌现，大大提高了钢轨无损探伤的精度、速度和缺陷的检出率。
[0004]在上述的基础上，进而出现的激光超声技术利用脉冲激光在试件中激励产生超声波，而超声信号的检测则主要有压电换能器检测法、空气耦合检测法和光学检测法三种。光学检测法又有非干涉法和干涉法之分。目前，基于激光激励和空气耦合检测的混合钢轨无损探伤技术是国内外研究的热点，随着计算能力的不断提升，深度神经网络得到广泛研究与应用，与传统的特征抽取和图像表征方法相比，深度神经网络具备抽取高层次的语义特征刻画复杂数据分布的能力，但尽管深度学习技术在轨道病害检测领域有着良好的性能表现,仍面临缺乏大规模的公开训练数据、定制化的网络结构导致模型迁移困难等问题，不能够在此基础上准确的识别标注图像中的钢轨伤损类型、级别、所属里程等相关信息的问题。

技术实现思路

[0005]为解决上述问题，提出了通过生成对抗网络(GAN)扩充数值型数据和B显图像类型数据，并将扩充后的和原始的多模态数据输入并训练目标检测和时间序列的融合模型，对钢轨超声波B显图谱自动识别并以较高的准确率标注图像中的钢轨伤损类型、级别、所属里程等相关信息的混合钢轨超声波B显图谱伤损识别方法、系统和存储介质；
[0006]混合钢轨超声波B显图谱伤损识别方法，方法包括以下步骤：
[0007]S1、超声波视频数据采集，在采集超声波B显视频时，摒弃非伤损数据和删除重复图像帧，制作标准视频文件，通过制作标准视频文件，用以达到统一视频文件标准、减少视频文件大小的作用。
[0008]S2、伤损数据打标，来自实际探伤作业中积累的超声波B显视频中提取若干张包含各类伤损的超声波B显图谱，并使用打标工具，在超声波图谱上进行绘制一个或多个伤损边界框并记录其正确伤损类别；
[0009]S3、整理所有伤损类型数据集，根据实际伤损发生数量的多少来确定每种类型需要收集的样本数量，并构成为数据集。
[0010]S4、标注时间序列数值型数据，使用步骤S2和步骤S3中标注的图像数据，通过比对B显图谱的原始数据(Raw Data)，将原始数据中的数值作为特征，标注的类别作为预测分类的训练样本，所有原始数据中的类别特征将进行独热编码(One
‑
hot Encoding)操作，并将所有原始数据中的时间戳信息转换至标准的时间序列模型的时间标注。
[0011]S5、数据增强，通过GAN网络方法进行数据增强，利用数学方法随机生成大量训练数据。
[0012]S6、模型训练，使用采集到的样本集中80％的数据，配以模型架构、数据增强配置、自适应锚框等技术组合来进行模型训练；
[0013]S7、训练AI文字判别模型，采用PaddleOCR算法实现对伤损图谱上的文字进行识别里程、公里数、股别数等，针对伤损图谱的具体文字特征；
[0014]S8、模型校验，使用另外的样本数据，对训练出的模型进行校验，以此推进模型识别的精确程度，通过模型校验，验证集被用于在训练过程中检验模型的状态、收敛情况，验证集通常用于调整超参数，根据几组模型验证集上的表现决定哪组参数拥有最好的性能，同时验证集在训练过程中还可以用来监控模型是否发生过拟合，一般来说验证集表现稳定后，若继续训练，训练集表现还会继续上升，但是验证集会出现不升反降的情况，这样一般就判断为发生了过拟合。可以用来查看模型训练的效果是否朝着期望的方向进行。
[0015]进一步的，步骤S3的数量集包括：轨头伤损样本总共不少于2000张，伤损类型包括轨头裂纹、轨头核伤、轨面伤损、轨头水平裂纹；轨腰伤损样本总数不少于1000张，伤损类型包括螺孔上裂、螺孔下裂、螺孔多孔、轨腰水平裂纹、轨腰斜裂、轨腰多孔；轨底伤损样本总数不少于200张，伤损类型包括轨底核伤、轨底斜裂。
[0016]进一步的，步骤S5的GAN网络方法进行数据增强，利用数学方法随机生成大量训练数据，通过截取伤损部分的图像来训练生成器去判别伤损的真实性，通过随机种子z来生成无限量的图像x＝G(z)，GAN网络方法通过计算(真实伤损图片)和模型生成伤损图片的误差来控制收敛方向，从而使得GAN生成的图片与真实伤损的外形尽可能地相近；
[0017]网络的收敛函数如下定义：
[0018]minGmaxDV(D，G)＝E
x～pdata(x)
[logD(x)]+E
z～pz(z)
[log(1
‑
D(G(z)))][0019]进一步的，GAN网络方法以U
‑
net作为生成对抗网络的主干架构；
[0020]U
‑
net的网络结构是对称的，为Encoder
‑
Decoder的结构，前半部分是特征提取，后半部分是上采样；
[0021]U
‑
net包括：
[0022]Encoder：左半部分，由两个3x3的卷积层(ReLU)+一个2x2的maxpooling层组成一
个下采样模块；
[0023]Decoder：右半部分，由一个上采样的卷积层+特征拼接concat+两个3x3的卷积层(ReLU)构成一个上采样模块；
[0024]Encoder：由卷积操作和下采样操作组成，所用卷积结构统一为3x3的卷积核，padding＝0，striding＝1，没有padding所以每次卷积之后特征图的H和W变小了，在跳层连接(Skip connection)时需注意特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.混合钢轨超声波B显图谱伤损识别方法，其特征在于：所述方法包括以下步骤：S1、超声波视频数据采集，在采集超声波B显视频时，摒弃非伤损数据和删除重复图像帧，制作标准视频文件；S2、伤损数据打标，来自实际探伤作业中积累的超声波B显视频中提取若干张包含各类伤损的超声波B显图谱，并使用打标工具，在超声波图谱上进行绘制一个或多个伤损边界框并记录其正确伤损类别；S3、整理所有伤损类型数据集，根据实际伤损发生数量的多少来确定每种类型需要收集的样本数量，并构成是数据集；S4、标注时间序列数值型数据，使用步骤S2和步骤S3中标注的图像数据，通过比对B显图谱的原始数据(Raw Data)，将原始数据中的数值作为特征，标注的类别作为预测分类的训练样本；S5、数据增强，通过GAN网络方法进行数据增强，利用数学方法随机生成大量训练数据；S6、模型训练，使用采集到的样本集中80％的数据，配以模型架构、数据增强配置、自适应锚框等技术组合来进行模型训练；S7、训练AI文字判别模型，采用PaddleOCR算法实现对伤损图谱上的文字进行识别里程、公里数、股别数等，针对伤损图谱的具体文字特征；S8、模型校验，使用另外的样本数据，对训练出的模型进行校验，以此推进模型识别的精确程度。2.根据权利要求1所述的一种混合钢轨超声波B显图谱伤损识别方法，其特征在于：所述步骤S3的数量集包括：轨头伤损样本总共不少于2000张，伤损类型包括轨头裂纹、轨头核伤、轨面伤损、轨头水平裂纹；轨腰伤损样本总数不少于1000张，伤损类型包括螺孔上裂、螺孔下裂、螺孔多孔、轨腰水平裂纹、轨腰斜裂、轨腰多孔；轨底伤损样本总数不少于200张，伤损类型包括轨底核伤、轨底斜裂。3.根据权利要求1所述的一种混合钢轨超声波B显图谱伤损识别方法，其特征在于：所述步骤S5的GAN网络方法进行数据增强，利用数学方法随机生成大量训练数据，通过截取伤损部分的图像来训练生成器去判别伤损的真实性，通过随机种子z来生成无限量的图像x＝G(z)，所述GAN网络方法通过计算(真实伤损图片)和模型生成伤损图片的误差来控制收敛方向，从而使得GAN生成的图片与真实伤损的外形尽可能地相近；网络的收敛函数如下定义：minGmaxDV(D，G)＝E
x～pdata(x)
[logD(x)]+E
z～pz(z)
[log(1
‑
D(G(z)))]。4.根据权利要求1所述的一种混合钢轨超声波B显图谱伤损识别方法，其特征在于：所述GAN网络方法以U
‑
net作为生成对抗网络的主干架构；所述U
‑
net的网络结构是对称的，为Encoder
‑
Decoder的结构，前半部分是特征提取，后半部分是上采样；所述U
‑
net包括：Encoder：左半部分，由两个3x3的卷积层(ReLU)+一个2x2的maxpooling层组成一个下采样模块；Decoder：右半部分，由一个上采样的卷积层+特征拼接concat+两个3x3的卷积层(ReLU)构成一个上采样模块；
Encoder：由卷积操作和下采样操作组成，所用卷积结构统一为3x3的卷积核，padding＝0，striding＝1，没有padding所以每次卷积之后特征图的H和W变小了，在跳层连接(Skip connection)时需注意特征图的维度；Decoder：用以恢复特征图的原始分辨率，除了卷积以外，上采样与跳层连接通过转置卷积和插值两种方式实现，UNet中的跳层连接通过拼接将底层的位置信息与深层的语义信息相融合。5.根据权利要求1所述的一种混合钢轨超声波B显图谱伤损识别方法，其特征在于：所述步骤S6的模型训练以基于YOLO目标检测算法来进行拓展的YOLOv5网络结构作为目标检测的基准网络；所述YOLOv5网络结构主要分为输入端、Backbone、Neck、Predicion四个部分；所述输入端包括Mosaic数据增强、自适应锚框和自适应图片缩放；所述Mosaic数据增强：采用了4张图片，通过随机缩放、随机裁剪、随机排布的方式对图片进行处理再拼接到一张图上作为训练数据；所述自适应锚框：通过K
‑
means计算anchor boxes的width和height；先计算yaml文件给的anchor，如果bpr(best possible recall，最佳召回率)小于0.98，则重新计算anchor，当最佳召回率大于或等于0.98，则不需要更新anchor，其步骤为：
①
计算每个bounding box与所有聚类中心的距离1
‑
iou，选择最近的那个聚类中心作为它的类别
②
使用每个类别簇的均值作为下次迭代计算的类别中心；所述自适应图片缩放：将原始图片统一缩放到一个标准尺寸，原始图像自适应的添加最少的黑边，再送入网络中；所述Backbone为提取特征的网络，主干网络的作用为提取图片中的信息，供后面的网络使用；所述Neck的基本组件包括由Conv+Bn+Leaky_relu激活函数三者组成的CBL、让网络可以构建的更深的Res unit、由卷积层和X个Res unint模块Concate组成的CSPX；所述Neck还包括CSP结构，YOLOv5中包含两种CSP结构，即应用于Backbone主干网络CSP1_X结构和应用于Neck中的CSP2_X结构；所述CSP1_X将原输入分成两个分支，一个分支进行卷积操作使得通道数减半，另一个分支进行残差操作，然后concat两个分支，使得输入与输出是一样的大小，同时也让模型学习到更多的特征。所述CSP2_X相对于CSP1_X来说，不同的地方在于CSP2_X将Resunit换成了2*X个CBL。6.根据权利要求1所述的一种混合钢轨超声波B显图谱伤损识别方法，其特征在于：所述方法还设有长短期记忆神经网络(LSTM)读取经过增强和原始数据的时间序列作为输入，即将X轴坐标(PosBus)，Y轴坐标(深度)，13个二进制通道，时间戳，分类标签等多个特征和预...

【专利技术属性】
技术研发人员：张永雄，任志强，汤文锋，陈新民，方传煜，裴致渊，聂丽兰，
申请(专利权)人：珠海市圈宝网络科技有限公司，
类型：发明
国别省市：