轨道车辆螺栓松动检测方法及系统技术方案

本发明专利技术涉及一种轨道车辆螺栓松动检测方法及系统，所述检测方法包括：S1、在不同光照条件下获取螺栓处的多张轨道车辆关键部件图像；S2、将每张图像剪裁至设定大小；对每张图像进行人工标注；S3、建立并训练关键部件定位网络；S4、设置剪裁层；S5、建立并训练螺栓松动检测网络；S6、图像测试。所述系统包括多光谱分时光源、图像获取装置、图像处理模块、关键部件定位网络搭建与训练模块、剪裁层设置模块、螺栓松动检测网络搭建与训练模块以及存储与测试模块。本发明专利技术能够对关键部件进行螺栓状态监测，给出松动螺栓的具体位置信息，检测速度快，能够实现实时在线检测，不仅提高检测效率，还能够提高检测的准确率。

Detection Method and System for Bolt Looseness of Railway Vehicles

【技术实现步骤摘要】
轨道车辆螺栓松动检测方法及系统
本专利技术属于铁路故障检测
，涉及轨道车辆螺栓松动检测技术，具体地说，涉及一种轨道车辆螺栓松动检测方法及系统。
技术介绍
螺栓是动车组、城轨和地铁等轨道车辆的常用紧固件，在行车过程中由于受腐蚀、振动和冲击等因素的影响，很容易引起螺栓的变形、松动、断裂或脱落，从而引起设备故障，甚至造成重大安全事故。因此，对螺栓的松动检查一直是车辆日检的重要项目。为保证轨道车辆安全运行，工作人员需要每天对螺栓进行状态检查，检查项目其中一项就是检查螺栓是否松动。通常情况下，一节车厢上面就有几百甚至更多的螺栓，一天当中又有多列列车，对螺栓松动的检测是一件极其繁重的工作。传统检查螺栓的方法为人工巡检法，主要有两种方式：一种方式是不管螺栓是否已经松动，工作人员都会用扳手拧紧螺栓，确保螺栓处于拧紧的状态；另一种方式是螺栓在第一次拧紧后分别在螺栓和螺母上用线标记拧紧的状态，检查时只需查看是螺栓和螺母上的划线是否对齐，如果不对齐则拧紧至其对齐。第一种方式工作量大、效率低下、没有针对性，而第二种方式容易使工作人员在检测大量螺栓后产生视觉疲劳，导致错检、漏检，特别是现在开通的高速列车，更要工作人员能快速、准确地完成螺栓的检测。此外，由于多数列车均在夜晚入库，夜晚人员容易疲劳，检修质量依赖于工作人员的责任心，依稀细节在光照、疲劳等因素影响下又难以发现，容易造成潜在的安全隐患。为了减少工作量，提高工作效率。目前，比较常用的螺栓检测方法主要基于振动信号分析和图像识别。基于振动信号分析的螺栓检测方法，在获取振动信号时，主要有以下两种方式：一种是采用ODS(全称：OperationalDeflectionShape)数学模型，分析车轮经过某区间的振动信号，人工观察筛选出ODS值的异常情况，进而判断松动区间，但该方式未能实现在线实时检测；另一种方式是借助敲击锤不断敲击被固定结构，同时对余振信号进行采集和分析，但该方式存在速度较慢的问题。此外，上述两种方式虽然在一定程度上提高了工作效率，但工作效率并不高，仍然存在工作效率低的问题。基于图像识别的螺栓松动检测方法，依赖于防松标志和模板图像。例如：公开号为CN108469336A的中国专利申请公开了一种基于图像处理的螺栓松动检测方法，包括以下步骤：在拧紧的螺栓上，安装方向标记物；将被检测螺栓附近相对固定的结构边缘线作为参考线；将摄像头对准螺栓、方向标记物及参考线；摄取螺栓拧紧状态的第一次图像；通过计算机对摄取的第一次图像进行处理，识别出螺栓中心点、方向标记结构、参考线，再识别出标记角点，接着作出垂线，从螺栓中心点作出射线，从垂线以零度开始沿逆时针方向计算出射线相对于垂线的夹角；反复重复上述步骤得出第n次的夹角；将每次得出的夹角与第一次夹角比较，偏差较大时，将检测出松动的螺栓拧紧。由于行车过程环境复杂，防松标志可能会被油污覆盖、异物遮挡或脱落，且油污、异物的形状颜色各异，倒置模板匹配得分很低甚至无法判断。因而，依赖现有的单光谱图像采集装置及常规图像识别方法难以满足实际需求，存在检测准确率低的问题。
技术实现思路
本专利技术针对现有螺栓检测方法存在的在线检测困难、检测准确率低等上述问题，提供了一种轨道车辆螺栓松动检测方法及系统，能够实时在线检测螺栓是否松动，检测效率高，采用深度网络结构的自学习检测算法，能够有效提高检测的准确率。为了达到上述目的，本专利技术提供了一种轨道车辆螺栓松动检测方法，其步骤为：S1、获取图像在不同光照条件下获取螺栓处的多张轨道车辆关键部件图像；S2、图像处理剪裁图像将每张图像剪裁至设定大小；标注图像对每张图像进行人工标注，得到标注图像及标注文件；S3、建立并训练关键部件定位网络以卷积神经网络ZFNet为输入端，全连接层为输出端，依照顺序依次连接卷积神经网络ZFNet、区域建议网络、ROIPooling层和全连接层，建立关键部件定位网络，将标注图像划分为训练集和验证集，将训练集输入至关键部件定位网络进行学习，并通过验证集进行验证，得到训练后的关键部件定位网络；S4、设置剪裁层根据关键部件定位网络输出的轨道车辆关键部件图像信息，通过剪裁层将包含关键部件的矩形区域从原轨道车辆关键部件图像中剪裁出来，得到关键部件矩形区域图像；S5、建立并训练螺栓松动检测网络以残差网络为输入端，全连接层为输出端，将相互连接的区域建议网络和ROIPooling层插接至残差网络中，区域建议网络与残差网络最后第二层卷积层连接，ROIPooling层与残差网络最后第一层卷积层连接，残差网络最后一层卷积层与全连接层连接，建立训练螺栓松动检测网络，将关键部件矩形区域图像划分为训练集和验证集，将训练集输入至螺栓松动检测网络进行学习，并通过验证集进行验真得到训练后的螺栓松动检测网络；S6、图像测试实时获取螺栓处的轨道车辆关键部件图像作为测试图像，将测试图像输入至训练后的关键部件定位网络，根据关键部件定位网络的输出信息，通过剪裁层剪裁包含关键部件的矩形区域得到关键部件矩形区域图像并将其输入至训练后的螺栓松动检测网络，根据螺栓松动检测网络的输出结果判断螺栓是否松动。进一步的，步骤S2中，剪裁图像之前，通过图像增强的方法对获取的图像进行处理。进一步的，步骤S4中，通过剪裁层将包含关键部件的矩形区域从原轨道车辆关键部件图像中剪裁出来之前，对该关键部件是否完整进行确认，其具体步骤为：定义等效边长比D，等效边长比D表示为：式中，H为输入图像的高，W为输入图像的宽，(xmin,ymin)为关键部件定位网络输出矩形区域的左上顶点坐标，(xmax,ymax)为关键部件定位网络输出矩形区域的右下顶点坐标；定义决定是否剪裁的阈值为d，当D＞d时，该关键部件不完整，将关键部件不完整的图片剔除，当D≤d时，该关键部件完整，得到关键部件完整的图片用于通过剪裁层剪裁获得关键部件矩形区域图像。优选的，步骤S2中，采用labelImg标注工具对每张图像进行人工标注，标注出每张图像的每个关键部件的最小外接矩形框坐标并生成对应的xml标注文件。优选的，步骤S3中，将标注图像按照4:1、或3:1、或5:1的数量比例划分为训练集和验证集，在进行验证时，按照设定间隔时间调用一次验证集进行验证，在关键部位定位网络出现过拟和之前且训练集loss曲线已经收敛之际停止训练，得到训练后的关键部位定位网络。优选的，步骤S3中，标注图像经卷积神经网络后得到特征图，特征图被送入区域建议网络，经过区域建议网络内的全卷积网路和非线性层relu运算之后，特征图上每一个3×3的区域会被变为一个512维的特征向量，该特征向量送入区域建议网络内的全连接层进行候选框的分类以及候选框位置的回归，根据候选框的位置信息，在卷积神经网络处理后得到的特征图上通过ROIPooling层进行ROIPooling，ROIPooling层输出的结果进入关键部件定位网络内的全连接层进行最优候选框的分类以及最优候选框位置的回归，关键部件定位网络最终输出的轨道车辆关键部件图像包含一个或多个完整关键部件的矩形框的左上顶点坐标和右下顶点坐标、关键部件名称以及置信度。优选的，步骤S3中，卷积神经网络由一组或多组卷积单元串联连接组成。优选的，每组卷积单元均由一个卷积层conv或若干个卷积层conv本文档来自技高网...

【技术保护点】
1.一种轨道车辆螺栓松动检测方法，其特征在于，其步骤为:S1、获取图像在不同光照条件下获取螺栓处的多张轨道车辆关键部件图像；S2、图像处理剪裁图像将每张图像剪裁至设定大小；标注图像对每张图像进行人工标注，得到标注图像及标注文件；S3、建立并训练关键部件定位网络以卷积神经网络ZFNet为输入端，全连接层为输出端，依照顺序依次连接卷积神经网络ZFNet、区域建议网络、ROI Pooling层和全连接层，建立关键部件定位网络，将标注图像划分为训练集和验证集，将训练集输入至关键部件定位网络进行学习，并通过验证集进行验证，得到训练后的关键部件定位网络；S4、设置剪裁层根据关键部件定位网络输出的轨道车辆关键部件图像信息，通过剪裁层将包含关键部件的矩形区域从原轨道车辆关键部件图像中剪裁出来，得到关键部件矩形区域图像；S5、建立并训练螺栓松动检测网络以残差网络为输入端，全连接层为输出端，将顺序连接的区域建议网络和ROI Pooling层插接至残差网络中，区域建议网络与残差网络最后第二层卷积层连接，ROI Pooling层与残差网络最后第一层卷积层连接，残差网络最后一层卷积层与全连接层连接，建立训练螺栓松动检测网络，将关键部件矩形区域图像划分为训练集和验证集，将训练集输入至螺栓松动检测网络进行学习，并通过验证集进行验真得到训练后的螺栓松动检测网络；S6、图像测试实时获取螺栓处的轨道车辆关键部件图像作为测试图像，将测试图像输入至训练后的关键部件定位网络，根据关键部件定位网络的输出信息，通过剪裁层剪裁包含关键部件的矩形区域得到关键部件矩形区域图像并将其输入至训练后的螺栓松动检测网络，根据螺栓松动检测网络的输出结果判断螺栓是否松动。...

【技术特征摘要】
1.一种轨道车辆螺栓松动检测方法，其特征在于，其步骤为:S1、获取图像在不同光照条件下获取螺栓处的多张轨道车辆关键部件图像；S2、图像处理剪裁图像将每张图像剪裁至设定大小；标注图像对每张图像进行人工标注，得到标注图像及标注文件；S3、建立并训练关键部件定位网络以卷积神经网络ZFNet为输入端，全连接层为输出端，依照顺序依次连接卷积神经网络ZFNet、区域建议网络、ROIPooling层和全连接层，建立关键部件定位网络，将标注图像划分为训练集和验证集，将训练集输入至关键部件定位网络进行学习，并通过验证集进行验证，得到训练后的关键部件定位网络；S4、设置剪裁层根据关键部件定位网络输出的轨道车辆关键部件图像信息，通过剪裁层将包含关键部件的矩形区域从原轨道车辆关键部件图像中剪裁出来，得到关键部件矩形区域图像；S5、建立并训练螺栓松动检测网络以残差网络为输入端，全连接层为输出端，将顺序连接的区域建议网络和ROIPooling层插接至残差网络中，区域建议网络与残差网络最后第二层卷积层连接，ROIPooling层与残差网络最后第一层卷积层连接，残差网络最后一层卷积层与全连接层连接，建立训练螺栓松动检测网络，将关键部件矩形区域图像划分为训练集和验证集，将训练集输入至螺栓松动检测网络进行学习，并通过验证集进行验真得到训练后的螺栓松动检测网络；S6、图像测试实时获取螺栓处的轨道车辆关键部件图像作为测试图像，将测试图像输入至训练后的关键部件定位网络，根据关键部件定位网络的输出信息，通过剪裁层剪裁包含关键部件的矩形区域得到关键部件矩形区域图像并将其输入至训练后的螺栓松动检测网络，根据螺栓松动检测网络的输出结果判断螺栓是否松动。2.如权利要求1所述的轨道车辆螺栓松动检测方法，其特征在于，步骤S2中，剪裁图像之前，通过图像增强的方法对获取的图像进行处理。3.如权利要求2所述的轨道车辆螺栓松动检测方法，其特征在于，步骤S4中，通过剪裁层将包含关键部件的矩形区域从原轨道车辆关键部件图像中剪裁出来之前，对该关键部件是否完整进行确认，其具体步骤为：定义等效边长比D，等效边长比D表示为：式中，H为输入图像的高，W为输入图像的宽，(xmin,ymin)为关键部件定位网络输出矩形区域的左上定点坐标，(xmax,ymax)为关键部件定位网络输出矩形区域的右下顶点坐标；定义决定是否剪裁的阈值为d，当D＞d时，该关键部件不完整，将关键部件不完整的图片剔除，当D≤d时，该关键部件完整，得到关键部件完整的图片用于通过剪裁层剪裁获得关键部件矩形区域图像。4.如权利要求1至3任意一项所述的轨道车辆螺栓松动检测方法，其特征在于，步骤S2中，采用labelImg标注工具对每张图像进行人工标注，标注出每张图像的每个关键部件的最小外接矩形框坐标并生成对应的xml标注文件。5.如权利要求4所述的轨道车辆螺栓松动检测方法，其特征在于，步骤S3中，将标注图像按照4:1、或3:1、或5:1的数量比例划分为训练集和验证集，在进行验证时，按照设定间隔时间调用一次验证集进行验证，在关键部位定位网络出现过拟和之前且训练集loss曲线已经收敛之际停止训练，得到训练后的关键部位定位网络。6.如权利要求5所述的轨道车辆螺栓松动检测方法，其特征在于，步骤S3中，标注图像经卷积神经网络ZFNet后得到特征图，特征图被送入区域建议网络，经过区域建议网络内的全卷积网路和非线性层relu运算之后，特征图上每一个3×3的区域会被变为一个512维的特征向量，该特征向量送入区域建议网络内的全连接层进行候选框的分类以及候选框位置的回归，根据候选框的位置信息，在卷积神经网络处理后得到的特征图上通过ROIPooling层进行ROIPooling，ROIPooling层输出的结果进入关键部件定位网络内的全连接层进行最优候选框的分类以及最优候选框位置的回归，关键部件定位网络最终输出的轨道车辆关键部件图像包含一个或多个完整关键部件的矩形框的左上顶点坐标和右下顶点坐标、关键部件名称以及置信度。7.如权利要求6所述的轨道车辆螺栓松动检测方法，其特征在于，步骤S3中，卷积神经网络ZFNet由一组或多组卷积单元串联连接组成。8.如权利要求7所述的轨道车辆螺栓松动检测方法，其特征在于，每组卷积单元均由一个卷积层conv或若干个卷积层conv串联连接形成的卷积层单元和由一个非线性层relu或若干个非线性层relu串联连接形成的非线性层单元组成，卷积层单元最后一层卷积...

【专利技术属性】
技术研发人员：王勇，张兴田，沈泓，周丽萍，李明扬，臧勐佳，赵晓东，兰洪财，
申请(专利权)人：中车青岛四方车辆研究所有限公司，
类型：发明
国别省市：山东,37