【技术实现步骤摘要】
本专利技术属于紧固件松动检测，具体涉及一种基于机器视觉的螺栓检测方法和装置。
技术介绍
1、列车车辆底部的检修是铁路及地铁维修工作中必不可少的一部分，主要的工作内容是检测车辆底部可视零件无松动，外观无损坏，车底无异物，保障了列车在次日运营时的顺利进行。
2、传统的列车车底检查方式是由作业人员在凌晨使用手电筒进行，依靠人眼观察和个人经验进行判断。但是利用人工进行列车车辆底部检修存在以下几个缺点：人力和时间成本高、安全风险、主观性和误差、检查覆盖不全面、不适应大规模检测。
3、因此，为了提高效率、降低安全风险、提高检查准确性，并适应大规模检测需求，越来越多的铁路运输部门倾向于采用自动化检测设备来代替人工检修。自动化设备一般通过图像处理和智能算法快速准确地检测底部设备的状态，有效解决了人工检修存在的问题，提高了列车运行的安全性和可靠性。
技术实现思路
1、本专利技术的目的在于提供一种基于机器视觉的螺栓检测方法和装置，用以解决列车车辆底部螺栓检测过程中存在误差、精度不足的问题。
2、为解决上述技术问题，本专利技术提供了一种基于机器视觉的螺栓检测方法，该方法包括以下步骤：
3、步骤1：采集待检测螺栓图像，通过训练后的分类模型对图像进行分类，以确定待检测螺栓图像的类型为螺钉图像还是螺母图像，随后利用训练后的目标定位模型进行螺栓所在位置目标框的提取，最后利用训练后的分割网络对目标框中的防松线区域进行分割，分割后得到至少一个防松线区域；
5、上述技术方案的有益效果为：在只存在一段防松线的情况下，可以通过像素比值进行判断，将防松线像素个数与目标框图像像素个数做比例，如果防松线在图像中的比例较高，证明两段防松线已经连接，同时在图像中占比较高；如果防松线在图像中占比较低时，证明仅拍摄到半段防松线，且防松线已断开，从而快速准确的判断螺栓是否松动。
6、进一步地，若待检测螺栓图像为螺钉图像，且防松线区域个数为2时，对防松线区域进行进一步处理以连通近距离区域，继续判断处理后的防松线区域个数，当处理后的防松线区域个数为1时判定螺钉未松动。
7、上述技术方案的有益效果为：对目标框图像进行进一步处理去除误差，再次对目标框图像个数进行判断，有效的提升了检测精度。
8、进一步地，当处理后的防松线区域个数为2时，对防松线区域进行处理提取目标边缘，根据目标边缘外接矩形，计算两矩形长边角度差，判断角度差是否超出预先设定的螺钉角度阈值，当超出螺钉角度阈值时判定螺钉松动，当未超出螺钉角度阈值时判定为螺钉未松动。
9、上述技术方案的有益效果为：使用的通过计算外接矩形角度差的判断方法可靠度较高，使检测结果更加精确。
10、进一步地，若待检测螺栓图像为螺母图像，且防松线区域个数大于等于2时，对防松线区域进行进一步处理以连通多个防松线区域，使能得到防松线区域的外接矩形，计算分割出防松线区域的像素个数与外接矩形像素个数的比值，判断比值是否超过预先设定的螺母比值阈值，若超过螺母比值阈值则判定螺母未松动，若未超过螺母比值阈值则判定螺母松动。
11、上述技术方案的有益效果为：对图像进行进一步处理，通过拟合防松线区域之间的外接矩形后，通过将外接矩形像素个数和防松线面积像素个数做比例，如果防松线在图像中的比例较高，证明两段防松线已经连接，同时在图像中占比较高；如果防松线在图像中占比较低时，证明仅拍摄到半段防松线，且防松线已断开，使检测的结果更加精确。
12、进一步地，对防松线区域进行进一步处理为膨胀操作。
13、上述技术方案的有益效果为：对图像进行进一步处理连通近距离区域，排除掉可能存在的误差使结果更加精确。
14、进一步地，对防松线区域进行进一步处理为去除防松线区域中的螺纹尖锐点，连通防松线区域中多个区域，提取连通后防松线区域的目标边缘，根据目标边缘外接矩形。
15、上述技术方案的有益效果为：对防松线区域进行进一步处理，去除尖锐点连通多个区域，便于之后对目标边缘的提取，根据目标边缘外接矩形。
16、进一步地，分类模型、目标定位模型和分割网络均包括特征提取单元，特征提取单元包括分块处理模块、初步特征提取模块、特征嵌入模块、编码解码模块和骨干网络，分块处理模块用于对输入图像进行分块处理，初步特征提取模块用于对各分块图像进行特征图提取，特征嵌入模块用于对特征图做线性处理得到以一维向量，对该向量做embedding处理同时插入位置编码，编码解码模块用于将图像转换成的embedding值输入encoder和decoder做多头自注意力并将结果输入骨干网络，骨干网络用于进行进一步提取特征。
17、上述技术方案的有益效果为：选择合适的机器学习模型对目标位置进行粗定位，定位出螺栓的精准位置，在大量标准数据集的基础下，可以很大程度上提升本算法的泛化性，解决传统模板匹配方法精度不足的问题。
18、进一步地，训练目标定位模型时所使用的损失函数为：
19、
20、其中x是真实值和预测值的差值，l是损失值。
21、上述技术方案的有益效果为：选择合适的损失函数，使目标框的定位更加精准。
22、进一步地，训练分割网络时所使用的损失函数为：
23、
24、式中ce(p,q)是分割网络的损失值，pi是图中i点对应为防松线的概率，qi是i点预测为防松线的概率。
25、上述技术方案的有益效果为：选择合适的损失函数，使对防松线分割的结果更加精确。
26、本专利技术还提供了一种基于机器视觉的螺栓检测装置，该检测装置包括存储器和处理器，以及存储在存储器上的并在处理器上运行的计算机程序，处理器用于执行存储在存储器中的计算机程序指令以实现上述介绍的基于机器视觉的螺栓检测方法，以达到与方法相同的有益效果。
本文档来自技高网...【技术保护点】
1.一种基于机器视觉的螺栓检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于机器视觉的螺栓检测方法，其特征在于，若待检测螺栓图像为螺钉图像，且防松线区域个数为2时，对防松线区域进行进一步处理以连通近距离区域，继续判断处理后的防松线区域个数，当处理后的防松线区域个数为1时判定螺钉未松动。
3.根据权利要求2所述的基于机器视觉的螺栓检测方法，其特征在于，当处理后的防松线区域个数为2时，对防松线区域进行处理提取目标边缘，根据目标边缘外接矩形，计算两矩形长边角度差，判断角度差是否超出预先设定的螺钉角度阈值，当超出螺钉角度阈值时判定螺钉松动，当未超出螺钉角度阈值时判定为螺钉未松动。
4.根据权利要求1所述的基于机器视觉的螺栓检测方法，其特征在于，若待检测螺栓图像为螺母图像，且防松线区域个数大于等于2时，对防松线区域进行进一步处理以连通多个防松线区域，使能得到防松线区域的外接矩形，计算分割出防松线区域的像素个数与外接矩形像素个数的比值，判断比值是否超过预先设定的螺母比值阈值，若超过螺母比值阈值则判定螺母未松动，若未超过螺母比值阈值则判定螺母
5.根据权利要求2所述的基于机器视觉的螺栓检测方法，其特征在于，所述对防松线区域进行进一步处理为膨胀操作。
6.根据权利要求4所述的基于机器视觉的螺栓检测方法，其特征在于，所述对防松线区域进行进一步处理为去除防松线区域中的螺纹尖锐点，连通防松线区域中多个区域，提取连通后防松线区域的目标边缘，根据目标边缘外接矩形。
7.根据权利要求1所述的基于机器视觉的螺栓检测方法，其特征在于，所述分类模型、目标定位模型和分割网络均包括特征提取单元，所述特征提取单元包括分块处理模块、初步特征提取模块、特征嵌入模块、编码解码模块和骨干网络，分块处理模块用于对输入图像进行分块处理，初步特征提取模块用于对各分块图像进行特征图提取，特征嵌入模块用于对特征图做线性处理得到以一维向量，对该向量做embedding处理同时插入位置编码，编码解码模块用于将图像转换成的embedding值输入encoder和decoder做多头自注意力并将结果输入骨干网络，骨干网络用于进行进一步提取特征。
8.根据权利要求1所述的基于机器视觉的螺栓检测方法，其特征在于，训练目标定位模型时所使用的损失函数为：
9.根据权利要求1所述的基于机器视觉的螺栓检测方法，其特征在于，训练分割网络时所使用的损失函数为：
10.一种基于机器视觉的螺栓检测装置，其特征在于，该检测装置包括存储器和处理器，以及存储在存储器上的并在处理器上运行的计算机程序，处理器用于执行存储在存储器中的计算机程序指令以实现如权利要求1～9任一项所述的基于机器视觉的螺栓检测方法。
...【技术特征摘要】
1.一种基于机器视觉的螺栓检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于机器视觉的螺栓检测方法，其特征在于，若待检测螺栓图像为螺钉图像，且防松线区域个数为2时，对防松线区域进行进一步处理以连通近距离区域，继续判断处理后的防松线区域个数，当处理后的防松线区域个数为1时判定螺钉未松动。
3.根据权利要求2所述的基于机器视觉的螺栓检测方法，其特征在于，当处理后的防松线区域个数为2时，对防松线区域进行处理提取目标边缘，根据目标边缘外接矩形，计算两矩形长边角度差，判断角度差是否超出预先设定的螺钉角度阈值，当超出螺钉角度阈值时判定螺钉松动，当未超出螺钉角度阈值时判定为螺钉未松动。
4.根据权利要求1所述的基于机器视觉的螺栓检测方法，其特征在于，若待检测螺栓图像为螺母图像，且防松线区域个数大于等于2时，对防松线区域进行进一步处理以连通多个防松线区域，使能得到防松线区域的外接矩形，计算分割出防松线区域的像素个数与外接矩形像素个数的比值，判断比值是否超过预先设定的螺母比值阈值，若超过螺母比值阈值则判定螺母未松动，若未超过螺母比值阈值则判定螺母松动。
5.根据权利要求2所述的基于机器视觉的螺栓检测方法，其特征在于，所述对防松线区域进行进一步处理为膨胀操作。
6.根据权利要求4所述的基于机器视觉的螺栓检测方法，其特征...
【专利技术属性】
技术研发人员：李俊涛，郝留成，邢轩瑀，董华军，裴沛，宋继光，葛媛媛，韩华豫，武月，何晨阳，
申请(专利权)人：平高集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。