基于二维图像和三维点云投影的列车定位销松动检测方法技术

本发明专利技术公开了基于二维图像和三维点云投影的列车定位销松动检测方法，包括：使用三维工业相机采集定位销部件的二维图像和三维点云数据；对于二维图，采用YOLOv5目标检测算法定位定位销位置；将二维图中定位销目标区域映射到采集的三维点云数据中，截取目标点云；基于二维图像与三维点云数据综合计算定位销高度；与历史数据和标准数据作差，对比故障阈值，判断定位销状态。本发明专利技术结合二维数据和三维数据的特点，提高了检测算法的稳定性与准确性，实现在整个地铁车底复杂环境下稳定的定位销定位，分割、计算和识别松动的功能，通过计算相关客观真实数据来判断松动；并且能够提供定位销松动的数值，为检修人员提供参考，提升检测效率。效率。效率。

【技术实现步骤摘要】
基于二维图像和三维点云投影的列车定位销松动检测方法


[0001]本专利技术涉及基于二维图像和三维点云投影的列车定位销松动检测方法，属于列车故障检测


技术介绍

[0002]随着国民经济和轨道交通的快速发展，中国的高速铁路系统已经突破4万公里以上，为全球最大规模的高速铁路系统。为了保证列车的安全运行，需要列车在连续运行一天或者几天后入库进行整体进行定期维护检修。目前，尽管智能检测技术发展迅速，但列车的维护依旧以人工维护为主。由于列车数量越来越多，检修环境恶劣，且检修人员易受生理和心理因素影响，可能导致部件漏检和误检。人工检修整个检修过程时间短、效率低、成本高。
[0003]近年来计算机视觉技术已经广泛应用于医学辅助诊断，人脸识别、智能交通监控、桥梁裂纹检测、智能驾驶、高速路车牌识别、航空遥感测控地形地貌、电影特效制作、工业生产自动化检测等领域。计算机视觉在列车故障领域的应用也逐渐被重视起来，各类列车外观检测系统也在处于研发或者应用阶段，但大都是以二维图像为基础来开发算法。二维图像有很多优点，例如采集便捷，算法成熟，易于传输，检测速度快等。但是对于一些故障类型基于二维图片的检测算法开发难度较大，比如部件的尺寸，间隙，距离等物理量的测量，除此之外检测结果可能会受到光照变化、颜色失真等噪声影响。三维点云可以有效地弥补二维图像的部分缺陷，点云能够呈现部件的三维结构，获得大量二维图像所没有的信息，而光照变化，颜色失真等噪声对于点云结构影响不大，因此能够增强检测算法的鲁棒性，但原始三维点云数据量十分庞大，如果直接基于原始点云来实现检测算法，检测时间可能过长；同时，因为三维点云很多是通过激光测量原理得到的，由于角度问题，部分部件区域可能会遮挡激光，导致该区域后的部件点云缺失，因此可能会影响检测准确率。
[0004]定位销是以工件孔作为定位基准，主要用于二维空间的位置确定，参与限制物体自由度的零件。列车定位销位于列车两侧车轮旁，能够反映列车两车侧相同部件的相对位置，可以用来判断两侧车侧相同部件是否处于同一状态，并能够一定程度上限制列车两侧部件的移动。在列车部件在使用过程中由于受振动、腐蚀和冲击等因素的影响，可能会引起松动、转动和位置变化等危害列车安全运行的问题，进而反映到定位销的松动程度上，因此定位销的松动检测对于列车的安全运行非常重要。目前列车定位销的松动检测主要靠人工巡检，通过人眼观察模糊判断定位销高度，以及对定位销底部的防松线进行识别，判断定位销是否松动，该检测方法耗时费力，且无法知道定位销松动程度的精确值，进而不能确定列车两侧相同部件精确的相对位置，对后续的维修造成困阻。因此有必要利用计算机视觉检测技术来对列车设备进行智能、高效、准确的检测，并提升维修效率。
[0005]实际工业环境中的定位销松动检测具备诸多难点：（1）不同的列车定位销模样可能存在差异。（2）每辆列车检修存在时限。（3）实际环境中拍摄的定位销图片由于不同的光照或拍摄角度，具备大量噪点。
[0006]从上诉背景中可以清晰地知道利用计算机视觉进行定位销松动检测必须要解决
的三个关键点是：（1）算法模型必须具备智能性、高鲁棒性、泛化性。算法必须对不同列车部件上的定位销都能够识别并进行松动检测，这样才能代替人工检测实现智能检测，保证列车的运行安全。（2）算法模型必须具备高效率。列车定期检修的运营空期时间短，因此算法必须能在列车的运营空期中快速地完成列车定位销的松动检测，保证列车准时运营。（3）算法模型必须具备高精度性。算法必须可以准确计算定位销的松动程度，为检修人员提供一个松动值，提升质检质量。

技术实现思路

[0007]为了克服现有技术中的问题，本专利技术提供基于二维图像和三维点云投影的列车定位销松动检测方法，该方法结合定位销二维表面图像和定位销三维点云深层结构实现定位销松动检测，弥补了单一二维或三维数据检测的不足之处，可以有效减轻列车质检员繁重的质检工作量，提升质检效率，解决了上述
技术介绍
中提到的问题。
[0008]本专利技术解决上述技术问题所提供的技术方案是：基于二维图像和三维点云投影的列车定位销松动检测方法，包括以下步骤：步骤1、采集定位销部件的三维点云数据，并通过三维点云数据映射为二维定位销图像；步骤2、对二维定位销图像中的定位销位置进行定位，获得包含定位销底座上边缘和定位销紧固件上边缘的图像1和包含定位销紧固件上边缘和下边缘的图像2，并获取图像1中的边框坐标，然后将坐标框映射到三维点云数据中，截取位于三维点云数据中的定位销目标点云；步骤3、对图像1、图像2进行预处理获得以图像Y轴平均分为两份的图像I
1y1
、图像I
1y2
、图像I
2y1
、图像I
2y2
；步骤4、分别对图像I
1y1
、图像I
1y2
、图像I
2y1
、图像I
2y2
检测直线；步骤5、基于图像I
1y1
、图像I
1y2
、图像I
2y1
、图像I
2y2
中检测出的直线计算定位销高度（定位销紧固件上边缘到底座上边缘距离）与定位销紧固件长度（定位销紧固件上边缘到固件右边缘距离）比值K
2D
；步骤6、对三维点云数据进行预处理获得三维点云投影；步骤7、基于三维点云投影计算定位销高度与定位销底座宽度比值K
3D
；步骤8、基于定位销高度与定位销紧固件长度比值K
2D
、定位销高度与定位销底座宽度比值K
3D
计算定位销的平均高度H
D
；步骤9、基于定位销的平均高度H
D
判断定位销是否松动。
[0009]进一步的技术方案是，所述步骤2中通过利用目标检测算法YOLOv5对二维定位销图像的位置进行定位。
[0010]进一步的技术方案是，所述步骤3的具体步骤为：步骤301、利用自适应阈值二值化算法提取定位销基本结构黑白骨架；步骤302、利用基于连通域面积的噪点去除算法，将面积S小于设定阈值T的连通域删除；
步骤303、利用中值滤波非线性平滑算法，平滑定位销骨架结构的边缘毛刺，使得定位销骨架结构更清晰硬朗；将该3*3大小的核kernel与原图进行逐像素卷积；步骤304、利用Canny算子检测定位销边缘；步骤305、将图像1和图像2以其Y轴平均分为两份，分别为图像I
1y1
、图像I
1y2
、图像I
2y1
、图像I
2y2
。
[0011]进一步的技术方案是，所述步骤4的具体步骤为：步骤401、分别对图像I
1y1
、图像I
1y2
、图像I
2y1
、图像I
2y2
使用霍夫直线检测算法检测直线；步骤402、计算每个窗口中每条检测出直线与水平X轴的夹角α；步骤403、在图像I
1y1
、图像I
...

【技术保护点】

【技术特征摘要】
1.基于二维图像和三维点云投影的列车定位销松动检测方法，其特征在于，包括以下步骤：步骤1、采集定位销部件的三维点云数据，并通过三维点云数据映射为二维定位销图像；步骤2、对二维定位销图像中的定位销位置进行定位，获得包含定位销底座上边缘和定位销紧固件上边缘的图像1和包含定位销紧固件上边缘和下边缘的图像2，并获取图像1中的边框坐标，然后将坐标框映射到三维点云数据中，截取位于三维点云数据中的定位销目标点云；步骤3、对图像1、图像2进行预处理获得以图像Y轴平均分为两份的图像I
1y1
、图像I
1y2
、图像I
2y1
、图像I
2y2
；步骤4、分别对图像I
1y1
、图像I
1y2
、图像I
2y1
、图像I
2y2
检测直线；步骤5、基于图像I
1y1
、图像I
1y2
、图像I
2y1
、图像I
2y2
中检测出的直线计算定位销高度与定位销紧固件长度比值K
2D
；步骤6、对三维点云数据进行预处理获得三维点云投影；步骤7、基于三维点云投影计算定位销高度与定位销底座宽度比值K
3D
；步骤8、基于定位销高度与定位销紧固件长度比值K
2D
、定位销高度与定位销底座宽度比值K
3D
计算定位销的平均高度H
D
；步骤9、基于定位销的平均高度H
D
判断定位销是否松动。2.根据权利要求1所述的基于二维图像和三维点云投影的列车定位销松动检测方法，其特征在于，所述步骤2中通过利用目标检测算法YOLOv5对二维定位销图像的位置进行定位。3.根据权利要求1所述的基于二维图像和三维点云投影的列车定位销松动检测方法，其特征在于，所述步骤3的具体步骤为：步骤301、利用自适应阈值二值化算法提取定位销基本结构黑白骨架；步骤302、利用基于连通域面积的噪点去除算法，将面积S小于设定阈值T的连通域删除；步骤303、利用中值滤波非线性平滑算法，平滑定位销骨架结构的边缘毛刺；步骤304、利用Canny算子检测定位销边缘；步骤305、将图像1和图像2以其Y轴平均分为两份，分别为图像I
1y1
、图像I
1y2
、图像I
2y1
、图像I
2y2
。4.根据权利要求3所述的基于二维图像和三维点云投影的列车定位销松动检测方法，其特征在于，所述步骤4的具体步骤为：步骤401、分别对图像I
1y1
、图像I
1y2
、图像I
2y1
、图像I
2y2
使用霍夫直线检测算法检测直线；步骤402、计算每个窗口中每条检测出直线与水平X轴的夹角α；步骤403、在图像I
1y1
、图像I
1y2
中|α|＜30
°
的直线集合里分别选取1条|α|最小的直线，最终能选出第一直线L1和第二直线L2两条目标直线，分别代表定位销底座上边缘和定位销紧固件上边缘；同理在图像I
2y1
、图像I
...

【专利技术属性】
技术研发人员：黄德青，周期，秦娜，刘佳辉，杜元福，谢林孜，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：