一种基于三维点云的列车部件变形检测方法技术

本发明专利技术公开了一种基于三维点云的列车部件变形检测方法，首先小车导航到指定检修位置，通过机械臂上的三维工业相机采集箱体的二维图像和三维点云。结合PP

【技术实现步骤摘要】
一种基于三维点云的列车部件变形检测方法


[0001]本专利技术涉及列车部件变形故障检测
，具体涉及一种基于三维点云的列车部件变形检测方法。

技术介绍

[0002]随着物联网、信息技术、5G技术、人工智能和大数据技术在城市轨道交通行业的应用，极大提高了我国城市轨道交通的智能化水平。“智慧地铁”的身影在进出站随处可见，乘客可以轻松享受“数字交通”。然而，在乘客无法感知的另一面，地铁巡检的方式还是以人工作业为主，即检修工人到地铁停运点通过眼睛来检查，由于地铁列车底部结构复杂，检测部件数目和种类繁多，工人检修易受外部环境和心理因素的影响，导致列车检修速度慢，漏检率较高、检修准确度不高以及检修成本高，最终影响列车的运营安全。因此，很有必要通过结合当下的前沿技术，如计算机视觉、人工智能和异常检测开展列车智能化检修。
[0003]目前基于机器视觉的大量应用在民生和工业领域落地，在民生领域有交通违规拍摄、重点区域刷脸门禁、医学辅助诊断以及电影特效制作等项目，为人民安居乐业提供安全保障以及人们便利、丰富的生活方式。在工业领域，机器视觉可以说是工业自动化系统的灵魂之窗，从物件/条码辨识、产品检测、外观尺寸量测到机械手臂/传动设备定位，都是机器视觉技术可以发挥的舞台。而机器视觉对于轨道交通的故障检测，现在也被提上日程，成为了研究的热点。而基于机器视觉的故障检测处于发展阶段，大部分的故障检测算法都是基于2D图像进行检测的，这类检测方法对硬件的要求较低，算法扩展性强，能够针对大部分部件完成检测，并且图像采集简单快速，易于传输与处理。但是2D图像无法获取待检测部件的空间信息，容易受到环境光照、表面污渍影响。在地铁列车中，部分部件的异常难以单纯使用2D信息进行判定，需要根据空间信息才能够完成判断，比如消耗型部件的磨损量，部件尺寸的检测等。因此，基于3D的异常检测也成为目前研究的一个热点。
[0004]目前投入使用的地铁外观检测系统大多数是在检修点的固定线扫相机采集地铁列车部件图像，当列车通过检修点与相机发生相对位移，利用线扫描成像原理逐像素线采集图像。这种方式的采集系统只能拍到列车底部的表面部件，一些侧面和遮挡的部件无法捕获到，此外也不能进行许多精细化测量任务，因此这种方式的地铁外观检测系统不能完全替代人工检测，只能在一定程度减少了检修人员的工作量。地铁列车底部有大量箱体需要检修，如辅助制动箱、PA箱(PA箱就是整合辅助逆变器(DC/AC)的牵引箱，装在C车，箱内一半是辅逆，一半是VVVF牵引逆变器。)、PH箱(PH箱就是整合高压器的牵引箱，装在B车，箱内一半是HSCB高速开关及高压传感器,一半是VVVF牵引逆变器。)、AB箱等，通常这些箱体内部装有各种精密设备，箱体的异常变形很可能会导致内部设备的损坏，这将会对列车运行安全产生巨大的危害。
[0005]物体表面变形测量的方法还是以网格法和数字散斑相关法为主。网格法在使用时须在物体表面预制规定的网格，绘制网格的质量要求较高，且其测量变形精度有限，因此网格法的应用在一定程度上受到了限制。数字散斑相关法是一种匹配物体表面随机分布的散
斑场的特征来直接计算全场变形信息的光测方法，变形位移数据的稠密程度可以根据需要在计算过程中方便的设置，但是该方法对变形体表面的灰度特征有一定要求，且计算过程复杂，计算量大。目前基于机器视觉的变形检测方法目前还没有在地铁列车底部箱体变形检测方面应用，对于列车底部箱体变形检测的方案还是以人工巡检方式为主。究其原因，大概有以下三点：一是物体表面检测技术需要对待测部件进行预制网格或需要在表面生成散斑场，而实际的列车待测部件不允许这些操作；二是列车底部环境因素，待测部件易受到光照变化和污渍遮挡等影响，这会直接改变采集到的图像特征；三是列车底部待测部件的负样本很难获得，目前采集得到的数据中，箱体变形的样本(负样本)非常少。而三维点云可以直接得到待测部件的空间分布信息，对于变形测量这种有明显空间分布改变的检测问题来说无疑非常合适的。但是当前在机器视觉应用研究中很少使用三维点云，其原因为：一是对于三维点云处理算法相比二维图像来说不够成熟，大量的机器视觉算法不适合或很难对三维点云进行分析；二是高精度的三维点云捕获设备成本昂贵，通常来说3D相机比起线扫相机昂贵许多；三是对点云的处理的计算量大，依赖高性能计算机器，点云数据一般包括点的空间坐标、颜色分量甚至法向量，庞大的数据量造成数据处理过程中的海量计算。
[0006]从上诉背景中可以清晰地得到利用2D+3D视觉进行地铁列车底部箱体变形检测必须要解决的四个关键点是：(1)算法模型必须能够有效抑制环境因素的干扰，如光照变化、污渍等，具有强鲁棒性。(2)算法模型需要在少样本情况下，依然可以进行变形检测。(2)算法模型需要发挥三维点云特点，完成精细化检测。(3)算法模型必须具备高精度、高稳定性以及泛化性的特点，能够检测不同车次车厢的待测部件，这样才能替代人工检修的方式，并且保证列车运行安全。(4)高效率，列车检修的时间只能是运营空期，在这个空期内需要完成对整个列车的检查与维修，因此需检测效率有极高要求，需要算法模型在短时间内准确完成项点的检测，亟需一种能解决上述问题的新的列车部件变形检测方法。

技术实现思路

[0007]为解决现有技术中存在的问题，本专利技术提供了一种基于三维点云的列车部件变形检测方法，实现在整个地铁车底复杂的环境下稳定实现箱体的定位、分割、配准和变形检测功能，通过计算客观的真实数据来判断箱体是否变形，解决了上述
技术介绍
中提到的问题。
[0008]为实现上述目的，本专利技术提供如下技术方案：一种基于三维点云的列车部件变形检测方法，所述检测方法包括如下步骤：
[0009]S1、数据采集：列车巡检小车自动定位到指定位置，通过机械臂上的三维工业相机采集箱体的二维图像和三维点云；
[0010]S2、采用PP
‑
PicoDet检测模型结合二维图像与三维点云映射关系，定位三维点云空间中的箱体点云；
[0011]S3、基于深度信息和MLESAC(最大似然估计算法的随机抽样一致性)区域分割算法分割箱体点云获取箱体平面的目标点云P
o
；
[0012]S4、基于SAC
‑
IA(采样一致性初始配准算法)和NonLinearICP(迭代最近点)算法将获得的箱体的目标点云P
o
和数据库中预先保存的模板点云P
t
进行配准；
[0013]S5、箱体变形判断；
[0014]S6、箱体变形定位。
[0015]优选的，所述步骤S2具体包括如下步骤：
[0016]S21：加载已经训练好的PP
‑
PicoDet目标检测模型，在二维图像中对箱体进行目标检测，获得箱体边界框的二维坐标；
[0017]S22：将检测到的二维坐标映射到三维点云中，获取箱体目标点云P
o
。
[0018]优选的，所述所述步骤S3具体包括如下步骤：
[0019]S31：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维点云的列车部件变形检测方法，其特征在于，所述检测方法包括如下步骤：S1、数据采集：列车巡检小车自动定位到指定位置，通过机械臂上的三维工业相机采集箱体的二维图像和三维点云；S2、采用PP
‑
PicoDet检测模型结合二维图像与三维点云映射关系，定位三维点云空间中的箱体点云；S3、基于深度信息和MLESAC区域分割算法分割箱体点云得到箱体平面的目标点云P
o
；S4、基于SAC
‑
IA和NonLinearICP算法将获得的箱体的目标点云P
o
和数据库中预先保存的模板点云P
t
进行配准；S5、箱体变形判断；S6、箱体变形定位。2.根据权利要求1所述的基于三维点云的列车部件变形检测方法，其特征在于：所述步骤S2具体包括如下步骤：S21：加载已经训练好的PP
‑
PicoDet目标检测模型，在二维图像中对箱体进行目标检测，获得箱体边界框的二维坐标；S22：将检测到的二维坐标映射到三维点云中，获取箱体目标点云P
o
。3.根据权利要求1所述的基于三维点云的列车部件变形检测方法，其特征在于：所述所述步骤S3具体包括如下步骤：S31：利用点云深度信息过滤掉除箱体之外的大量环境点云；S32：采用基于法线的点云双边滤波方法来对点云数据预处理，进一步去除环境点云；S33：使用MLESAC算法检测点云集合中的全局最优平面模型，同时进一步剔除环境点云等外点，输出符合所求平面模型的内点。4.根据权利要求1所述的基于三维点云的列车部件变形检测方法，其特征在于：所述步骤S4具体包括如下步骤：S41：设置三维体素栅格尺寸Δl，完成对模板点云P
t
下采样，减少检测过程的计算量；S42：利用SAC
‑
IA算法对目标点云和模板点云的粗配准，得到初始旋转矩阵和平移向量；S43：输入初始旋转矩阵以及平移向量，采用NonLinearICP算法对两点云进行精配准，获取最终的旋转矩阵和平移向量，以及两点云之间的匹配点对数N
p
，其中将目标点云经过空间变换得到的点云记为配准点云P
r
。5.根据权利要求1所述的基于三维点云的列车部件变形检测方法，其特征在于：所述步骤S5具体包括如下步骤：S51：获取得到的目标点云P
o
和模板点云P
t
的匹配点对数N
p
，以及根据目标点P
o
云的数量设定匹配点对数阈值T
match
，T
match
＝N/λ，N是目标点云P
o
中点的个数；S52：计算箱体模板点云与目标点云匹配点之间的均方根RMSE，通过T
match
和RMSE两个评价参数完成箱体变形的逻辑判断。当匹配点数N
p
...

【专利技术属性】
技术研发人员：秦娜，杜元福，刘佳辉，周期，谢林孜，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：