基于二维定位和三维姿态解算的地铁阀门状态检测方法技术

本发明专利技术公开了一种基于二维定位和三维姿态解算的地铁阀门状态检测方法，具体为：通过地铁巡检小车携带工业相机采集待检修的地铁列车阀门部件2D及3D数据；基于深度学习的目标检测网络对2D图片部件及参照物定位；通过点云RGB中的R通道进一步筛选点云，并拟合出阀门基座质心和阀门末端质心；以阀门基座坐标为基准，解算当前坐标系与模板坐标系的转换矩阵，通过坐标变换，求取出阀门末端在模板坐标系下的坐标；对阀门姿态解算，根据偏转角度与设定阈值作对比，判断阀门是否处于正常状态。本发明专利技术能够为地铁列车的安全运行提供强力的保障，通过巡检机器人代替人工的方式能够将每次数据进行保存，为列车建立更精确的数字化模型。为列车建立更精确的数字化模型。为列车建立更精确的数字化模型。

【技术实现步骤摘要】
基于二维定位和三维姿态解算的地铁阀门状态检测方法


[0001]本专利技术属于地铁阀门状态检测领域，尤其涉及一种基于二维定位和三维姿态解算的地铁阀门状态检测方法。

技术介绍

[0002]随着我国经济、科技的快速发展，借助物联网、人工智能、5G技术等助力一个又一个领域提高智能化水平。无人售票、刷脸进站、NFC快速支付等项目的成功落地，极大提高了我国交通运输领域的智能化水平。“智慧地铁”的身影从乘客进站到出站随处可见。然而，在乘客无法感知的一面，地铁的巡检维护绝大部分仍然依赖传统的人工检测方式，这显然不符合中国城轨交通协会提出的城市轨道交通信息化建设要求。而且人工检测的方式有诸多缺点，效率低、成本高、工作环境恶劣，容易对检修人员安全产生威胁，同时对于部分复杂部件容易存在漏检的隐患，影响列车安全运营。因此，结合当下前沿技术，如计算机视觉、人工智能，异常检测等，代替一部分人工工作，提高列车巡检的智能化程度成为“智能地铁”发展的必然趋势。
[0003]目前基于机器视觉的大量应用已成功落地，在民生领域有交通违规拍摄、重点区域刷脸门禁、AI特效以及基于图片的内容检索等项目。为人民安居乐业提供了安全保障，给人们提供了便利，丰富了人们的生活方式。而在工业领域有基于机器视觉的安全帽检测、产品异常检测等，保障了工人的生命安全，提高了企业的生产效率。还有医学图像、航天测绘等领域的应用，极大得助力了产业发展。而对于轨道交通的异常检测的智能化，现在也被提上日程，成为了研究的热点。目前在地铁异常检测方面落地的多是一些基于传感器信号的异常检测方法，如温度检测等。这类检测具有专一性，虽然准确率高，但是不具备拓展性，难以应用在其他部件的检测上。而基于计算机视觉的异常检测处于发展阶段，大部分的异常检测算法都是基于2D图像进行检测的，这类检测方法可扩展性强，能够针对大部分部件完成检测，比如在螺栓松动、齿轮箱液位检测中，可以通过防松线位置来实现异常检测，并且采集简单快速，易于传输与处理。但是2D图片无法获取部件的空间信息，容易受到环境、污渍影响。在地铁列车中，部分部件的异常难以单纯使用2D信息进行判定，需要根据空间信息才能够完成判断，比如消耗型部件的磨损量，部件尺寸的检测等。因此，基于3D的异常检测也成为目前研究的一个热点。
[0004]目前完成度比较高的地铁外观检测系统主要是通过在检修站点架设线扫相机，当列车进入检修站就通过扫描成像的方式获取列车侧视图以及仰视图。这类系统只能获取表面部件单一角度信息，并且对于有遮挡的内部区域部件，无法获取有效图像信息，也存在2D检测的局限性，只能在一定程度上减少人工检修工作量。
[0005]在列车中存在大量阀门，如总风阀门、供风阀门、总风管等，为列车气动部件提供动力支持；如拉塞门、空气弹簧等，为列车运行平稳提供保障。它的异常将对列车运行安全产生巨大危害。
[0006]从上述背景中可以分析出利用2D+3D实现阀门状态检测需要解决以下几个关键
点：1.算法模型需要有效解决2D图片易于受环境、污渍影响的问题，具有强鲁棒性。2.算法模型需要具有强大的泛化能力，能够准确获取不同车次、不同位置以及不同环境下的阀门姿态信息。3.高效率，列车只有在停运阶段进行检修，而且是多条路线地铁列车在同一站点检修。检测系统完成检测后还需将故障提供给检修人员，实现定点维护，因此需要算法模型快速、高效完成部件检测。

技术实现思路

[0007]针对上述问题，本专利技术提供一种基于二维定位和三维姿态解算的地铁阀门状态检测方法。
[0008]本专利技术的一种基于二维定位和三维姿态解算的地铁阀门状态检测方法，包括以下步骤：步骤1：地铁巡检小车自动定位到指定位置，通过机械臂上携带的三维工业相机采集待检修的地铁列车阀门部件2D及3D数据。
[0009]步骤2：基于深度学习的YOLOV5L目标检测网络对2D图片部件及参照物定位。
[0010]步骤3：通过点云RGB中的R通道进一步筛选点云，并拟合出阀门基座质心和阀门末端质心；以阀门基座坐标为基准，解算当前坐标系与模板坐标系的转换矩阵，通过坐标变换，求取出阀门末端在模板坐标系下的坐标。
[0011]步骤4：对阀门姿态解算，根据偏转角度与设定阈值作对比，判断阀门是否处于正常状态。
[0012]进一步的，步骤2具体为：S21：加载训练好的YOLOV5L目标检测模型，对2D图片进行目标检测处理。
[0013]S22：目标检测模型从2D图片中框选出阀门信息：阀门基座坐标、阀门末端坐标。
[0014]S23：将坐标映射到三维点云数据中，获取阀门基座、阀门末端的点云数据，从而过滤无关点云数据，加速模型速度。
[0015]进一步的，步骤3具体为：S31：遍历步骤2中阀门基座与阀门末端点云数据，通过点云RGB信息，精确筛选出属于阀门部件的点云。
[0016]S32：利用质心公式对筛选出的点云进行求质心运算，获取一个最能代表阀门基座和阀门末端空间位置的坐标：S33：通过首次数据采集，确定在正常状态下阀门基座质心与阀门末端质心坐标和模板坐标系；并以此为基准，对后续采集的数据，以阀门基座质心为参照，通过三维坐标变换，求取阀门末端质心在模板坐标系下的坐标。
[0017]进一步的，步骤4具体为：S41：设在数据库模板坐标系下阀门末端坐标为，待测阀门末端质心为，坐标转换后阀门末端质心在模板坐标系中坐标为，阀门长度为l：
通过空间距离公式计算的欧式距离：S42：通过反三角函数解算出阀门偏移角度θ1：S43：根据阀门偏转角度θ1，与设定阈值Δθ作对比，判断阀门是否处于正常状态：如果发生异常则发出报警和故障发生具体位置，提示检修人员进行定点维护。
[0018]进一步的，设定阈值Δθ取值15
°
。
[0019]本专利技术的有益技术效果为：1、本专利技术通过智能巡检小车自主精确到达停车点及六自由度机械臂搭载3D相机实现在最佳拍摄角度采集数据，能够最大限度获取待测部件的空间信息，解决了基于定点架设线扫的外观检测系统获取信息不足，带来的检测困难问题，有效提升了检测的准确率。
[0020]2、本专利技术设计一种基于2维图像目标定位的预处理方法，通过2维定位映射到3维点云数据上，再利用色域二次过滤点云，从而有效过滤无关点云，加速算法模型速度，提升效率。利用基于深度学习的神经网络实现目标定位能够有效提升算法模型的鲁棒性，减少因拍摄角度出现偏差或环境光照、污渍影响时带来的目标定位不准问题，同时给算法模型后期可以不断增加数据量对网络进行训练，在使用中不断提升性能。
[0021]3、本专利技术通过2维定位和3维点云数据精确计算出阀门基座、阀门末端质心空间坐标以及通过以阀门基座为依照求解出采集时刻坐标系与数据库模板坐标系的转换算子，获取在数据库模板坐标系下的阀门末端质心坐标。通过分析阀门偏移角与阀门末端偏移前后得到的弦长的关系，从而建立数学模型，通过弦长公式以及反三角函数准确得解算出阀门偏移角度，从而根据设定阈值，准确判断阀门是否处于正常工作状态本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于二维定位和三维姿态解算的地铁阀门状态检测方法，其特征在于，包括以下步骤：步骤1：地铁巡检小车自动定位到指定位置，通过机械臂上携带的三维工业相机采集待检修的地铁列车阀门部件2D及3D数据；步骤2：基于深度学习的YOLOV5L目标检测网络对2D图片部件及参照物定位；步骤3：通过点云RGB中的R通道进一步筛选点云，并拟合出阀门基座质心和阀门末端质心；以阀门基座坐标为基准，解算当前坐标系与模板坐标系的转换矩阵，通过坐标变换，求取出阀门末端在模板坐标系下的坐标；步骤4：对阀门姿态解算，根据偏转角度与设定阈值作对比，判断阀门是否处于正常状态。2.根据权利要求1所述的一种基于二维定位和三维姿态解算的地铁阀门状态检测方法，其特征在于，所述步骤2具体为：S21：加载训练好的YOLOV5L目标检测模型，对2D图片进行目标检测处理；S22：目标检测模型从2D图片中框选出阀门信息：阀门基座坐标、阀门末端坐标；S23：将坐标映射到三维点云数据中，获取阀门基座、阀门末端的点云数据，从而过滤无关点云数据，加速模型速度。3.根据权利要求2所述的一种基于二维定位和三维姿态解算的地铁阀门状态检测方法，其特征在于，所述步骤3具体为...

【专利技术属性】
技术研发人员：秦娜，周重合，黄德青，万字朋，倪思杰，蔡重阳，
申请(专利权)人：西南交通大学，
类型：发明
国别省市：