一种列车的关键部件丢失检测方法及其系统技术方案

本发明专利技术公开了一种列车的关键部件丢失检测方法及其系统，包括：采集列车走行部的二维图像数据和三维点云数据；基于所述三维点云数据和标准三维点云数据进行图像配准以确定三维转换关系，并基于相机标定参数生成配准深度图和标准深度图；基于所述二维图像数据、所述相机标定参数和所述三维转换关系生成配准灰度图；基于所述配准深度图和所述标准深度图生成第一差异信息，基于所述配准灰度图和标准灰度图生成第二差异信息；基于所述第一差异信息和所述第二差异信息生成检测报告。和所述第二差异信息生成检测报告。和所述第二差异信息生成检测报告。

【技术实现步骤摘要】
一种列车的关键部件丢失检测方法及其系统


[0001]本专利技术涉及轨道车辆检测
，具体涉及一种列车的关键部件丢失检测方法及其系统。

技术介绍

[0002]走行部作为轨道交通车辆中的关键组成部分，在列车运行中发挥着重要作用。走行部由轮对、轴箱油润装置、侧架、摇枕、弹簧减振装置、制动装置、电机等部件组成。
[0003]目前，行业内通用的走行部检测方法仍然是依靠人工通过肉眼查看为主，图像识别类设备为辅的方式确认走行部部件是否存在丢失故障，其人工操作工作量大，且容易发生漏判的情况。并且，传统图像类设备尚处于误报高、检出低的阶段，难以真正的对检修形成作业指导。
[0004]综上所述，传统的列车走行部检测方法存在工作量大、准确率低下的问题。

技术实现思路

[0005]有鉴于此，本专利技术提供一种列车的关键部件丢失检测方法及其系统，通过改进走行部检测方法及检测数据的处理方法，解决了传统的列车走行部检测方法存在的工作量大、准确率低下的问题。
[0006]为解决以上问题，本专利技术的技术方案为采用一种列车的关键部件丢失检测方法，包括：采集列车走行部的二维图像数据和三维点云数据；基于所述三维点云数据和标准三维点云数据进行图像配准以确定三维转换关系，并基于相机标定参数生成配准深度图和标准深度图；基于所述二维图像数据、所述相机标定参数和所述三维转换关系生成配准灰度图；基于所述配准深度图和所述标准深度图生成第一差异信息，基于所述配准灰度图和标准灰度图生成第二差异信息；基于所述第一差异信息和所述第二差异信息生成检测报告。
[0007]可选地，基于所述三维点云数据和标准三维点云数据进行图像配准以确定三维转换关系，并基于相机标定参数生成配准深度图和标准深度图，包括：将所述三维点云数据和所述标准三维点云数据输入第一深度学习网络；基于所述第一深度学习网络计生成所述三维点云数据与所述标准三维点云数据的所述三维转换关系；基于所述三维转换关系，将所述三维点云数据转换到所述标准三维点云数据的姿态下，以实现图像配准；根据相机标定参数，将配准后的所述三维点云数据和所述标准三维点云数据均映射到二维图像上，并将每个点赋值其原本的深度值，生成所述配准深度图和所述标准深度图。
[0008]可选地，基于所述配准深度图和所述标准深度图生成第一差异信息，基于所述配准灰度图和标准灰度图生成第二差异信息，包括：将所述配准深度图和所述标准深度图输入第二深度学习网络，所述第二深度学习网络输出预测的包含第一丢失部件区域信息的第一差异信息；将所述配准灰度图和所述标准灰度图输入第三深度学习网络，所述第三深度学习网络输出预测的包含第二丢失部件区域信息的第二差异信息。
[0009]可选地，构建所述第二深度学习网络和所述第三深度学习网络的方法均包括：
[0010]构建初始化网络模型；获取包含人工标记丢失部件的样本图像构成的训练数据集和测试数据集，其中，第二深度学习网络所使用的样本图像为深度图，第三深度学习网络所使用的样本图像为深度图；基于所述训练数据集和所述测试数据集训练并测试所述网络模型。
[0011]可选地，基于所述第一差异信息和所述第二差异信息生成检测报告，包括：基于所述第一差异信息提取第二深度学习网络预测的第一丢失部件区域信息；基于所述第二差异信息提取第三深度学习网络预测的第二丢失部件区域信息；基于所述第一丢失部件区域信息和所述第二丢失部件区域信息提取重合区域并生成第三丢失部件区域信息；将所述第三丢失部件区域信息匹配至模板框中，生成包含丢失部件的区域位置信息和丢失部件类型的所述检测报告。
[0012]可选地，构建所述模板框的方法包括：对所述标准灰度图进行预标注并生成所述模板框，其中，预标注包括：标注列车走行部的各部件类型及其区域位置。
[0013]相应地，本专利技术提供，一种列车的关键部件丢失检测系统，包括：数据采集单元，用于采集列车走行部的二维图像数据和三维点云数据；数据处理单元，能够基于所述三维点云数据和标准三维点云数据进行图像配准以确定三维转换关系，并基于相机标定参数生成配准深度图和标准深度图，基于所述二维图像数据、所述相机标定参数和所述三维转换关系生成配准灰度图，并基于所述配准深度图和所述标准深度图生成第一差异信息和基于所述配准灰度图和标准灰度图生成第二差异信息后，基于所述第一差异信息和所述第二差异信息生成检测报告。
[0014]可选地，所述数据处理单元包括：图像配准模块，能够基于所述三维点云数据和标准三维点云数据进行图像配准以确定三维转换关系，并基于相机标定参数生成配准深度图和标准深度图，基于所述二维图像数据、所述相机标定参数和所述三维转换关系生成配准灰度图；差异检测模块，能够基于所述配准深度图和所述标准深度图生成第一差异信息和基于所述配准灰度图和标准灰度图生成第二差异信息，联合判断模块，能够基于所述第一差异信息和所述第二差异信息生成检测报告。
[0015]可选地，所述关键部件丢失检测系统还包括：数据存储单元，用于存储所述二维图像数据、所述三维点云数据、所述标准二维图像数据、所述标准三维点云数据和样本图像。
[0016]本专利技术的首要改进之处为提供的列车的关键部件丢失检测方法，通过非接触的方法自动获取到走行部的三维数据和二维数据，并通过分别处理所述三维数据和所述二维数据生成第一差异信息和第二差异信息后，基于第一差异信息和第二差异信息生成最终的检测报告，实现了基于不同维度的探测数据进行关键部件丢失检测结果的相互验证，在完全自动化完成列车的关键部件丢失检测的同时，有效提升了关键部件丢失检测结果的准确性。
附图说明
[0017]图1是本专利技术的列车的关键部件丢失检测方法的简化流程图；
[0018]图2是本专利技术的列车的关键部件丢失检测系统的简化单元连接图。
具体实施方式
[0019]为了使本领域的技术人员更好地理解本专利技术的技术方案，下面结合附图和具体实施例对本专利技术作进一步的详细说明。
[0020]如图1所示，一种列车的关键部件丢失检测方法，其特征在于，包括：采集列车走行部的二维图像数据和三维点云数据；基于所述三维点云数据和标准三维点云数据进行图像配准以确定三维转换关系，并基于相机标定参数生成配准深度图和标准深度图；基于所述二维图像数据、所述相机标定参数和所述三维转换关系生成配准灰度图；基于所述配准深度图和所述标准深度图生成第一差异信息，基于所述配准灰度图和标准灰度图生成第二差异信息；基于所述第一差异信息和所述第二差异信息生成检测报告。其中，所述标准三维点云数据和所述标准灰度图均为用户在车辆走行部处于标准状态下采集的数据。
[0021]进一步的，基于所述三维点云数据和标准三维点云数据进行图像配准以确定三维转换关系，并基于相机标定参数生成配准深度图和标准深度图，包括：将所述三维点云数据和所述标准三维点云数据输入第一深度学习网络；基于所述第一深度学习网络计生成所述三维点云数据与所述标准三维点云数据的所述三维转换关系；基于所述三维转换关系，将所述三维点云数据转换到所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种列车的关键部件丢失检测方法，其特征在于，包括：采集列车走行部的二维图像数据和三维点云数据；基于所述三维点云数据和标准三维点云数据进行图像配准以确定三维转换关系，并基于相机标定参数生成配准深度图和标准深度图；基于所述二维图像数据、所述相机标定参数和所述三维转换关系生成配准灰度图；基于所述配准深度图和所述标准深度图生成第一差异信息，基于所述配准灰度图和标准灰度图生成第二差异信息；基于所述第一差异信息和所述第二差异信息生成检测报告。2.根据权利要求1所述的关键部件丢失检测方法，其特征在于，基于所述三维点云数据和标准三维点云数据进行图像配准以确定三维转换关系，并基于相机标定参数生成配准深度图和标准深度图，包括：将所述三维点云数据和所述标准三维点云数据输入第一深度学习网络；基于所述第一深度学习网络计生成所述三维点云数据与所述标准三维点云数据的所述三维转换关系；基于所述三维转换关系，将所述三维点云数据转换到所述标准三维点云数据的姿态下，以实现图像配准；根据相机标定参数，将配准后的所述三维点云数据和所述标准三维点云数据均映射到二维图像上，并将每个点赋值其原本的深度值，生成所述配准深度图和所述标准深度图。3.根据权利要求2所述的关键部件丢失检测方法，其特征在于，基于所述配准深度图和所述标准深度图生成第一差异信息，基于所述配准灰度图和标准灰度图生成第二差异信息，包括：将所述配准深度图和所述标准深度图输入第二深度学习网络，所述第二深度学习网络输出预测的包含第一丢失部件区域信息的第一差异信息；将所述配准灰度图和所述标准灰度图输入第三深度学习网络，所述第三深度学习网络输出预测的包含第二丢失部件区域信息的第二差异信息。4.根据权利要求3所述的关键部件丢失检测方法，其特征在于，构建所述第二深度学习网络和所述第三深度学习网络的方法均包括：构建初始化网络模型；获取包含人工标记丢失部件的样本图像构成的训练数据集和测试数据集，其中，第二深度学习网络所使用的样本图像为深度图，第三深度学习网络所使用的样本图像为深度图；基于所述训练数据集和所述测试数据集训练并测试所述网络模型。5.根据权利要求4所...

【专利技术属性】
技术研发人员：张渝，赵波，彭建平，黄炜，王小伟，章祥，胡继东，曹林强，牟科瀚，
申请(专利权)人：北京主导时代科技有限公司，
类型：发明
国别省市：