一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法技术

本发明专利技术公开了一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，涉及轨道交通智能故障检测技术领域，包括ORB算法配准、直方图匹配、直方图均衡化、光照差距调整、差分图获取、映射ROI区域以及判断异常区域的故障状态。本发明专利技术提出的方法提升车辆智能巡检机器人图像检测算法在机械臂定位不足且拍摄出现亮度以及色调变化的情况下对异常和故障的检测能力，通过预先划定项点大致区域，对历史无故障图和待检测图进行配准校正，再采用直方图匹配算法和直方图均衡化对图像进行增强，最后利用差分算法进行故障异常检测，能够通过集成多种图像算法有效提升在机器人拍摄角度和精度不足的情况下零部件故障检测的准确率。确率。确率。

【技术实现步骤摘要】
一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法


[0001]本专利技术涉及一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，属于轨道交通智能故障检测


技术介绍

[0002]传统对轨道列车检测主要是通过人工目视进行巡检，但是现有的列车检测设备存在无法转轨的不足，检测时存在视野盲区，随着列车数量的快速增加，对检修效率、精确度以及减轻重复工作量的追求越发显著，随着科技水平的不断发展，适用于多股道车辆巡检作业的智能巡检机器人应运而生，在“人机交叉检测”的列车车辆检修新模式下，智能车辆巡检机器人采用多自由度柔性协作机械臂控制技术、高清图像采集技术以及人工智能深度学习算法等前沿技术，能够大幅度提升动车段检修人员的检修效率，降低检修人员的工作强度。每一帧关键零部件图像是通过预先设定好固定的机械臂和相机的角度、拍摄距离以及停车距离等参数生成的，能够确保图像采集的可控性和有序性。其中，采用图像算法是实现故障检测的一个重要环节，目前主流的图像故障检测方式是利用差分法对比历史无故障图和所需测试图，得到差分图从而判断故障项点，但是车底巡检机器人的拍摄存在一定的误差，通常偏移距离小于5
㎝
，导致每趟列车的成像都会产生一定的畸变和位移，并且背景光照变化较大，进而使差分图出现大量的前景信息，增加了对故障检测的困难性和准确度。针对以上现有的技术缺陷，有必要提出一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，提升车辆智能巡检机器人图像检测算法在机械臂定位不足且拍摄出现亮度以及色调变化的情况下对异常和故障的检测能力，通过预先划定项点大致区域，对历史无故障图和待检测图进行配准校正，再采用直方图匹配算法和直方图均衡化对图像进行增强，最后利用差分算法进行故障异常检测，能够通过集成多种图像算法有效提升在机器人拍摄角度和精度不足的情况下零部件故障检测的准确率。

技术实现思路

[0003]本专利技术的主要目的是为了解决现有车底巡检机器人在拍摄图片时由于拍摄时机械臂定位不足且拍摄出现亮度以及色调变化，导致根据差分图检测零部件进行故障检测的难度增加以及准确度下降的不足，而提供的一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法。
[0004]本专利技术的目的可以通过采用如下技术方案达到：
[0005]一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，包括如下步骤：
[0006]S1.摄取同位历史无故障图像H和待检测图像T，获取图像上关键项点的感兴趣区域ROI；
[0007]S2.获取待检测图像T关于历史无故障H配准后的矫正图：图像H和图像T生成请求
图关键节点K
H
以及特征描述符D
H
、训练图关键节点K
T
以及特征描述符D
T
，匹配D
H
、D
T
，利用最佳匹配对的关键点位置建立还原透明矩阵M，利用矩阵M透视变换待检测图像T，获取和历史无故障图H同等大小的图像T1，用指定的常数填充图像T1边界的空白区域；
[0008]S3.对图像T1进行直方图匹配：以历史无故障图H为参考图，对图像T1进行直方图匹配，获取图像T2，分别拉伸历史无故障图H和图像T2像素强度分布范围，得到图像H1和图像T3；
[0009]S4.差分法差分图像H1和图像T3，获取差分图R，对差分图R前景过滤得到剩余前景C，将前景C作为差分异常区域；
[0010]S5.映射ROI区域：根据模版，把项点的感兴趣区域ROI映射到差分图R上；
[0011]S6.判断故障状态：计算ROI区域内的差分异常区域C面积，C的面积超过面积超限阈值时，判断检测位置故障状态为异常，C的面积不超过面积超限阈值，判断检测位置故障状态为正常。
[0012]作为本专利技术进一步的方法，所述S2中使用Lowe
’
s算法对匹配对进行筛选，利用暴力法匹配特征描述符，通过ORB算法分别对同位历史无故障图像H和待检测图像T生成请求图。
[0013]作为本专利技术进一步的方法，所述S2中ORB算法包括如下步骤：
[0014]A1.生成不同比例的图像：设置比例因子和金字塔层数，将历史无故障图像H以及待检测图像T均生成n幅不同比例的图像；
[0015]A2.特征点以及特征向量提取和分类；
[0016]A3.判断像素点的真假：定义布尔变量K
p
，如果p点是角点，K
p
设置为True，如果p点不是角点，K
p
设置为False，使用ID3决策树算法查询每个子集，使用布尔型变量K
p
来标记真实分类的信息，选取到的像素点x产生很多关于候选特征点是否是一个像素点信息，该信息由K
p
的熵值决定，递归计算所有的子集，直到K
p
的熵值为0；
[0017]A4.寻找关键点：将构建好的决策树用于其他图像的角点检测，使用Harris角点检测法对关键点排序，找到前N个点，作为同位历史无故障图像H和待检测图像T的请求图关键节点K
H
以及训练图关键节点K
T
；
[0018]A5.生成特征描述：选取M组像素点对，获取同位历史无故障图像H和待检测图像T的请求图特征描述符D
H
以及训练图特征描述符D
T
。
[0019]作为本专利技术进一步的方法，所述A1的方法具体流程为：对于n幅历史无故障图像H以及n幅待检测图像T上所有的像素点，考虑每个像素点7*7邻域内以该点为圆心，半径为3的圆周上16个像素点，计算特征点邻域范围内的质心，特征点到质心的方向作为该特征点的方向，将这16个像素点存储成特征向量，考虑特征向量和中心点的灰度差异，优先考虑垂直和水平方向上的四个点，如果其中三个点均不满足提前设定的阈值，则直接跳过，如果满足阈值要求，则继续分类，如果有连续12个像素点与中心点的灰度差的绝对值大于或小于指定的灰度阈值，则将该点认定为图像的特征点，对符合条件的进行分类，每个像素点都属于暗、相似或明亮其中的一种，根据这些像素点的分类，将特征向量分为三个子集。
[0020]作为本专利技术进一步的方法，所述A2中像素点分类的公式为：
[0021][0022]式中：S
p
→
x
为像素点p的分类标签值，d为像素点p的灰度分类标签值是暗，s为像素点p的灰度分类标签是相似，b为像素点p的灰度分类标签值是明亮，I
p
为像素点p的灰度值，t为像素点的灰度设定阈值，I
p
→
x
为像素点p周围16个像素点的灰度值。
[0023]作为本专利技术进一步的方法，所述A5中选取像素点对的方法为在关键点9*9区域进行高斯模糊处理，以满足高斯分布的方式在该领域内随机选取M组像素点对，比较这两个像素点的灰度值大小，设置一个像素点的灰度为q，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，其特征在于，包括如下步骤：S1.摄取同位历史无故障图像H和待检测图像T，获取图像上关键项点的感兴趣区域ROI；S2.获取待检测图像T关于历史无故障H配准后的矫正图：图像H和图像T生成请求图关键节点K
H
以及特征描述符D
H
、训练图关键节点K
T
以及特征描述符D
T
，匹配D
H
、D
T
，利用最佳匹配对的关键点位置建立还原透明矩阵M，利用矩阵M透视变换待检测图像T，获取和历史无故障图H同等大小的图像T1，用指定的常数填充图像T1边界的空白区域；S3.对图像T1进行直方图匹配：以历史无故障图H为参考图，对图像T1进行直方图匹配，获取图像T2，分别拉伸历史无故障图H和图像T2像素强度分布范围，得到图像H1和图像T3；S4.差分法差分图像H1和图像T3，获取差分图R，对差分图R前景过滤得到剩余前景C，将前景C作为差分异常区域；S5.映射ROI区域：根据模版，把项点的感兴趣区域ROI映射到差分图R上；S6.判断故障状态：计算ROI区域内的差分异常区域C面积，C的面积超过面积超限阈值时，判断检测位置故障状态为异常，C的面积不超过面积超限阈值，判断检测位置故障状态为正常。2.如权利要求1所述的一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，其特征在于，所述S2中使用Lowe
’
s算法对匹配对进行筛选，利用暴力法匹配特征描述符，通过ORB算法分别对同位历史无故障图像H和待检测图像T生成请求图。3.如权利要求2所述的一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，其特征在于，所述S2中ORB算法包括如下步骤：A1.生成不同比例的图像：设置比例因子和金字塔层数，将历史无故障图像H以及待检测图像T均生成n幅不同比例的图像；A2.特征点以及特征向量提取和分类；A3.判断像素点的真假：定义布尔变量K
p
，如果p点是角点，K
p
设置为True，如果p点不是角点，K
p
设置为False，使用ID3决策树算法查询每个子集，使用布尔型变量K
p
来标记真实分类的信息，选取到的像素点x产生很多关于候选特征点是否是一个像素点信息，该信息由K
p
的熵值决定，递归计算所有的子集，直到K
p
的熵值为0；A4.寻找关键点：将构建好的决策树用于其他图像的角点检测，使用Harris角点检测法对关键点排序，找到前N个点，作为同位历史无故障图像H和待检测图像T的请求图关键节点K
H
以及训练图关键节点K
T
；A5.生成特征描述：选取M组像素点对，获取同位历史无故障图像H和待检测图像T的请求图特征描述符D
H
以及训练图特征描述符D
T
。4.如权利要求3所述的一种基于列车车辆智能巡检机器人拍摄图像检测零部件异常状态的方法，其特征在于，所述A1的方法具体流程为：对于n幅历史无故障图像H以及n幅待检测图像T上所有的像素点，考虑每个像素点7*7邻域内以该点为圆心，半径为3的圆周上16个像素点，计算特征点邻域范围内的质心，特征点到质心的方向作为该特征点的方向，将这16个像素点存储成特征向量，考虑特征向量和中心点的...

【专利技术属性】
技术研发人员：余孟达，
申请(专利权)人：厦门破云溯星科技有限公司，
类型：发明
国别省市：