一种基于机器视觉的轨道障碍物检测系统技术方案

一种基于机器视觉的轨道障碍物检测系统，属于铁路安全领域。通过安装在列车头的车载摄像机获取黑白视频图像，根据摄像机是否超程判断轨道为类直道或弯道。弯道采用固定高清摄像机和无线发射装置接收无线图像实现人工检测弯道状况。类直道将获取到的实时图像序列进行分析，采用基于顶帽变换和Otsu阈值的轨道边缘提取算法，基于数学形态学改善的帧间差分法与背景差分法相结合以及角点特征匹配跟踪算法，实时将前方障碍物分为无危险(静止小型障碍物、快速横跨轨道的运动障碍物)和危险(静止大型障碍物、影响列车通过的运动障碍物)两类。本发明专利技术可以快速处理轨道图像，能更有效更准确的提取轨道边缘，对轨道障碍物检测准确度也较高。

【技术实现步骤摘要】
一种基于机器视觉的轨道障碍物检测系统
本专利技术属于铁路安全领域，具体涉及一种基于机器视觉的轨道障碍物检测系统。
技术介绍
近年来，随着列车大面积提速，列车操作模式的改变，客货运量明显的提高，对铁路运输的安全性和可靠性提出了更高的要求。目前国外在轨道障碍物研究方面虽然已经有了比较成熟的产品，但大多数产品的设计理念都是通过向待检测方位发出某种形式的信号(主要包括激光、雷达、磁感应，超声波等)，并分析经过传感器检测并反射回来的信号，作为判断识别障碍物的依据。这些检测方法中，比如利用超声波进行铁路路轨检测，能够比较准确地检测识别出目标障碍物的位置，但仍然存在对于体积较大并具有一定高度的目标障碍物检测效果较好，会出现漏检扁小障碍物的问题；激光和雷达检测具有空间覆盖率有限以及分辨率不高的缺点。同时，此类方法属于侵犯式检测，不可避免地增加了环境噪声，并且传感器之间还会产生干扰。这些缺点和不足，无一不会影响障碍物准确有效的检测和识别。我国专利技术专利，公开号为CN201825066U的“机车地面信号及障碍物自动识别系统”，提出用车体上安装电子图像识别系统，分析运行前方线路上的图形。由系统识别判断图形上的色灯信号、道岔位置及道岔开闭状态、尽头线土档及停留车，来提醒司机或控制机车自动制动来防止事故发生。但是上述系统也只是针对个别特定物质的检测具有良好效果，在自动检测识别列车运行前方的行人、落石以及车辆的领域内，仍无法发挥其作用。
技术实现思路
本专利技术针对现有技术的不足和缺点，提供一种基于机器视觉的轨道障碍物检测系统，其可以快速处理轨道图像，轨道边缘提取更精确，对轨道障碍物检测准确度较高。本专利技术提出的技术方案为一种基于机器视觉的轨道障碍物检测系统，通过安装在列车头的车载摄像机获取黑白视频图像，根据车在摄像机是否超程判断轨道为类直道或弯道。弯道采用固定高清摄像机和无线发射装置接收无线图像实现人工检测弯道状况。类直道将获取到的实时图像序列进行分析，采用基于顶帽变换和Otsu阈值的轨道边缘提取算法，基于数学形态学改善的帧间差分法与背景差分法相结合以及角点特征匹配跟踪算法，实时将前方障碍物分为无危险(静止小型障碍物、快速横跨轨道的运动障碍物)和危险(静止大型障碍物、影响列车通过的运动障碍物)两类。将检测分析识别的后结果通报给司乘人员，达到有效避免误判或交通事故发生的目的。具体步骤如下：1、采集实时图像采用单目摄像机方式、光学防抖、超远焦距的黑白摄像机，在列车行进过程中实时采集图像序列。2、判断轨道类型当车载摄像机超程时，判断为弯道(大角度转弯轨道、直角轨道)；则采用固定高清摄像机和无线发射装置接收无线图像实现人工检测弯道轨道状况；若车载摄像机没有超程时，则判定为类直道(直线轨道、小弧度转弯轨道)，继续采用车载摄像机获取实时图像，进入下一步处理图像。3、图像预处理首先，对图像做增强处理，采用直径为4的“diamond”结构元素做顶帽运算，图像X关于结构元素B的顶帽运算记为X°B，定义为提亮双轨部分，抑制背景高亮部分；接着，对增强后的图像采用Otsu阈值计算最佳阈值T，将图像二值化，得到二值图像；经过阈值分割后的图像包含多个不连续区域；最后，检查不连续区域中各像素与其相邻像素的连通性，标记提取区域，通过连通域标记保留双轨特征直线。4、建立检测窗根据连通域标记保留双轨特征直线，利用直线拟合，采用最小二乘法实现对轨道提取边缘定位，将两轨道线性化，求出直线方程；以铁轨的具体位置确定检测窗窗口的位置、尺寸和形状，检测窗将轨道部分框定在其范围内。5、判断是否有障碍物基于类直道轨道规则不变性以及检测窗内图像已排除背景的特点，可以忽略轨道运动，当有可疑障碍物入侵检测窗时，势必会引起图像特征变化，本方法选取直方图特征。根据经验值定义阈值T1和T2用于判别直方图方差变化量Δσk2和直方图毛刺个数BurrNum的值变化状况，通过对二值黑白像素比值ratio,Δσk2和BurrNum三个参数的监测，判断有无障碍物入侵可能。算法如下：直方图均值：(其中rk为直方图特征数据，pk为其所对应的概率，L为特征数据的个数)直方图方差：二值黑白像素比值：(nb为黑像素的数量，nk为白像素的数量)从重要程度和可靠度来看，比值nb/nk更为直观，更能表现实际情况，因此列举一下判断依据：(1)ratio<4.5时，无论Δσk2和BurrNum的值如何，都判断有入侵障碍物；(2)ratio>4.5时，则观察Δσk2和BurrNum的值如何变化，若两者超出阈值，则判断有入侵障碍物；(3)ratio>4.5时，且Δσk2和BurrNum的值都未超出阈值或者其中一个超出阈值，则判断没有障碍物，可能是光照条件等外界干扰的影响。若没有障碍物，则返回从头开始；若有障碍物，则进行下一步。6、障碍物检测静止障碍物对火车也有相对运动，所以通过运动轨迹和运动特征来判别是静止还是运动障碍物。采用经过数学形态学改善的帧间差分法，对检测窗中的图像进行差分运算，提取分割运动目标；帧间差分法就是在视频图像序列中，提取相邻两帧三帧或者多帧图像，并对提取的帧图像进行像素相减的图像运算。如果相邻像素的差值小于设定的阈值，则认为该像素是静止的背景，反之，则提取该像素作为运动目标，根据这个原则，将所有符合运动目标阈值的像素联合起来便可以提取出场景中的运动目标，并去除干扰背景，以此达到提取分割运动目标的目的。帧间差分法原理如下所示：Dk(x,y)＝|Fk(x,y)-Fk-1(x,y)|Fk(x,y)表示视频中连续的图像，Dk(x,y)表示连续两帧图像相减所得到的差值图像，然后将Dk(x,y)做如下处理：(P为设定阈值，通过实验反复模拟得到)Rk(x,y)为判断目标是否运动的依据：若为1，则目标判定为运动；反之，为静止。同时，利用背景差分法，将检测窗中的检测图像与背景图像进行差分，然后用阈值来检测运动区域。设b(x,y)为背景图像，定义图像序列f(x,y,i)，其中(x,y)为图像位置坐标，i为图像帧数。将每一帧图像的灰度值减去背景的灰度值得到差值图像：id(x,y,i)＝f(x,y,i)-b(x,y)通过设置阈值T可得到一个二值化差分图像：(阈值T通过实验模拟得到)最后，对两种算法所得的图像进行像素点取交集，更准确的对目标进行提取，得到目标的尺寸、目标的形状特征。7、障碍物的识别和分类采用角点特征匹配跟踪算法进行障碍物尺寸大小、速度和方向识别，特征提取采用Harris角点检测算法，是一种基于信号的点特征提取算子，本方法中，将与邻点亮度对比(像素领域点的灰度对比)足够大的点定义为角点。所用的像素相关函数如下所示：其中，w为进行降噪处理的平滑窗，(u,v)为偏移坐标，I为图像像素矩阵，I(x,y)值图像中点(x,y)的像素值。Ix和Iy分别代表图像像素在水平方向、垂直方向上的一阶偏微分，Ix2和Iy2则分别为两个方向上的二阶梯度值。然后通过计算角点响应函数就可以检测出图像中的角点：R＝det(M)-k*tr2(M)其中，tr(M)和det(M)分别代表矩阵M的迹和行列式值，Harris角点检测算法推荐k取0.04。特征匹配采用基于灰度相关的特征点匹配算法，以三帧提取为例：首先，对于每一个特征点pi∈本文档来自技高网...

【技术保护点】
一种基于机器视觉的轨道障碍物检测系统，其特征在于：具体步骤如下：步骤1：采集实时图像：通过安装在列车头的车载摄像机获取黑白视频图像，采用单目摄像机方式、光学防抖、超远焦距的黑白摄像机；步骤2：判断轨道类型：根据车载摄像机是否超程判断轨道为类直道或弯道；弯道轨道采用固定高清摄像机和无线发射装置接收无线图像实现人工检测弯道状况；类直道轨道进入步骤3；步骤3：图像预处理：类直道将获取到的实时图像序列进行分析，采用基于顶帽变换和Otsu阈值的轨道边缘提取算法，得到轨道双轨特征直线；步骤4：建立检测窗：利用直线拟合，采用最小二乘法对轨道提取边缘定位，将轨道线性化，求出直线方程；以铁轨的具体为止确定检测窗，检测窗将铁轨框定在其范围内；步骤5：判断是否有障碍物：基于检测窗内直方图特征变化，根据经验值定义阈值T1和T2用于判别直方图方差变化量Δσk2和直方图毛刺个数BurrNum的值变化状况，通过对二值黑白像素比值ratio,Δσk2和BurrNum三个参数的监测，判断有无障碍物入侵可能；步骤6：障碍物检测：基于数学形态学改善的帧间差分法与背景差分法相结合，对障碍物特征进行提取，得到障碍物的尺寸、形状特征；步骤7：障碍物的识别和分类：采用角点特征匹配跟踪算法进行障碍物速度和方向识别，实时将前方障碍物分为无危险(静止小型障碍物、快速横跨轨道的运动障碍物)和危险(静止大型障碍物、影响列车通过的运动障碍物)两类。...

【技术特征摘要】
1.一种基于机器视觉的轨道障碍物检测系统，其特征在于：具体步骤如下：步骤1：采集实时图像：通过安装在列车头的车载摄像机获取黑白视频图像，采用单目摄像机方式、光学防抖、超远焦距的黑白摄像机；步骤2：判断轨道类型：根据车载摄像机是否超程判断轨道为类直道或弯道；弯道轨道采用固定高清摄像机和无线发射装置接收无线图像实现人工检测弯道状况；类直道轨道进入步骤3；步骤3：图像预处理：类直道将获取到的实时图像序列进行分析，采用基于顶帽变换和Otsu阈值的轨道边缘提取算法，得到轨道双轨特征直线；步骤4：建立检测窗：利用直线拟合，采用最小二乘法对轨道提取边缘定位，将轨道线性化，求出直线方程；以铁轨的具体位置确定检测窗，检测窗将铁轨框定在其范围内；步骤5：判断是否有障碍物：基于检测窗内直方图特征变化，根据经验值定义阈值T1和T2用于判别直方图方差变化量Δσk2和直方图毛刺个数BurrNum的值变化状况，通过对二值黑白像素比值ratio，Δσk2和BurrNum三个参数的监测，判断有无障碍物入侵可能；步骤6：障碍物检测：基于数学形态学改善的帧间差分法与背景差分法相结合，对障碍物特征进行提取，得到障碍物的尺寸、形状特征；步骤7：障碍物的识别和分类：采用角点特征匹配跟踪算法进行障碍物速度和方向识别，实时将前方障碍物分为无危险和危险两类；步骤7的具体过程如下：采用角点特征匹配跟踪算法进行障碍物尺寸大小、速度和方向识别，特征提取采用Harris角点检测算法，是一种基于信号的点特征提取算子，在基于机器视觉的轨道障碍物检测系统中将像素领域点的灰度对比，足够大的点定义为角点，所用的像素相关函数如下所示：其中，w为进行降噪处理的平滑窗，(u，v)为偏移坐标，I为图像像素矩阵，I(x，y)值图像中点(x，y)的像素值；Ix和Iy分别代表图像像素在水平方向、垂直方向上的一阶偏微分，和则分别为两个方向上的二阶梯度值；然后通过计算角点响应函数就可以检测出图像中的角点；R＝det(M)-k*tr2(M)其中，tr(M)和det(M)分别代表矩阵M的迹和行列式值，Harris角点检测算法推荐k取0.04；特征匹配采用基于灰度相关的特征点匹配算法，以三帧提取为例：首先，对于每一个特征点pi∈E1，pj∈E3，分别以特征点为中心，构造一个N×N大小的窗口，分别记为Wi，Wj，然后分别计算各窗口的相关函数可根据Ccor(i，j)的值即可判定相应特征点的相关值，该值越大，相应的特征点邻域灰度越接近；在找寻匹配点的过程中，采用互匹配的方式进行匹配，即当E1中的特征点pi的最佳匹配点为E3中的pi，同时pj的最佳匹配点亦为pi时，就认为(pi，pj)为一对最佳匹配特征点；据此得到最终角点匹配结果；以此判断前方障碍物的类型，为无危险或危险。2.根据权利要求1所述的一种基于机器视觉的轨道障碍物检测系统，其特征在于：所述步骤3的具体过程如下：首先，对图像做增强处理，采用直径为4的“diamond”结构元素做顶帽运算，图像X关于结构元素B的顶帽运算记为X°B，定义为提亮双轨部分，抑制背景高亮部分；接着，对增强后的图像采用Otsu阈值计算最佳阈值T，将图像二值化，得到二值图像；经过阈值分割后的图像包含多个不连续区域；最后，检查不连续区域中各像素与其相邻像素的连通性，标记提取区域，通过连通域标记保留双轨特征直线。3.根据...

【专利技术属性】
技术研发人员：李孟歆，姜佳楠，贾燕雯，许可，
申请(专利权)人：沈阳建筑大学，
类型：发明
国别省市：辽宁;21