基于目标检测和图像处理的转辙机缺口检测方法技术

本发明专利技术提供了一种基于目标检测和图像处理的转辙机缺口检测方法，其中，该方法包括：采集列车经过道岔及转辙机带动道岔转换过程的转辙机缺口图像；建立目标检测网络并训练；将待测缺口图像输入训练好的目标检测网络，识别缺口图像中的目标区域，得到区域的边界框参数；根据区域的边界框参数对缺口图像进行预处理；对缺口图像进行缺口检测，包括缺口特征直线拟合、图像倾斜检测及矫正；根据所述缺口特征直线计算缺口值w。此发明专利技术可直接应用于各种类型转辙机，不需要针对不同类型转辙机设置不同的图像预处理参数，适用于复杂恶劣的运行工况，如缺口图像局部曝光过度、缺口图像倾斜，进一步提高缺口检测系统的准确率、鲁棒性和普适性。

Detection method of switch gap based on target detection and image processing

【技术实现步骤摘要】
基于目标检测和图像处理的转辙机缺口检测方法
本专利技术涉及轨道交通领域，具体涉及一种基于目标检测和图像处理的转辙机缺口检测方法。
技术介绍
道岔是铁路中保障行车安全的重要设备，转辙机带动道岔移动能实现列车从一条轨道换到另一条轨道行驶，转辙机缺口偏移量检测能反映道岔的尖轨与基本轨是否密贴。当缺口过大时，不能为列车建立进路，否则可能发生列车脱轨等严重安全事故。因此，实时检测缺口大小对铁路的信号系统和应急响应非常重要，能够实时掌握缺口的情况。传统的转辙机缺口检测方法是人工巡检或在转辙机内部安装光电传感器、磁栅传感器等，这些方法受环境因素和人为因素的影响较大。目前铁路现场使用的转辙机缺口检测系统主要是基于视频图像的检测方法，在转辙机内部安装摄像头并配置相应的照明灯，对着缺口位置拍摄缺口视频，将缺口视频上传至主机后转化成帧图片，采用图像处理算法处理转辙机缺口图像，得到缺口值，这种方法具有准确性高、非接触、直观可视等优点。由于铁路现场的道岔和转辙机工作频繁且运行工况非常复杂和恶劣，很容易出现由于转辙机内部密闭空间狭小导致的缺口图像局部曝光过度、由于列车过车或转辙机工作时带来的机械振动导致的缺口图像倾斜等情况。现有的基于图像处理的转辙机缺口检测方法直接对缺口图像进行处理，存在不具有泛化性、无法长时间保持高准确率和低误报率、无法适用于各种复杂恶劣的环境等问题，并且需要针对不同类型的转辙机进行单独开发。
技术实现思路
本专利技术提供了一种基于目标检测和图像处理的转辙机缺口检测方法，提高转辙机缺口检测的准确率、降低图像处理算法的复杂度、提高系统的普适性、鲁棒性。技术方案一种结合基于深度学习的目标检测网络与图像处理的检测转辙机缺口方法，设计目标检测网络识别缺口图像的目标区域，返回目标区域的边界框参数；边界框参数作为图像处理算法的输入，缺口图像先经过图像预处理，再进行缺口检测和计算。图像处理算法只需要根据目标区域的边界框参数针对性地处理目标区域的图像，大幅度降低图像处理的复杂度的同时，避免了非目标区域，特别是局部曝光过度的区域，对图像处理的干扰，适用于缺口图像局部曝光过度的情况；缺口检测和缺口距离计算中提出了图像倾斜检测及矫正算法和缺口特征直线拟合算法，准确检测倾斜的缺口图像，并计算缺口值大小，提高系统的鲁棒性和缺口计算准确性，适用于缺口图像倾斜的情况。本专利技术提出的基于目标检测和图像处理的转辙机缺口检测方法解决了现有技术中系统运行一段时间后准确率降低，误报率升高的问题、无法适用于复杂恶劣环境的问题、针对不同类型转辙机开发而带来的系统开发维护成本高的问题。本专利技术提出的基于目标检测和图像处理的转辙机缺口检测方法，包括以下步骤：步骤S1：采集列车经过道岔及转辙机带动道岔转换过程的转辙机缺口图像；步骤S2：建立目标检测网络，并根据标注好目标区域边界框的缺口图像训练目标检测网络，直到训练参数满足要求；步骤S3：获得区域的边界框参数将待测缺口图像输入步骤S2中训练好的目标检测网络，用于识别缺口图像中的缺口区域Gr和基准区域Re，返回区域的边界框参数提供给步骤S4；步骤S4：缺口图像预处理根据步骤S3得到的所述目标区域的边界框参数，对缺口图像进行预处理，包括图像灰度化、目标区域分割、图像增强、图像二值化，提供给步骤S5；步骤S5：对输入的缺口图像进行缺口检测，包括缺口特征直线拟合、图像倾斜检测及矫正，得到缺口线l1和基准线l2用于步骤S6的计算；步骤S6：根据步骤S5中所述缺口特征直线l1和l2计算缺口值w。进一步的，步骤S1中所述采集列车经过道岔及转辙机带动道岔转换过程的转辙机缺口图像包括：采集安装在转辙机内部的摄像机拍摄的缺口视频并将所述缺口视频通过现场总线传输至主机、将缺口视频转化成帧图片并存储。进一步的，步骤S2中所述建立目标检测网络，并根据标注好目标区域边界框的缺口图像训练所述目标检测网络，包括以下步骤：步骤S21：建立样本数据库，包含海量的各种转辙机各时段的缺口图像。步骤S22：将样本数据库中的缺口图像按照10∶1的比例随机分为训练集和测试集，再对训练集中的缺口图像标注目标区域的边界框参数和类别，所述类别包括缺口区域Gr和基准区域Re；步骤S23：建立目标检测网络YOLO，对训练集的缺口图像进行迭代训练，不断调整网络的结构和参数，直至训练的参数达到要求。步骤S3中所述的训练好的目标检测网络的结构如下：目标检测网络包括Convolutional层、MaxPooling层、Route层、Upsample层、Yolo层，一共24层：所述Convolutional层通过3×3和1×1的卷积核提取原始图像的基本特征，如颜色、纹理、形状等，步长为1；所述MaxPooling层采用最大池化的方法，对前一层进行最大采样，滑窗大小为2×2，步长为2；所述Route层将深层的特征图与浅层的特征图进行拼接，同时学习深层和浅层的特征；所述Upsample层对图像进行上采样；所述Yolo层指定缺口图像类别数等参数，计算训练的平均损失值loss等，并进行输出；第0至11层为6个卷积核大小为3×3的所述Convolutional层，每个所述Convolutional层之后是所述MaxPooling层；第12至15层是4个所述Convolutional层，卷积核大小分别为3×3、1×1、3×3、1×1；第16层是所述Yolo层；第17层是所述Route层，将第16层与第13层的特征图进行拼接；第18层是卷积核大小为1×1的所述Convolutional层；第19层是所述Upsample层；第20层是所述Route层，将第19层的特征图与第8层的特征图进行拼接；第21至22层是两个卷积核大小分别为3×3、1×1的所述Convolutional层；第23层是所述Yolo层，输出最后的检测结果。训练好的目标检测网络的结构如下：进一步的，步骤S3中所述缺口区域Gr是缺口线所在的区域，所述缺口线在转辙机内部随着检测杆的移动而移动；步骤S3中所述基准区域Re是基准线所在的区域，所述基准线为转辙机内用于标定缺口位置的固定基准块的边缘线，通常在转辙机内部处于固定位置；步骤S3中所述边界框参数包括四维位置参数{x1eft，xright，ytop，ybottom}和一维置信度参数ω，所述位置参数为目标区域边界框在缺口图像中的左边界的x坐标x1eft、右边界的x坐标xright、上边界的y坐标ytop、下边界的y坐标ybottom，其中坐标原点位于缺口图像的左上角；所述置信度参数ω为目标区域为此类别的概率。进一步的，步骤S4中所述图像预处理算法包括：(4a)图像灰度化：将原始RGB缺口图像通过已知的图像灰度化算法转换成灰度图像，计算公式如下：Yi＝a0Ri+a1Gi+a2Bi其中，i表示所述原始RGB缺口图像的第i个像素点；Ri、Gi和Bi分别为原始RGB缺口图像的第i个像素点的R、G和B分量；a0、a1和a2是所述R、G和B分量的权重；Yi是灰度化之后的第i个像素点的灰度值。(4b)目标区域分割：根据所述目标检测网络输出的目标区域边界框的位置参数，将缺口图像中的缺口区域Gr和基准区域Re进行分割。具体方法为：(4b-1)将所述目标检测网络输出的Gr的边界框框参数定义为x1、x本文档来自技高网...

【技术保护点】
1.一种基于目标检测和图像处理的转辙机缺口检测方法，其特征在于，包括以下步骤：步骤S1：采集列车经过道岔及转辙机带动道岔转换过程的转辙机缺口图像；步骤S2：建立目标检测网络，并根据标注好目标区域边界框的缺口图像训练所述目标检测网络，直到训练参数满足要求；步骤S3：将待测缺口图像输入步骤S2中训练好的目标检测网络，识别缺口图像中的缺口区域Gr和基准区域Re，返回区域的边界框参数；步骤S4：根据步骤S3得到的所述目标区域的边界框参数，对缺口图像进行预处理，包括图像灰度化、目标区域分割、图像增强、图像二值化；步骤S5：对缺口图像进行缺口检测，包括缺口特征直线拟合、图像倾斜检测及矫正，得到缺口线l1和基准线l2；步骤S6：根据步骤S5中所述缺口线l1和基准线l2计算缺口值w。

【技术特征摘要】
1.一种基于目标检测和图像处理的转辙机缺口检测方法，其特征在于，包括以下步骤：步骤S1：采集列车经过道岔及转辙机带动道岔转换过程的转辙机缺口图像；步骤S2：建立目标检测网络，并根据标注好目标区域边界框的缺口图像训练所述目标检测网络，直到训练参数满足要求；步骤S3：将待测缺口图像输入步骤S2中训练好的目标检测网络，识别缺口图像中的缺口区域Gr和基准区域Re，返回区域的边界框参数；步骤S4：根据步骤S3得到的所述目标区域的边界框参数，对缺口图像进行预处理，包括图像灰度化、目标区域分割、图像增强、图像二值化；步骤S5：对缺口图像进行缺口检测，包括缺口特征直线拟合、图像倾斜检测及矫正，得到缺口线l1和基准线l2；步骤S6：根据步骤S5中所述缺口线l1和基准线l2计算缺口值w。2.根据权利要求1所述的基于目标检测和图像处理的转辙机缺口检测方法，其特征在于，步骤S1中所述采集列车经过道岔及转辙机带动道岔转换过程的转辙机缺口图像包括：采集安装在转辙机内部的摄像机拍摄的缺口视频，并将所述缺口视频通过现场总线传输至主机将缺口视频转化成帧图片并存储。3.根据权利要求1所述的基于目标检测和图像处理的转辙机缺口检测方法，其特征在于，步骤S2中所述建立目标检测网络，并根据标注好目标区域边界框的缺口图像训练所述目标检测网络包括：步骤S21：建立样本数据库，包含海量的各种转辙机各时段的缺口图像；步骤S22：将样本数据库中的缺口图像按照10:1的比例随机分为训练集和测试集，再对训练集中的缺口图像标注目标区域的边界框参数和类别，所述类别包括缺口区域Gr和基准区域Re；步骤S23：建立目标检测网络YOLO，对训练集的缺口图像进行迭代训练，不断调整网络的结构和参数，直至训练的参数达到要求。4.根据权利要求1所述的基于目标检测和图像处理的转辙机缺口检测方法，其特征在于，步骤S3中所述的训练好的目标检测网络的结构如下：目标检测网络包括Convolutional层、MaxPooling层、Route层、Upsample层、Yolo层，一共24层；所述Convolutional层通过3×3和1×1的卷积核提取原始图像的基本特征，步长为1；所述MaxPooling层采用最大池化的方法，对前一层进行最大采样，滑窗大小为2×2，步长为2；所述Route层将深层的特征图与浅层的特征图进行拼接，同时学习深层和浅层的特征；所述Upsample层对图像进行上采样；所述Yolo层指定缺口图像类别数等参数，计算训练的平均损失值loss，并进行输出；第0至11层为6个卷积核大小为3×3的所述Convolutional层，每个所述Convolutional层之后是所述MaxPooling层；第12至15层是4个所述Convolutional层，卷积核大小分别为3×3、1×1、3×3、1×1；第16层是所述Yolo层；第17层是所述Route层，拼接所述第13层的特征图；第18层是卷积核大小为1×1的所述Convolutional层；第19层是所述Upsample层；第20层是所述Route层，将第19层的特征图与所述第8层的特征图进行拼接；第21至22层是两个卷积核大小分别为3×3、1×1的所述Convolutional层；第23层是所述Yolo层，输出最后的检测结果。5.根据权利要求1所述的基于目标检测和图像处理的转辙机缺口检测方法，其特征在于：步骤S3中所述缺口区域Gr是缺口线所在的区域，所述缺口线在转辙机内部随着检测杆的移动而移动；步骤S3中所述基准区域Re是基准线所在的区域，所述基准线为转辙机内用于标定缺口位置的固定基准块的边缘线，通常在转辙机内部处于固定位置；步骤S3中所述边界框参数包括四维位置参数{x1eft,xright,ytop,ybottom}和一维置信度参数ω，所述位置参数为目标区域边界框在缺口图像中的左边界的x坐标x1eft、右边界的x坐标xright、上边界的y坐标ytop、下边界的y坐标ybottom，其中坐标原点位于缺口图像的左上角；所...

【专利技术属性】
技术研发人员：黄世泽，陶婷，陈威，杨晓璐，杨志丹，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海,31