基于图像的高铁线路线杆断裂与联接结构体异常检测方法技术

本发明专利技术涉及一种基于图像的高铁线路线杆断裂异常与联接结构体异常检测方法，采用一种多尺度局部二值化算法对待检测的高速铁路沿线拍摄图像进行二值化处理，突出线路主体，并有效排除背景干扰，利用一种骨架提取算法对二值图像进行处理，得到线路的骨架结构，针对线路中存在的线杆断裂异常，通过分析线路骨架结构进行断裂点检测，发现并定位可能出现断裂的位置，针对联接结构体异常，利用线路骨架结构图对联接体局部图像进行提取，并利用卷积神经网络进行异常的检测与判定；本发明专利技术可以自动、高效地对铁路线路进行线杆断裂异常和联接结构体异常检测，从而有效提高输电线路安全监察工作的效率。

【技术实现步骤摘要】
基于图像的高铁线路线杆断裂与联接结构体异常检测方法
本专利技术涉及计算机视觉领域，具体涉及一种基于图像的高铁线路线杆断裂与联接结构体异常检测方法。
技术介绍
中国已经成为世界上高速铁路技术发展最快的国家。我国高速铁路的线路里程、运营时速、在建规模等在世界上均处于领先水平，高速铁路日渐成为一种现代化的交通方式。目前，我国已经研发并投入使用了新型的线路检测车辆，这类检测车辆沿铁路线路行驶，并由车上的摄像头拍摄线路图像，记录线路的实时状态，对于拍摄的线路图像数据则多采用人工判读的方式进行异常检查。人工判读高铁线路图片存在着诸多问题，例如检测周期长、人力资源消耗大、检测标准不一致等，如果可以用机器视觉的相关算法，自动地进行相应检测，则由于机器工作具有速度快、可长时间运行、人力劳动强度低等优点，检测效率会有极大地提升。目前对于高铁线路中存在的某些种类的异常，已存在相应的自动化检测方法，例如申请号为201310721802.7、名称为“基于图像的铁路接触网鸟窝异常情况检测方法”的中国专利申请中提出了一种铁路接触网鸟窝异常检测的方法，该方法采用一种多窗口自适应二值化的算法，对线路结构进行提取，并通过定位鸟窝可疑区域与特征提取等手段来定位鸟窝异常。相对于线杆断裂异常(如承重线断开)与联接结构体异常(如支撑架联接处变形开裂)，鸟窝异常的定位并不需要精确的线路结构，故上述专利技术所采用的二值化算法与线路结构的提取方法均不适用于线杆断裂与联接结构体异常检测。相对于上述专利技术，本专利技术采用了不同的线路图像二值化与结构提取策略，在二值化过程中采用固定大小的局部窗口，将线路图像下采样至不同的尺度下进行二值化操作，并在每个尺度下选择合适大小的前景目标进行保留，最后统一至同一尺度进行合并。该算法不但能精确提取各种尺寸的线路结构，而且能够避免因采用小尺寸窗口而产生的噪声等问题。在线路结构提取上，由于断裂与联接结构体检测需要获得完整的铁路线路结构信息，本专利技术采用了一种骨架提取算法，对铁路线路二值图进行骨架提取，从而得到清晰而便于处理的线路结构信息。最后针对线路中存在的线杆断裂异常，通过对骨架结构进行断裂点检测，发现并定位可能出现断裂的位置，针对联接结构体异常，利用骨架结构对联接体局部图像进行提取，并利用卷积神经网络进行异常的检测与判定。
技术实现思路
本专利技术所要解决的技术问题是高速铁路线路巡检图像中线杆断裂异常与联接结构体异常的自动识别，该问题的核心是线路结构信息的精确提取与断裂位置的确定。为了解决上述问题，本专利技术采取了一种基于图像的高铁线路线杆断裂与联接结构体异常检测方法，包括如下步骤，采用一种多尺度局部二值化算法对待检测的高速铁路沿线拍摄图像进行二值化处理并得到二值图像，突出线路主体，并有效排除背景干扰；利用一种骨架提取算法对所述的二值图像进行处理，得到线路的骨架结构；针对线路中存在的线杆断裂异常，通过分析所述线路的骨架结构进行断裂点检测，发现并定位可能出现断裂的位置；针对联接结构体异常，利用线路骨架结构图对联接体局部图像进行提取，并利用卷积神经网络进行异常的检测与判定。进一步地，采用一种多尺度局部二值化算法对待检测的高速铁路沿线拍摄图像进行二值化处理并得到二值图像，突出线路主体，并有效排除背景干扰，还包括，将输入图像向下采样，形成包括原图在内的共四张尺寸不同的子图；利用一种固定窗口大小的局部二值化算法分别对四张子图进行二值化处理，得到四张二值图像；依据图像的尺度，分别在上述四张二值图像中选择一定大小范围内的前景物体进行保留；将选择出的前景目标统一合并到同一尺度，得到包含精确结构信息的二值图。进一步地，针对线路中存在的线杆断裂异常，通过分析所述线路的骨架结构进行断裂点检测，发现并定位可能出现断裂的位置，还包括，通过多次迭代操作，逐渐剥离二值图中图形的边缘，并最终留下骨架图像。进一步地，针对线路中存在的线杆断裂异常，通过分析所述线路的骨架结构进行断裂点检测，发现并定位可能出现断裂的位置，还包括，通过分析骨架图中的骨架像素点及其周围八个像素点，确定图中每个骨架像素点的类型；通过对像素点的类型进行检查，确定可疑断裂点；通过对可疑断裂点进行筛选，排除误检，得到最终异常检测结果。进一步地，针对联接结构体异常，利用线路骨架结构图对联接体局部图像进行提取，并利用卷积神经网络进行异常的检测与判定，还包括，通过提取骨架图中特定类型像素点周围的区域，得到高铁线路中联接结构体的局部图像；通过提取局部图像的HOG特征，并用K-means聚类算法对联接结构体图像进行聚类，得到大量同类联接结构体的局部图像；将联接结构体的正常与异常的局部图像送入卷积神经网络进行训练，得到能够区分联接结构体异常与否的卷积神经网络模型；利用训练好的卷积神经网络模型对待检测图像中的联接结构体进行异常检测。进一步地，还包括，对输入图像进行向下采样，首先将输入图像转换成灰度图像，然后在三个不同的尺度上进行下采样操作，得到三张子图；计算待采样灰度图像的积分图像，得到积分图像后计算像素值，得到四张不同尺度的灰度图像；在得到四张灰度图像后，利用一种固定窗口大小的局部二值化算法分别对四张灰度图像进行二值化处理，得到四张不同尺度的二值图像；在得到四张二值图像后，进行前景物体的选择；在完成前景物体选择后，算法接下来将上一步的结果合并至一张图上。进一步地，还包括，将二值图简化成用一个矩阵来进行表示，在算法的迭代过程中，某次迭代赋予像素点的新值由上一次迭代完成后该像素点的八个邻居像素点的值决定，迭代后二值图中的所有像素点都能够被更新；算法的一次迭代分为两个子迭代过程；经过这两个子迭代过程，图形的边缘点会被逐渐删除，将这两个子迭代过程一直重复下去直到图像不发生改变，此时图中留下的就是最终的骨架。进一步地，还包括，对于任意某个像素点，其周围的八个像素点按顺时针的顺序可以组成一个首尾相连的环状结构，在该环状结构中可能存在一个或几个由连续的0像素点构成的子片段，依据这些子片段的数量可以将像素点分为三类；在线路骨架图中，断裂的断口处属于第三类点，既该点仅有一端与骨架的其余部分相连接；对骨架图进行扫描操作，并筛选出具有上述特征的点，即可作为可疑断裂点；检查与其连接的线段的长度，如果小于某个阈值，则认为其是正常的，如果线段超过了一定长度，则认为该处是异常。进一步地，还包括，将联接体结构周围一定大小的矩形区域的图像内容进行单独保存，即可得到联接体结构的局部图像；构造只包含这类联接体结构图像的数据集，利用K-means聚类算法对联接体结构图像进行聚类操作，实现联接体结构图像的聚类；采用卷积神经网络进行联接体结构图像的识别与异常检测；在训练过程中采用两类训练样本，一类为某种联接体结构在正常情况下的图像，另一类为同种联接体结构发生异常时的图像，训练完毕后即可得到能够区分联接结构体异常与否的卷积神经网络模型；在训练完毕后，利用训练后的网络对包含正常与异常联接体结构图像的测试数据集进行测试，若网络对某一张联接体结构图像的识别结果为正常，则可以认为该联接体结构没有问题，否则认为该联接体结构存在异常状况。本专利技术的益处在于：适用性广,可针对多种线路的高速铁路沿线拍摄图像进行检测；检测效率高，相对于人工检测，本专利技术利用机器视觉相关方法实现本文档来自技高网...

【技术保护点】
一种基于图像的高铁线路线杆断裂与联接结构体异常检测方法，其特征在于包括如下步骤，采用一种多尺度局部二值化算法对待检测的高速铁路沿线拍摄图像进行二值化处理并得到二值图像，突出线路主体，并有效排除背景干扰；利用一种骨架提取算法对所述的二值图像进行处理，得到线路的骨架结构；针对线路中存在的线杆断裂异常，通过分析所述线路的骨架结构进行断裂点检测，发现并定位可能出现断裂的位置；针对联接结构体异常，利用线路骨架结构图对联接体局部图像进行提取，并利用卷积神经网络进行异常的检测与判定。

【技术特征摘要】
1.一种基于图像的高铁线路线杆断裂与联接结构体异常检测方法，其特征在于包括如下步骤，采用一种多尺度局部二值化算法对待检测的高速铁路沿线拍摄图像进行二值化处理并得到二值图像，突出线路主体，排除背景干扰，包括将输入图像向下采样，形成包括原图在内的共四张尺寸不同的子图，利用一种固定窗口大小的局部二值化算法分别对四张子图进行二值化处理，得到四张二值子图像，依据所述输入图像的尺度，分别在上述四张二值子图像中选择一定大小范围内的前景物体进行保留，将选择出的前景目标统一合并到同一尺度，得到包含精确结构信息的二值图像；利用一种骨架提取算法对所述的二值图像进行处理，得到线路的骨架结构；针对线路中存在的线杆断裂异常，通过分析所述线路的骨架结构进行断裂点检测，发现并定位断裂出现的位置；针对联接结构体异常，利用线路骨架结构图对联接体局部图像进行提取，并利用卷积神经网络进行异常的检测与判定。2.根据权利要求1所述的基于图像的高铁线路线杆断裂与联接结构体异常检测方法，其特征在于针对线路中存在的线杆断裂异常，通过分析所述线路的骨架结构进行断裂点检测，发现并定位断裂出现的位置，还包括，通过多次迭代操作，逐渐剥离二值图中图形的边缘，并最终留下骨架图像。3.根据权利要求1所述的基于图像的高铁线路线杆断裂与联接结构体异常检测方法，其特征在于针对线路中存在的线杆断裂异常，通过分析所述线路的骨架结构进行断裂点检测，发现并定位断裂出现的位置，还包括，通过分析骨架图中的骨架像素点及其周围八个像素点，确定图中每个骨架像素点的类型；通过对像素点的类型进行检查，确定可疑断裂点；通过对可疑断裂点进行筛选，排除误检，得到最终异常检测结果。4.根据权利要求1所述的基于图像的高铁线路线杆断裂与联接结构体异常检测方法，其特征在于针对联接结构体异常，利用线路骨架结构图对联接体局部图像进行提取，并利用卷积神经网络进行异常的检测与判定，还包括，通过提取骨架图中特定类型像素点周围的区域，得到高铁线路中联接结构体的局部图像；通过提取局部图像的HOG特征，并用K-means聚类算法对联接结构体图像进行聚类，得到大量同类联接结构体的局部图像；将联接结构体的正常与异常的局部图像送入卷积神经网络进行训练，得到能够区分联接结构体异常与否的卷积神经网络模型；利用训练好的卷积神经网络模型对待检测图像中的联接结构体进行异常检测。5.根据权利要求1所述的基于图像的高铁线路线杆断裂与联接结构体异常检测方法，其特征在于还包括，对输入图像进行向下采样，首...

【专利技术属性】
技术研发人员：田永鸿，耿梦悦，王耀威，黄铁军，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11