一种基于深度学习的高铁线路鸟窝缺陷检测方法技术

本发明专利技术公开了一种基于深度学习的高铁线路鸟窝缺陷检测方法，克服了现有技术中存在的不足。该发明专利技术含有以下步骤：步骤1、输入铁路接触网图像；步骤2、用全卷积神经网络提取鸟窝存在的可疑区域；步骤3、利用全卷积神经网络对鸟窝可疑区域图像进行特征提取并检测鸟窝；步骤4、保存检测鸟窝可疑区域与检测鸟窝的模型；步骤5、加载模型，输入测试图像，得到高铁线路中的鸟窝缺陷检测结果。该技术采用全卷积神经网络结构和两阶段检测方法解决高铁线路鸟窝缺陷检测问题，首先检测可能存在鸟窝的可疑区域，再在此基础上检测鸟窝，同时利用大量实际环境场景中的图像训练特征提取网络，提高了准确性，也增强了实际应用中的鲁棒性。

【技术实现步骤摘要】
一种基于深度学习的高铁线路鸟窝缺陷检测方法
本专利技术涉及计算机辅助的轨道交通领域，特别是涉及一种基于深度学习的高铁线路鸟窝缺陷检测方法。
技术介绍
随着我国高铁事业的蓬勃发展，高铁线路中的安全问题显得尤其重要。鸟类经常会选择高铁线路中的杆塔作为筑巢的地方，雨天这些树枝会极易发生短路事故，对乘客和高铁列车的安全构成很大的威胁。目前，针对这一问题，主要有以下几种方案。一是采用传统的人工检测方法，使用人力挨个筛查摄像机拍摄的高铁线路图像。二是采用数字图像处理方法自动识别高铁线路中存在的鸟窝。主要步骤为：1.高铁图像二值化；2.支柱主干部分和细线区域部分提取；3.基于悬空点检测的鸟窝可疑区域定位；4.鸟窝可疑区域的直线方向直方图和长度直方图特征提取；5.基于直线方向和长度分布特征的鸟窝识别。三是基于传统机器学习的方法。这种方法首先从图像中提取不同方向的线段并采用Gestalt感知理论合并断续小线段，并聚类为平行线组。再根据图像上杆塔的结构特征将图像分为8×4的分块，分析块内不同方向线段数量统计检测出图像上杆塔所在区域。再通过mean-shift聚类分割在图像上获取颜色一致性区域，根据鸟窝样本的H直方图特性，通过直方图相交法在图中选取与鸟窝样本最相似的多个区域作为鸟窝的候选区域。接着选取熵、惯性矩和非相似性计算鸟窝候选区域的纹理特征量。最后，匹配各个候选区域与鸟窝样本纹理相似性实现鸟窝的检测。目前的高铁线路鸟窝缺陷检测方法，不能同时保证准确性和检测速度。传统的人工检测方法虽然有较高的准确率，但是检测速度慢，对检测的工作人员有较高的要求且人力长时间工作后存在疲劳、效率下降的问题，所以这种方法不适合大规模使用。基于数字图像处理的方法通过检测裸露在空中、方向各异的鸟窝树枝来判断是否存在鸟窝。在鸟窝体积较大的情况下有较高的准确率，但是在鸟窝还未成型、只有几根树枝时，其准确率会明显下降，此外，这种方法步骤较多，因此检测速度较慢。基于传统机器学习的方法虽然能在保证准确率的同时加快检测速度，但是由于方法选取的算子存在多样性且特征的选取存在差异性，因此该方法容易受到实际环境的影响，产生不同的结果，缺乏实际应用中的鲁棒性。现有技术“基于图像的铁路接触网鸟窝异常情况检测方法”，申请号：201310721802.7，此专利公开一种采用数字图像处理的方法自动识别铁路接触网巡视图像中存在鸟窝的异常情况。自动地对铁路接触网进行鸟窝异常情况的检测和识别，能有效帮助巡检人员快速发现接触网支架上是否存在鸟窝，排查潜在的安全隐患，提高巡检人员工作效率，避免人工判读带来的巨大人力消耗。本申请基于深度学习，采用特征提取网络实现特征的自动提取，克服了人工提取特征的复杂性、特征提取速度慢的不足，使得本申请具有提取特征代表性高和提取速度快的优点。此外，采用两阶段的检测方法，在原图像的基础上准确缩小检测范围，达到更准确地检测鸟窝的目标。同时利用大量实际环境场景中的图像训练特征提取网络，增强了实际应用中的鲁棒性。
技术实现思路
本专利技术克服了现有技术中存在的不足，提供一种检测效果好的基于深度学习的高铁线路鸟窝缺陷检测方法。本专利技术的技术解决方案是，提供一种具有以下步骤的基于深度学习的高铁线路鸟窝缺陷检测方法：含有以下步骤：步骤1、输入铁路接触网图像；步骤2、用全卷积神经网络提取鸟窝存在的可疑区域；步骤3、利用全卷积神经网络对鸟窝可疑区域图像进行特征提取并检测鸟窝；步骤4、保存检测鸟窝可疑区域与检测鸟窝的模型；步骤5、加载模型，输入测试图像，得到高铁线路中的鸟窝缺陷检测结果。优选地，所述步骤1中选取由列车车载摄像机拍摄到固定分辨率大小的彩色或灰度图像作为输入图像。优选地，所述步骤2包括以下分步骤：(2a)将输入图像调整为416×416像素大小，并将灰度图变为三通道图片；(2b)将所有图像输入全卷积神经网络Darknet-53，Darknet-53网络中使用1×1和3×3大小的卷积核对图像的三个通道信息中的每个通道进行积和下采样特征提取，分别得到255个52×52、26×26和13×13的像素特征图；(2c)对得到的3个尺度的特征图中的每个像素，使用逻辑回归预测3个边界框，每个边界框包含框的位置、对象分数和每种鸟窝可疑区域的类别概率；其中边框回归的损失函数公式为其中是回归框，是标注框；(2d)从回归得到的边界框中筛选出鸟窝可疑区域的位置，并对其进行非极大值抑制处理NMS，最终得到鸟窝可疑区域的中心点坐标、宽和高并保存其在原图像中的坐标信息；(2e)根据鸟窝可疑区域的坐标裁剪出鸟窝可疑区域图像。优选地，所述步骤3步骤如下：(3a)将鸟窝可疑区域图像调整为416×416像素大小，并将灰度图变为三通道图像；(3b)将所有图像输入全卷积神经网络Darknet-53，Darknet-53网络中使用1×1和3×3大小的卷积核对图像的三个通道信息中的每个通道进行积和下采样特征提取，分别得到255个52×52、26×26和13×13的像素特征图；(3c)对得到的3个尺度的特征图中的每个像素，使用逻辑回归预测3个边界框，每个边界框包含框的位置、对象分数和每种鸟窝可疑区域的类别概率，联合使用三种尺度的特征图进行检测，提升对鸟窝或树枝检测的准确性；(3d)从回归得到的边界框中筛选出鸟窝的位置，并对其进行非极大值抑制处理NMS，最终得到图像鸟窝的中心点坐标、宽和高；(3e)根据鸟窝所在鸟窝可疑区域位置，在原图像中框出步骤(2d)中保存的区域，并输出作为最终结果。优选地，所述步骤4中将步骤2和步骤3中两个全卷积神经网络的参数保存为模型文件。与现有技术相比，本专利技术基于深度学习的高铁线路鸟窝缺陷检测方法具有以下优点：1.采用全卷积神经网络结构和两阶段检测方法解决高铁线路鸟窝缺陷检测问题。2.采用基于深度学习的计算机视觉技术。在服务器端处理车载摄像机拍摄的高铁图像，实现容易，适合大规模使用。3.鉴于现有检测方法的复杂性，利用多层卷积神经网络自动提取特征，克服了现有技术中人工提取特征的复杂性、特征提取速度慢的不足，使得具有提取特征代表性高和提取速度快的优点，从而能显著加快检测速度。4.由于鸟窝区域占图像总分辨率比率很小，且存在复杂环境的影响，通过两阶段检测方法，准确地缩小鸟窝的检测范围。首先检测可能存在鸟窝的可疑区域，再在此基础上检测鸟窝，同时利用大量实际环境场景中的图像训练特征提取网络，不仅提高了准确性，也增强了实际应用中的鲁棒性。本专利技术针对大量的鸟窝数据进行分析，目前的模型已经考虑涵盖了常见的鸟窝可能出现的区域。附图说明图1是本专利技术的流程示意图；图2是本专利技术检测鸟窝可疑位置的示意图；图3是本专利技术检测鸟窝可疑位置后将其裁剪出来的示意图；图4是本专利技术在裁剪出来的图像中检测鸟窝的示意图；图5是本专利技术最终输出的鸟窝缺陷检测结果的示意图。本文档来自技高网...

【技术保护点】
1.一种基于深度学习的高铁线路鸟窝缺陷检测方法，其特征在于：含有以下步骤：/n步骤1、输入铁路接触网图像；/n步骤2、用全卷积神经网络提取鸟窝存在的可疑区域；/n步骤3、利用全卷积神经网络对鸟窝可疑区域图像进行特征提取并检测鸟窝；/n步骤4、保存检测鸟窝可疑区域与检测鸟窝的模型；/n步骤5、加载模型，输入测试图像，得到高铁线路中的鸟窝缺陷检测结果。/n

【技术特征摘要】
1.一种基于深度学习的高铁线路鸟窝缺陷检测方法，其特征在于：含有以下步骤：
步骤1、输入铁路接触网图像；
步骤2、用全卷积神经网络提取鸟窝存在的可疑区域；
步骤3、利用全卷积神经网络对鸟窝可疑区域图像进行特征提取并检测鸟窝；
步骤4、保存检测鸟窝可疑区域与检测鸟窝的模型；
步骤5、加载模型，输入测试图像，得到高铁线路中的鸟窝缺陷检测结果。


2.根据权利要求1所述的基于深度学习的高铁线路鸟窝缺陷检测方法，其特征在于：所述步骤1中选取由列车车载摄像机拍摄到固定分辨率大小的彩色或灰度图像作为输入图像。


3.根据权利要求1所述的基于深度学习的高铁线路鸟窝缺陷检测方法，其特征在于：所述步骤2包括以下分步骤：
(2a)将输入图像调整为416×416像素大小，并将灰度图变为三通道图片；
(2b)将所有图像输入全卷积神经网络Darknet-53，Darknet-53网络中使用1×1和3×3大小的卷积核对图像的三个通道信息中的每个通道进行积和下采样特征提取，分别得到255个52×52、26×26和13×13的像素特征图；
(2c)对得到的3个尺度的特征图中的每个像素，使用逻辑回归预测3个边界框，每个边界框包含框的位置、对象分数和每种鸟窝可疑区域的类别概率；其中边框回归的损失函数公式为其中是回归框，是标注框；
(2d)从回归得到的边界框中筛选出鸟窝...

【专利技术属性】
技术研发人员：宋彬，王佳浩，涂学峰，肖奕恒，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61