一种基于深度学习网络的钢轨表面缺陷检测方法技术

本发明专利技术属于深度学习领域，提供了一种基于深度学习网络的钢轨表面缺陷检测方法，目的在于解决现有钢轨检测方法存在的各种问题。该深度学习方法首先将输入的钢轨图像自动重置为416*416，接着进行图像提取和处理输出。图像提取主要由Darknet‑53模型完成。处理输出主要由类FPN网络模型完成。图像提取首先将钢轨图像划分单元格，根据缺陷在单元格的位置，通过维度聚类的方法计算缺陷的宽高，中心点的坐标，将坐标归一化处理。同时使用逻辑回归来预测边界框对象分数，使用二元交叉熵损失来预测边界框包含的类别，计算置信度，然后经过处理输出中的卷积，上采样，网络特征融合得到预测结果。本发明专利技术可以准确的识别缺陷，有效提高钢轨表面缺陷检测识别率。

【技术实现步骤摘要】
一种基于深度学习网络的钢轨表面缺陷检测方法
本专利技术属于深度学习领域，尤其涉及一种基于深度学习网络的钢轨表面缺陷检测方法。
技术介绍
随着我国铁路事业的兴盛，运营的里程、速度、密度不断增加,对钢轨的检测要求进一步提高。列车在钢轨上行驶时,会与钢轨内表面产生摩擦、滚动接触、弹塑形变。日积月累,便会使钢轨表面产生缺陷,其表现形式为轨面磨损、压溃，剥离，波浪磨损、纵横裂型核伤等现象，严重影响甚至危及到乘客的安全。因此,为了铁路更加安全，快速的行驶，为了增加乘客的安全感与舒适度，对钢轨表面缺陷的检测就显得极为重要。传统的钢轨表面缺陷检测方法就是采用人工检查的方式。但这种方式存在着效率低、耗时耗力，通常主观且不产生可审计视觉记录等诸多问题。目前针对钢轨表面缺陷检测的方法有很多，如三维检测，超声波探伤检测，电涡流检测，地穿雷达，数字图像处理等。这些方法虽然能够达到检测的目的，但是由于各种外部干扰，其信号难以处理并可能导致检测盲点。而且，这些方法在实时性方面并没有达到理想的效果。因此它们对于钢轨表面缺陷的检测仍有着很大的进步空间。因此，目前需要选择一种更好的方法来解决上述存在的问题，从而能够更为精准的检测出钢轨表面的缺陷。名词解释：loss值：即损失函数的值。IOU：交并比(Intersection-over-Union，IoU)，目标检测中使用的一个概念，是产生的候选框(candidatebound)与原标记框(groundtruthbound)的交叠率，即它们的交集与并集的比值。Ubuntu：是一个以桌面应用为主的开源GNU/Linux操作系统。
技术实现思路
本专利技术公开了一种基于深度学习网络的钢轨表面缺陷检测方法，本专利技术是一种能够更为快速，准确，全面的检测出钢轨缺陷的基于深度学习网络的钢轨表面缺陷检测方法，旨在解决现有钢轨检测方法存在的各种问题，使得检测所用时间更少，检测精度更高。为了实现上述目的，本专利技术的技术方案如下：一种基于深度学习网络的钢轨表面缺陷检测方法，包括如下步骤：步骤一：收集钢轨图像，其中一部分钢轨图像手动标注钢轨缺陷位置，制作钢轨缺陷训练集，另一部分未标注钢轨缺陷位置的钢轨图像作为测试样本集。步骤二：训练深度学习神经网络模型；步骤三：将钢轨缺陷训练集输入到深度学习神经网络模型中，网络进行梯度更新，深度学习神经网络模型不断学习钢轨缺陷的特征；步骤四：当深度学习神经网络模型的loss训练到0.1±0.09且达到收敛时，训练过程结束，对钢轨缺陷训练集和测试样本集的样本进行检测，输出测试样本集的测试准确率；步骤五：对钢轨缺陷训练集和测试样本集的准确率进行比较；若准确率低于期望值，则更改深度学习神经网络模型的参数，重复步骤一到四，直到测试的准确率达到期望值或高于期望值。进一步的改进，所述步骤一中，使用labelimg软件来对钢轨缺陷图像进行手动标注即画出的实际边界框；标注的结果是分别得到了三种格式的文件：lxml，jpg，txt；其中lxml是生成的标签的宽高的信息，jpg指钢轨图像，txt是一种包括类别，边界框的宽高及中心点坐标的文本文件。进一步的改进，所述深度学习神经网络模型为YOLOv3网络，包括输入层，隐藏层，输出层组成；输入层用于输入图像；隐藏层包括1*1与3*3卷积层，shortcut层，route层和上采样层；输出层为yolo层，用于输出预测图像。进一步的改进，所述步骤一中，在Ubuntu系统下，将钢轨缺陷图像分成钢轨缺陷训练集和测试样本集，其中钢轨缺陷训练集用于训练，需要进行手动标注；测试样本集则不用标注，待训练集训练完成后，再使用测试样本集进行测试。进一步的改进，所述步骤二中，使用迁移学习的方法训练深度学习神经网络模型，即将预先训练好的Darknet-53模型的权重迁移至YOLOv3网络模型上。进一步的改进，所述深度学习神经网络模型的深度学习特征输出维度为13*13*18、26*26*18、52*52*18三种维度，其中13*13、26*26、52*52是指模型输出的固定大小，18是分类数即随着类别的改变而变化，网络会在三种维度中找到交并比(IOU)最大值，将其所在的图像作为预测图像输出。进一步的改进，所述步骤二中，在ubuntu环境下使用GPU1080训练深度学习神经网络模型。进一步的改进，所述深度学习神经网络模型的参数包括阈值，迭代次数，学习率和步长等。本专利技术的有益效果：(1)本专利技术能够根据训练好的深度学习模型对输入的图像进行识别测试，无需输入任何参数。(2)本专利技术使用最新的深度学习方法不同于其它深度学习或者常规方法，该方法使用维度聚类的思想计算边界框，区别于其他方法的人工选框，使得定位的目标更为准确。本专利技术使用最新的深度学习方法使用二元交叉熵损失预测类别，区别于其他方法中的softmax以及relu函数作为输出，这解决了多标签可能重叠的问题。具体如步骤四所述。(3)YOLOv3网络可以大大的提高钢轨检测的准确率，更具有实用性。应用在钢轨表面缺陷检测时，可以快速给出检测的结果，耗时少，检测识别率高。附图说明图1为本专利技术的一种基于深度学习网络的钢轨表面缺陷检测方法结构图；图2为本专利技术的一种基于深度学习网络的钢轨表面缺陷检测方法具体步骤图；图3为本专利技术的一种基于深度学习网络的钢轨表面缺陷检测方法实验部分结果图；图4为本专利技术的一种基于深度学习网络的钢轨表面缺陷检测方法实验结果评估图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步说明。本专利技术以钢轨表面缺陷检测为实例进行说明，但本专利技术并不限于此。如图1所示，本专利技术提出的方法包括如下步骤：步骤1，手动标注钢轨缺陷图像，制作数据集本专利技术对有限的钢轨图像进行预处理。采集到195张钢轨样本图像，为了训练的准确率，这些图里面分为两种不同的类型：钢轨表面光滑图像总共128张，钢轨表面粗糙图像总共67张。在这些钢轨图片中，使用其中184张作为训练集进行训练，其中123张钢轨表面光滑的图像，61张钢轨表面粗糙的图像；11张作为测试集，有5张钢轨表面光滑的图像，6张钢轨表面粗糙图像；检测类别为1类即钢轨表面的缺陷。划分好数据集后，使用labelimg软件来对钢轨缺陷图像进行手动标注即画出的实际边界框；步骤2，深度学习的神经网络模型的训练如图2所示，本专利技术是在现有的Darknet模型的基础上进行改进。YOLOv3网络从总体上可以分为特征提取层(Darknet-53)和处理输出层。特征提取层是由Darknet-19和类resnet网络相结合的模型。处理输出层和FPN网络相类似。当给出输入图像后，首先要进行resizing，然后在特征提取层即Darknet-53模型中实现特征提取。接着进入到处理输出层，在82层yolo层进行第1次输出,输出维度为13*13*18。然后进行卷积，上采样，特征融合，在94层进行了第2次输出，维度是26*26*18。同样的，在106层yolo层输出维度是52*52*18。YOLOv3网络模型具体可分为106层(从0层算起)，其中有75层为卷积层，有23层为shortcut层，有4层为route层，有3层为yolo层，有2层为上采样层。其中在卷积层主要使用1*1与3*3过滤器，使用3*3的卷积层来减小宽度和高度，增加通道数，本文档来自技高网...

【技术保护点】
1.一种基于深度学习网络的钢轨表面缺陷检测方法，其特征在于，包括如下步骤：步骤一：收集钢轨图像，其中一部分钢轨图像手动标注钢轨缺陷位置，制作钢轨缺陷训练集，另一部分未标注钢轨缺陷位置的钢轨图像作为测试样本集。步骤二：训练深度学习神经网络模型；步骤三：将钢轨缺陷训练集输入到深度学习神经网络模型中，网络进行梯度更新，深度学习神经网络模型不断学习钢轨缺陷的特征；步骤四：当深度学习神经网络模型的loss训练到0.1±0.09且达到收敛时，训练过程结束，对钢轨缺陷训练集和测试样本集的样本进行检测，输出测试样本集的测试准确率；步骤五：对钢轨缺陷训练集和测试样本集的准确率进行比较；若准确率低于期望值，则更改深度学习神经网络模型的参数，重复步骤一到四，直到测试的准确率达到期望值或高于期望值。

【技术特征摘要】
1.一种基于深度学习网络的钢轨表面缺陷检测方法，其特征在于，包括如下步骤：步骤一：收集钢轨图像，其中一部分钢轨图像手动标注钢轨缺陷位置，制作钢轨缺陷训练集，另一部分未标注钢轨缺陷位置的钢轨图像作为测试样本集。步骤二：训练深度学习神经网络模型；步骤三：将钢轨缺陷训练集输入到深度学习神经网络模型中，网络进行梯度更新，深度学习神经网络模型不断学习钢轨缺陷的特征；步骤四：当深度学习神经网络模型的loss训练到0.1±0.09且达到收敛时，训练过程结束，对钢轨缺陷训练集和测试样本集的样本进行检测，输出测试样本集的测试准确率；步骤五：对钢轨缺陷训练集和测试样本集的准确率进行比较；若准确率低于期望值，则更改深度学习神经网络模型的参数，重复步骤一到四，直到测试的准确率达到期望值或高于期望值。2.如权利要求1所述的基于深度学习网络的钢轨表面缺陷检测方法，其特征在于，所述步骤一中，使用labelimg软件来对钢轨缺陷图像进行手动标注即画出的实际边界框；标注的结果是分别得到了三种格式的文件：lxml，jpg，txt；其中lxml是生成的标签的宽高的信息，jpg指钢轨图像，txt是一种包括类别，边界框的宽高及中心点坐标的文本文件。3.如权利要求1所述的基于深度学习网络的钢轨表面缺陷检测方法，其特征在于，所述深度学习神经网络模型为YOLOv3网络，包括输入层，隐藏层，输出层组成；输入层用于输入图像；隐藏层包括1*1与3*3...

【专利技术属性】
技术研发人员：张辉，宋雅男，刘理，钟杭，梁志聪，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：湖南,43