列车轨道扣件缺陷的检测方法技术

本发明专利技术提供了一种列车轨道扣件缺陷的检测方法。该方法包括：构建Faster R‑CNN网络模型，该Faster R‑CNN网络模型包括区域生成网络RPN和快速区域卷积神经网络Fast R‑CNN，网络初始化方式采用预训练好的同类任务的参数初始化，再利用训练集数据对所述Faster R‑CNN网络模型进行训练。通过拍照设备拍摄采集地铁线路上的扣件图像；将扣件图像输入到训练好的Faster R‑CNN网络模型，Faster R‑CNN网络模型利用卷积操作和池化操作提取扣件图像中的扣件区域，利用损失函数对所述扣件区域进行缺陷类别检测。本发明专利技术通过区域生成网络和快速区域卷积神经网络的结合，对训练图片的自主学习与特征提取，从而能对采集到的大尺寸图像进行扣件定位和缺陷自动检测，智能化程度更高，实现效率更高，模型适用性更强。

【技术实现步骤摘要】
列车轨道扣件缺陷的检测方法
本专利技术涉及列车轨道缺陷检测的
，尤其涉及一种列车轨道扣件缺陷的检测方法。
技术介绍
轨道交通作为一种最重要的交通运输方式，已经在世界获得了极大的发展，在中国的发展更为显著，铁路的快速发展对运输的安全性提出了更高的要求。轨道和扣件的健康状态是保证轨道安全、稳定运输的关键。由于轮轨之间的接触摩擦和振动冲击的影响以及自然环境的影响，轨道上很容易产生各种病害及缺陷，如扣件的损坏和丢失。扣件的作用是将轨道固定在道床上，然而损坏或缺失的扣件无法安全有效的起到固定作用。而扣件的丢失会导致钢轨出现松动，长期发展下去钢轨往往会出现变形，钢轨渐渐地出现错位崩塌等问题，严重时会直接导致机车脱轨发生事故。因此，有必要及时的对扣件进行检测，对有缺陷的扣件进行及时的维修和更换。现在，轨道部件的主要检查方式是经过培训的工作人员沿着铁路线定期检查扣件的状态。人工检查是一种很辛苦的费时、低效以及高成本的检测方法，因此实现扣件的故障检测的全自动化在确保轨道安全、减低维护成本方面有重大意义。通过使用先进的技术，如图像处理、计算机视觉、机器学习以及高速度和高分辨率的相机发展轨道扣件检测系统去提高铁路运输的安全性、自动化检查轨道、缩短检查时间、降低维护成本、缓解工人的劳动强度具有重大的意义。轨道扣件的常见异常状态主要包括扣件损坏和扣件缺失等。传统的基于图像检测的算法需要对扣件位置进行定位，再将定位到的扣件通过特定的特征提取算法或者输入到特征提取网络中提取特征，最后输入到分类器对分类器进行训练。利用训练好的模型对采集到的新的扣件图像进行检测，以此实现扣件缺陷自动检测。这一方法目前存在以下问题：第一，在扣件定位部分。目前已有的基于图像处理的定位算法，算法中的部分参数需要依赖于实验得到的经验值，对不同的扣件图像数据集无法做到良好的兼容，算法鲁棒性不强。其次，若要做到扣件精确定位，算法计算量大，无法达到实时检测的要求。第二，特征提取部分，由于硬件性能有限，需要将输入图像大小进行调整，(如将900×900的图像调整为256×256)。这一处理方法会造成图像信息的丢失，有可能导致后续识别分类结果不佳。此外，一个完整的扣件由不同的部分组成，部分特征提取算法只能提取图像的全局特征而忽视的局部特征。
技术实现思路
本专利技术的实施例提供了一种列车轨道扣件异常的检测方法，以克服现有技术的问题。为了实现上述目的，本专利技术采取了如下技术方案。一种列车轨道扣件缺陷的检测方法，包括：通过拍照设备采集扣件图像，利用已知包含病害的扣件图像预训练特征提取网络VGG16，利用VGG16网络对所述已知包含病害的扣件图像进行分类预训练；利用预训练好的VGG16网络初始化FasterR-CNN网络模型，该FasterR-CNN网络模型包括区域生成网络RPN和快速区域卷积神经网络FastR-CNN，利用训练集数据对所述FasterR-CNN网络模型进行训练；将所述拍照设备采集的扣件图像输入到训练好的FasterR-CNN网络模型中，RPN网络模型通过产生多个候选框对提取所述扣件图像中的扣件区域，RCNN网络模型利用卷积操作以及全连接层对所述扣件区域进行缺陷类别检测。进一步地，所述的通过拍照设备采集扣件图像，利用已知包含病害的扣件图像预训练特征提取网络VGG16，利用VGG16网络对所述已知包含病害的扣件图像进行分类预训练，包括：通过拍照设备采集包含病害的扣件图像，对采集到的包含病害的扣件图像进行人工标注，将人工标注后的扣件图像输入到VGG16网络中进行预训练，其中训练参数通过多次重复试验采取最优结果获得，用于预训练的扣件图像包含单个扣件的小尺寸扣件图像，所述VGG16网络采用多个小卷核串联的结构，采用多次卷积操作和池化操作提取扣件图像中的特征信息，最终得到图像特征图，对提取到的图像特征图进行分类预训练，根据分类预训练的结果调整VGG16网络的参数，使分类预训练的结果达到最佳。进一步地，所述利用预训练好的VGG16网络初始化FasterR-CNN网络模型，包括：利用预训练好的VGG16网络的结构和参数初始化RPN网络和FastR-CNN网络的特征提取层，调整RPN网络和FastR-CNN网络的参数。进一步地，所述的利用训练集数据对所述FasterR-CNN网络模型进行训练，包括：从地铁线路上采集分别具有各种状态类型的原始扣件图像，从地铁线路上采集的原始扣件图像的相机拍摄角度垂直于扣件，相机与扣件的距离保持在1米，采集的图像为三通道的RGB图像，拍摄轨道位于图像中间，每张图像至少包含2个扣件，所述各种状态类型包括正常、损坏和缺失；对所有原始扣件图像进行图像翻转、旋转、镜像、添加图像噪声和光照增强处理，噪声采用的是均值为0，方差为0.1的高斯噪声，所有旋转、镜像、添加图像噪声和光照增强处理后的扣件图像构成了数据集，从所述数据集中的70％的图像数据作为训练集，将剩余的30％的图像作为测试集，利用训练集数据对所述FasterR-CNN网络进行训练，在训练结束后使用测试集的数据来验证所述FasterR-CNN网络模型的训练结果。进一步地，所述的将所述拍照设备采集的扣件图像输入到训练好的FasterR-CNN网络模型中，RPN网络模型通过产生多个候选框对提取所述扣件图像中的扣件区域，包括：VGG16网络采用迁移学习的思想，利用预训练好的网络参数作为初始值，固定前几层的权重参数不变，利用扣件图像数据集对后面几层的权值参数进行微调，利用多次卷积操作和池化操作，提取图像中的特征信息，最终得到图像的特征图；RPN网络利用所述VGG16网络生成的特征图上的每一个特征点预测多个候选框，每一个特征点都对应原图中的一片区域，即该特征点的感受野，在感受野中设置9个不同大小和长宽比的候选框，得到若干个候选框后，并标定每个候选框是否包含目标，若候选框包含目标则为正样本，不包含目标则为负样本，将所述候选框作为扣件区域。进一步地，所述的得到若干个候选框后，标定每个候选框是否包含目标，若包含目标则为正样本，不包含目标记则为负样本，包括：假设有区域A和区域B，则区域A和区域B之间的重叠度IoU的计算公式为：IoU＝(A∩B)/(A∪B)a)与真实框之间的IoU值最大的候选框标记为正样本，这样保证了每一个真实框都必包含一个正样本；b)剩下的候选框当中，与真实框之间的IoU值大于0.7，记为正样本，若IoU值小于0.3，则记为负样本；c)对a)，b)操作后剩余的候选框，丢弃且不用于后续计算。进一步地，所述的RCNN网络模型利用卷积操作以及全连接层对所述扣件区域进行缺陷类别检测，包括：FastR-CNN网络接受到RPN网络提取的候选区域后，将候选区域经过感兴趣区域RoI池化降维到设定大小后，将候选区域输入到两个全连接层，最后将候选区域分别与分类层和区域回归层连接，利用损失函数对候选区域进行分类，输出每个状态类别的预测概率，以及每个状态类别的预测位置(x，y，w，h)；所述RoI池化前需要对池化尺寸进行计算，计算公式如下：其中x1，x2，y1，y2是某个候选区域的坐标，pooledheight和pooledwidth是期望池化之后的特征向量的尺寸。由上述本专利技术的实施例提供的技术方案可以看出，本专利技术实本文档来自技高网...

【技术保护点】
1.一种列车轨道扣件缺陷的检测方法，其特征在于，包括：通过拍照设备采集扣件图像，利用已知包含病害的扣件图像预训练特征提取网络VGG16，利用VGG16网络对所述已知包含病害的扣件图像进行分类预训练；利用预训练好的VGG16网络初始化Faster R‑CNN网络模型，该Faster R‑CNN网络模型包括区域生成网络RPN和快速区域卷积神经网络Fast R‑CNN，利用训练集数据对所述Faster R‑CNN网络模型进行训练；将所述拍照设备采集的扣件图像输入到训练好的Faster R‑CNN网络模型中，RPN网络模型通过产生多个候选框对提取所述扣件图像中的扣件区域，RCNN网络模型利用卷积操作以及全连接层对所述扣件区域进行缺陷类别检测。

【技术特征摘要】
1.一种列车轨道扣件缺陷的检测方法，其特征在于，包括：通过拍照设备采集扣件图像，利用已知包含病害的扣件图像预训练特征提取网络VGG16，利用VGG16网络对所述已知包含病害的扣件图像进行分类预训练；利用预训练好的VGG16网络初始化FasterR-CNN网络模型，该FasterR-CNN网络模型包括区域生成网络RPN和快速区域卷积神经网络FastR-CNN，利用训练集数据对所述FasterR-CNN网络模型进行训练；将所述拍照设备采集的扣件图像输入到训练好的FasterR-CNN网络模型中，RPN网络模型通过产生多个候选框对提取所述扣件图像中的扣件区域，RCNN网络模型利用卷积操作以及全连接层对所述扣件区域进行缺陷类别检测。2.根据权利要求1所述的方法，其特征在于，所述的通过拍照设备采集扣件图像，利用已知包含病害的扣件图像预训练特征提取网络VGG16，利用VGG16网络对所述已知包含病害的扣件图像进行分类预训练，包括：通过拍照设备采集包含病害的扣件图像，对采集到的包含病害的扣件图像进行人工标注，将人工标注后的扣件图像输入到VGG16网络中进行预训练，其中训练参数通过多次重复试验采取最优结果获得，用于预训练的扣件图像包含单个扣件的小尺寸扣件图像，所述VGG16网络采用多个小卷核串联的结构，采用多次卷积操作和池化操作提取扣件图像中的特征信息，最终得到图像特征图，对提取到的图像特征图进行分类预训练，根据分类预训练的结果调整VGG16网络的参数，使分类预训练的结果达到最佳。3.根据权利要求1所述的方法，其特征在于，所述利用预训练好的VGG16网络初始化FasterR-CNN网络模型，包括：利用预训练好的VGG16网络的结构和参数初始化RPN网络和FastR-CNN网络的特征提取层，调整RPN网络和FastR-CNN网络的参数。4.根据权利要求2或3所述的方法，其特征在于，所述的利用训练集数据对所述FasterR-CNN网络模型进行训练，包括：从地铁线路上采集分别具有各种状态类型的原始扣件图像，从地铁线路上采集的原始扣件图像的相机拍摄角度垂直于扣件，相机与扣件的距离保持在1米，采集的图像为三通道的RGB图像，拍摄轨道位于图像中间，每张图像至少包含2个扣件，所述各种状态类型包括正常、损坏和缺失；对所有原始扣件图像进行图像翻转、旋转、镜像、添加图像噪声和光照增强处理，噪声采用的是均值为0，方差为0.1的高斯噪声，所有旋转、镜像、...

【专利技术属性】
技术研发人员：魏秀琨，杨子明，贾利民，张文强，李永光，李宇杰，高方庆，尹贤贤，魏德华，管青鸾，赵利瑞，江思阳，李赛，孟鸿飞，滕延芹，王熙楠，所达，翟小婕，潘潼，陈亚兰，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：北京,11