一种基于卷积神经网络的TFDS故障图像自动识别方法技术

本发明专利技术公开了一种基于卷积神经网络的TFDS故障图像自动识别方法，该方法基于深度学习理论，由一个二级级联的卷积神经网络模型构成：第一级为多类易故障区域同步定位的网络模型，结合多故障区域的空间相互位置关系约束，实现多故障目标区域同步精确定位；第二级为故障判别网络模型，对第一级定位的区域实现故障和非故障的判断。本发明专利技术提供的TFDS多类故障同步自动识别方法无需针对不同故障分别设计识别方法，借助深度学习中的卷积神经网络理论，通过学习训练的方式自适应地抽取特征，能够对多故障进行同步定位和故障判断，且具有高效性和强鲁棒性。

Automatic identification method of TFDS fault

The invention discloses a TFDS fault automatic recognition method, this method is based on deep learning theory, formed by convolution neural network model of a two cascaded network model: the first level is easy to multi class fault area synchronous positioning, combined with multi fault area spatial relationship constraints, multi fault target region accurately the second level for the fault location; network model, fault and non fault judgment for the first level positioning area. The invention provides a TFDS synchronous multi class fault automatic recognition method without the need for different fault identification methods were designed, using convolutional neural network theory in deep learning, through feature extraction training methods adaptively, capable of simultaneous localization and fault diagnosis of multiple faults, and has the advantages of high efficiency and strong robustness.

【技术实现步骤摘要】

本专利技术涉及铁路检测领域，特别涉及货车故障轨边图像的故障自动识别方法。
技术介绍
为了推进铁路现代化建设，提高列检故障发现率，降低列检人员劳动强度，原铁道部大力推广了一系列列车运行故障图像动态检测系统。目前，货车运行故障图像动态检测系统(TFDS)已在全路推广使用，通过布置在轨道上的多个工业相机对运行列车的两侧和底部进行图像采集，通过专用网络将图像传输至监控室服务器。在监控室，列检人员通过图像复示终端软件观察所采集图像，判断是否存在故障。然而，TFDS系统只负责采集、传输、存储图像，由于故障的复杂和多样性以及图像质量的影响，TFDS还不能实现对故障的自动识别。在TFDS故障自动识别方面，一些学者针对某些特定故障提出了一些故障自动识别方法。孙国栋等在专利号为201210558987.X的专利技术专利“一种TFDS挡键丢失故障自动识别方法”中提出了一种TFDS挡键丢失故障自动识别方法，该方法通过Hough圆变换来对列车轮轴和通孔进行定位，并依据轮轴、通孔以及挡键区域间的几何关系间接标定挡键目标区域，再根据挡键目标区域的灰度级变化来判断挡键是否丢失。张益等在专利号为201110166974.3的专利技术专利“一种货车下心盘螺栓丢失故障识别装置及其识别方法”中提出了一种心盘螺栓丢失的故障识别方法，该方法首先定位候选区域，接着提取候选区域图像特征，再对特征数据进行识别运算。通常，大多数故障识别的过程分为两步：目标区域的定位和故障判定。目标区域的定位是故障识别的第一步，且在故障判定中起着关键性的作用。现有目标区域的定位方法大多数基于模板匹配、图像分割、边缘检测等方法，而故障判定主要基于人工特征提取特征的方法。通常，这些方法需要大量的工程经验和先验知识，且需要针对不同类别的故障分别设计算法，通常效率不高。近几年，深度学习在语音识别、视觉目标识别、目标检测以及一些其它领域例如医药发现和基因检测中取得了重大的进展。基于深度学习理论的关键在于特征提取和特征表达不需要人工设计特征提取器，而通过从大量数据的学习中自动获取所需的特征表达。深度网络能够实现高度复杂的函数表达，因此能够解决一些更难的问题。基于深度学习理论的卷积神经网络(CNN)已经广泛应用在机器视觉和图像识别领域。CNN输入原始图像数据，并使用一个多层的网络结构自动发现所需的特征表达。CNN在发现图像的本质特征展现了卓越的能力，因此能够在机器视觉和图像识别领域取得惊人的成果，具体包括行人检测、人脸识别、人脸关键点识别、交通标志识别、人体姿态识别、场景分析、目标检测等。LeCun等人在文章“Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,Volume 86,Issue 11,1998,Pages2278-2324”首先提出了一个经典的5层CNN网络(LeNet-5)，在当时用于美国银行中的支票识别。在图像分类领域，基于CNN的识别系统已经获得了惊人的成就，尤其在大型图像分类任务中。微软亚洲研究院的计算机视觉组研究了一个基于极深的CNN视觉系统，并在ImageNet数据集上获得了超过人眼的辨识力。从上述分析可以看出，现有的故障自动识别方法主要基于人工特征提取，这些方法需要大量的工程经验和先验知识，且需要针对不同类别的故障分别设计算法，通常效率不高。深度学习中的卷积神经网络在图像识别领域中展现出惊人的效果，基于卷积神经网络实现故障自动识别，使用一个统一的方法对故障进行检测，能实现多故障的同步检测，具有高效性，同时对由于环境等因素造成质量不佳的图像仍具有较好的效果。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种TFDS故障自动识别方法，能够对多类别故障同步检测及判别，提高故障检测的效率、故障识别准确率，不需要复杂的人工设计特征提取器过程，仅通过学习训练的方式自适应获取所需特征表达，最终实现多故障的同步自动识别。为达到上述目的，本专利技术的技术方案是这样实现的：一种TFDS故障自动识别方法，由一个二级级联的基于卷积神经网络模型构成，第一级为多类易故障区域同步定位的网络模型，实现多类易故障区域的同步定位；第二级为故障判别网络模型，对第一级网络模型中定位的区域进行故障和非故障的判断；二级级联的模型能够实现对多类故障进行先定位后判断的同步故障自动识别，具体包括以下步骤：a、收集铁路货车故障图像动态检测系统，即TFDS采集的图像，建立训练样本集和测试样本集，对训练样本集制作标注文件，并对训练样本集将待检测的目标区域裁剪并先按类别归类，每个类别再按故障和非故障归类；b、建立第一级多类易故障区域同步定位的网络模型，使用步骤a中的训练样本集、测试样本集及标注文件针对多类易故障区域对所述多类易故障区域同步定位的网络模型进行训练；c、建立目标区域的空间位置关系约束，结合已训练的第一级多类易故障区域同步定位的网络模型，利用目标区域的空间位置关系约束精确定位待检测的目标区域；d、建立第二级故障判别的网络模型，并用步骤a中裁剪且归类好的待检测的目标区域针对不同故障类别对所述故障判别的网络模型分别进行训练，步骤b和c定位出待检测目标区域，本步骤训练好的故障判别网络模型对待检测目标区域进行故障或非故障的判断，得到故障和非故障的判别概率；e、级联步骤b和c的易故障目标区域的定位和步骤d的故障判别过程，将训练好的第一级多类易故障区域同步定位的网络模型和训练好的第二级多类故障判别的网络模型级联，第一级模型输出的待检测目标区域输入第二级相应故障类别的模型中进行判断，实现对多类故障的先定位后判断的同步故障自动识别。步骤e所述的对多类故障的先定位后判断的同步故障自动识别过程采用端对端的形式，即输入TFDS采集的原始图像，直接输出故障的判别结果，对多故障的同步自动识别，其中，具体级联的过程为：第一级为一个多类易故障区域同步定位的网络模型，此模型的输出经过空间位置关系的约束获得精确定位的目标区域；第一级连接第二级多个训练好的故障判别网络模型，第一级输出的目标区域，根据目标区域的类别输入第二级相应的故障判别网络模型中进行故障判断。所述步骤b中多类易故障区域同步定位的网络模型对一幅图像的输出包括：图像中目标区域在图像的像素坐标及目标区域对所有类别的置信度，即属于每类待检测故障类别的概率，该目标区域所属类别为置信度最高的对应类别，此类别决定了该目标区域在第二级所对应的故障判别网络模型。所述步骤c中根据铁路货车多故障区域的空间位置关系增加空间位置约束，用于进一步定位低置信度的目标区域，提高定位的准确度。所述步骤d中训练故障判别的网络模型，是对该网络模型分别训练不同类别的故障，使用的训练样本是所述步骤a中相应类别的故障和非故障裁剪区域，第二级网络模型的个数与待判定的故障类别数相同。所述步骤b中的多类易故障区域同步定位的网络模型基于区域预测的目标检测模型，所述目标检测模型由两个卷积神经网络模型构成，一个卷积神经网络模型用于区域预测，另一卷积神经网络模型用于目标检测；用于目标检测的卷积神经网络模型对用于区域预测的卷积神经网络模型的输出的预测区域进行区域类别概率计算及矩形框的回归；两个卷积神经网络模型共享图像特本文档来自技高网...

【技术保护点】
一种TFDS故障自动识别方法，其特征在于，该方法由一个二级级联的基于卷积神经网络模型构成，第一级为多类易故障区域同步定位的网络模型，实现多类易故障区域的同步定位；第二级为故障判别网络模型，对第一级网络模型中定位的区域进行故障和非故障的判断；二级级联的模型能够实现对多类故障进行先定位后判断的同步故障自动识别，具体包括以下步骤：a、收集铁路货车故障图像动态检测系统，即TFDS采集的图像，建立训练样本集和测试样本集，对训练样本集制作标注文件，并对训练样本集将待检测的目标区域裁剪并先按类别归类，每个类别再按故障和非故障归类；b、建立第一级多类易故障区域同步定位的网络模型，使用步骤a中的训练样本集、测试样本集及标注文件针对多类易故障区域对所述多类易故障区域同步定位的网络模型进行训练；c、建立目标区域的空间位置关系约束，结合已训练的第一级多类易故障区域同步定位的网络模型，利用目标区域的空间位置关系约束精确定位待检测的目标区域；d、建立第二级故障判别的网络模型，并用步骤a中裁剪且归类好的待检测的目标区域针对不同故障类别对所述故障判别的网络模型分别进行训练，步骤b和c定位出待检测目标区域，本步骤训练好的故障判别网络模型对待检测目标区域进行故障或非故障的判断，得到故障和非故障的判别概率；e、级联步骤b和c的易故障目标区域的定位和步骤d的故障判别过程，将训练好的第一级多类易故障区域同步定位的网络模型和训练好的第二级多类故障判别的网络模型级联，第一级模型输出的待检测目标区域输入第二级相应故障类别的模型中进行判断，实现对多类故障的先定位后判断的同步故障自动识别。...

【技术特征摘要】
1.一种TFDS故障自动识别方法，其特征在于，该方法由一个二级级联的基于卷积神经网络模型构成，第一级为多类易故障区域同步定位的网络模型，实现多类易故障区域的同步定位；第二级为故障判别网络模型，对第一级网络模型中定位的区域进行故障和非故障的判断；二级级联的模型能够实现对多类故障进行先定位后判断的同步故障自动识别，具体包括以下步骤：a、收集铁路货车故障图像动态检测系统，即TFDS采集的图像，建立训练样本集和测试样本集，对训练样本集制作标注文件，并对训练样本集将待检测的目标区域裁剪并先按类别归类，每个类别再按故障和非故障归类；b、建立第一级多类易故障区域同步定位的网络模型，使用步骤a中的训练样本集、测试样本集及标注文件针对多类易故障区域对所述多类易故障区域同步定位的网络模型进行训练；c、建立目标区域的空间位置关系约束，结合已训练的第一级多类易故障区域同步定位的网络模型，利用目标区域的空间位置关系约束精确定位待检测的目标区域；d、建立第二级故障判别的网络模型，并用步骤a中裁剪且归类好的待检测的目标区域针对不同故障类别对所述故障判别的网络模型分别进行训练，步骤b和c定位出待检测目标区域，本步骤训练好的故障判别网络模型对待检测目标区域进行故障或非故障的判断，得到故障和非故障的判别概率；e、级联步骤b和c的易故障目标区域的定位和步骤d的故障判别过程，将训练好的第一级多类易故障区域同步定位的网络模型和训练好的第二级多类故障判别的网络模型级联，第一级模型输出的待检测目标区域输入第二级相应故障类别的模型中进行判断，实现对多类故障的先定位后判断的同步故障自动识别。2.根据权利要求1所述的方法，其特征在于：步骤e所述的对多类故障的先定位后判断的同步故障自动识别过程采用端对端的形式，即输入TFDS采集的原始图像，直接输出故障的判别结果，实现对多故障的同步自动识别，其中，具体级联的过程为：第一级为一个多类易故障区域同步定位的网络模型，此模型的输出经过空间位置关系的约束获得精确定位的目标区域；第一级连接第二级多个训练好的故障判别网络模型，第一级输出的...

【专利技术属性】
技术研发人员：孙军华，肖钟雯，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11