一种基于渐进式上下文理解网络的动车油迹检测方法技术

本发明专利技术涉及一种基于渐进式上下文理解网络的动车油迹检测方法，包括以下步骤：使用高清相机获得动车内部结构的二维图像，对数据集进行筛选，分为正常图像数据和带有油迹图像的数据；在训练阶段，对图像进行像素级标注，将图像中的油迹区域标注出来并将其像素值设为255，其余非油迹区域设为0，这就是图像的mask；将原图像和其mask图像分别进行预处理包括随机翻转等数据增强和归一化操作；将预处理后的数据输入到渐进式上下文理解网络中进行特征学习，得到一张可能包括油迹区域的二值图像。最后，将全连接条件随机场作为后处理操作，对输出的二值图像进行进一步的优化得到更准确的结果。本发明专利技术可以准确检测出动车内部结构中油迹在图像中的位置。油迹在图像中的位置。油迹在图像中的位置。

【技术实现步骤摘要】
一种基于渐进式上下文理解网络的动车油迹检测方法


[0001]本专利技术属于动车异常检测领域，尤其涉及一种基于渐进式上下文理解网络的动车油迹检测方法。

技术介绍

[0002]铁路事业在近几年取得越来越大的成就尤其是高铁和动车，国内每天有大量的高铁和动车在运行之中，由于其速度快且方便，也受到了居民的欢迎成为他们主要的出行工具之一。但是，由于动车长期处于高速运转的模式并且处于复杂的工作环境中，其有可能在运行中发生某种故障或者异常从而造成各种损失。一般来说，动车中常见测异常包括螺栓丢失、线缆脱裂，内部卷入异物以及漏油等等。因此，为了保证列车的正常运行和避免造成意外的损失，需要对动车进行检测以发现可能存在的异常。
[0003]在这么多动车异常故障中，漏油的检测由于其固有的属性导致其较难检测出来。漏油形成的油迹的形状是不规则的，不能用现有的形状来表述它，此外，不同油迹区域的大小也是千差万别，小的在图像上可能只有几十个像素点，大的可能占据了图像的大部分区域。而在早期的技术发展阶段，都是通过人工检测的方法来判断是否有异常，这个方法耗时费力，效率极低，而且人力容易受到主观和客观因素的影响，导致检测结果的不准确。幸运的是，由于计算机视觉和深度学习技术的快速进步和高速发展，通过计算机自动实现动车异常检测是很有可能的。而在这个异常检测领域中，常见的方法由基于检测定位再分类的方法，也有基于图像分割的方法输出异常位置。
[0004]现阶段，由于油迹本身的属性，对于动车油迹检测的方法很少。因此，亟需一种效果性能好且合适的方法来对动车进行油迹检测，从而避免动车漏油可能带来的损失和伤害。

技术实现思路

[0005]本专利技术要解决技术问题是：提供一种合适的、效果较好的检测动车内部结构图像中油迹位置的方法。
[0006]为了解决上述技术问题，本专利技术提出的技术方案是：一种基于渐进式上下文理解网络的动车油迹检测方法：该方法包括以下步骤：
[0007]步骤一、通过高清相机拍摄动车内部结构得到二维图像数据，对数据进行筛选，得到正常图像和带有油迹的异常图像。随后对图像进行像素级标注，得到图像的mask。
[0008]步骤二、对输入的原图像和mask图像分别进行预处理，包括图像增强和归一化操作。
[0009]步骤三、将预处理后的原始图像和其mask图像输入到渐进式上下文理解网络中学习特征，提取特征，然后与mask图像通过我们设计的损失函数计算损失来调整网络中的权重参数，优化网络，得到最优的网络模型。最后，模型输出的是一个可能带有油迹区域的二值图像B
[0010]步骤四、采用全连接条件随机场(CRF)算法作为后处理操作，对网络输出的二值图像B进一步的优化从而得到更精确的油迹检测结果。
[0011]进一步，所述步骤一中，在训练阶段，首先基于LabelMe对原始图像进行像素级标注，将标注后的图像中油迹区域的像素点的像素值设为255，其余非油迹区域像素点的像素值设为0，即得到图像的mask；在测试时，无需此步骤。
[0012]进一步，所述步骤二中，在训练时，对原图像和mask图像分别进行数据增强操作包括随机翻转，调整图像的分辨率到同一个固定的值，然后分别进行归一化操作，对原始图像的三通道分别减去均值并除以标准差，对mask图像除以255；在测试时，只需将图像调整大小至训练时一样以及归一化操作即可。
[0013]进一步，所述步骤三中，将原始图像和mask一起输入到渐进式上下文理解网络中，对原始图像学习特征，提取特征，输出一张可能带有油迹区域的二值图与mask基于设计的损失函数计算损失，反向传播调整模型参数，不断训练直到得到最优的一个模型。此网络有多个子网络模块组成，包括上采样增强模块(UAM)、特征精炼模型(RFM)、金字塔上下文融合模块(PCFM)以及反卷积上采样模块(DM)，另外，我们设计的损失函数由交叉熵损失和加权的平均绝对值误差损失组成。
[0014]进一步，所述步骤四中，通过全连接条件随机场优化图像中的油迹区域，更加精确的定位到油迹的边界区域。
[0015]本专利技术提供了一种基于渐进式上下文理解网络的动车油迹检测方法，通过检测动车内部器件上是否存在油迹来解决了现有技术中无法较好地检测到动车中的漏油问题，而且能够适应列车内部复杂的环境以及对各种各样的油迹都有较好的检测效果，因此油迹检测的准确率和召回率都有较好的表现。
[0016]本专利技术的创新点主要包括以下几点：
[0017]1)本专利技术首次提出基于列车内部器件上的油迹来解决列车的漏油问题，具体提出一种渐进式上下文理解网络作为该问题的解决方案，其中该网络中提出上采样增强模块(UAM)、特征精炼模块(RFM)、金字塔上下文融合模块(PCFM)以及反卷积上采样模块(DM)这些子网络；
[0018]2)本专利技术设计一种损失函数即将交叉熵损失和加权的平均绝对值误差损失来对上述提出的渐进式上下文理解网络来进行训练和优化，能够在油迹区域和背景区域悬殊较大的情况下加强模型对油迹区域特征的学习，从而更好地检测到油迹；
[0019]3)本专利技术的检测方法能够在复杂的动车内部环境下的检测到油迹，也能检测到各种各样的油迹区域比如说不同大小的油迹，具有较好的准确率和召回率。
附图说明
[0020]下面结合附图对本专利技术作进一步说明。
[0021]图1是动车内部包含不同情况油迹的图像，其中，(a)为不规则的油迹图像示图，(b)为不同油迹的区域大小示图，(c)为油迹和背景分布非常不均匀示图。
[0022]图2是油迹检测结果，其中，(a)和(b)包括小区域和大区域油迹检测以及一张图中同时检测多个油迹区域的示图。
[0023]图3是上下文理解网络的流程图。
[0024]图4是上下文理解网络中子模块的流程图，其中，(a)为上采样增强模块(UAM)，(b)为特征精炼模块(FRM)，(c)为金字塔式上下文融合模块(PCFM)，(d)为反卷积模块(DM)。
[0025]图5是本专利技术的流程图。
具体实施方式
[0026]下面结合附图和具体实施例，进一步阐明本专利技术，应理解这些实例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
[0027]实施例
[0028]待检测的图像是安装在轨道上的摄像头拍摄的动车内部各个不同方位的器件图。图1所示的为本例中关于油迹的几种典型情况，从图(a)中可以看出油迹的形状是各种各样的，毫无规律而言，无法用任何形状描述，从图(b)和图(c)中可以看出油迹在不同图像上自身的区域大小也是差异很大，另外，其大小分布和背景也有很大的差别，有的小的就只有几十个像素点大小，大的油迹占据了大部分的图像面积。
[0029]本实施例以类似于图1中所示图像分布训练了570张图像并测试了500张图像，这些图像由相机采集而来，如图5所示，其油迹检测方法包括以下步骤：
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于渐进式上下文理解网络的动车油迹检测方法，其特征在于，该方法包括以下步骤：步骤一、通过高清相机拍摄动车内部结构得到二维图像数据，对数据进行筛选，得到正常图像和带有油迹的异常图像，随后对图像进行像素级标注，得到图像的mask；步骤二、对输入的原图像和mask图像分别进行预处理，包括图像增强和归一化操作；步骤三、将预处理后的原始图像和其mask图像输入到渐进式上下文理解网络中学习特征，提取特征，然后与mask图像通过我们设计的损失函数计算损失来调整网络中的权重参数，优化网络，得到最优的网络模型，最后，模型输出的是一个可能带有油迹区域的二值图像B；步骤四、采用全连接条件随机场算法作为后处理操作，对网络输出的二值图像B进一步的优化从而得到更精确的油迹检测结果。2.根据权利要求1所述的一种基于渐进式上下文理解网络的动车油迹检测方法，其特征在于：所述步骤一中，在训练阶段，通过LabelMe软件对图像进行像素级标注，然后，将图像中标注的油迹区域的像素点的像素值设为255，其他非油迹区域像素点的像素值设为0，即得到图像的mask，在测试时，不需要此步骤。3...

【专利技术属性】
技术研发人员：路小波，刘维，魏运，
申请(专利权)人：东南大学，
类型：发明
国别省市：