一种基于异源图像融合的高铁扣件缺陷识别方法技术

本发明专利技术涉及一种基于异源图像融合的高铁扣件缺陷识别方法，属于机器视觉检测技术领域，包括以下步骤：S1、同步动态采集高铁扣件区域的二维灰度图像G(x,y)和轨道的二维深度图像D(x,y)；S2、对二维灰度图像G(x,y)和二维深度图像D(x,y)配准，使二维灰度图像G(x,y)和二维深度图像D(x,y)准确对应场景中相同位置；S3、对配准后的扣件区域的二维灰度图像G(x,y)和二维深度图像D(x,y)分别进行特征提取；S4、基于度量学习对二维灰度图像G(x,y)和二维深度图像提取的特征分别进行特征映射，并将映射后的特征进行融合；S5、将融合后的特征输入SVM分类器，实现对扣件的分类。本发明专利技术提高了扣件的缺陷检测率，使缺陷扣件的漏检率更低，实用性强，值得推广。

【技术实现步骤摘要】
一种基于异源图像融合的高铁扣件缺陷识别方法
本专利技术属于机器视觉检测
，具体涉及一种基于异源图像融合的高铁扣件缺陷识别方法。
技术介绍
铁路是国民经济大动脉、关键基础设施和重大民生工程，是综合交通运输体系的骨干。铁路的基础设施包括钢轨、扣件、轨枕和鱼尾板等，扣件连接钢轨和轨枕，钢轨左右两侧的扣件将钢轨固定在轨枕上防止其偏移。随着铁路向高速、高密度和重载方向发展，列车对铁路基础设施破坏力加大，如钢轨裂纹、磨损和扣件功能失效等。扣件功能失效主要表现为扣件缺失、扣环折断、扣环异位和螺栓松脱等。扣件功能失效会引起左右两根钢轨发生偏移、使列车的振动加强从而影响乘车舒适度，严重情况下甚至造成列车脱轨。因此，如何在有限的天窗时间内快速和准确检测扣件状态已成为国内外轨道养护部门亟需解决的现实问题。为了确保铁路运输安全，我国每年投入了大量的人力物力对铁路进行维护，目前工务系统主要采用人工在“天窗”时间沿线路通过目视逐一排查扣件异常状态。传统的人工目视巡检方法效率低、主观意识强，显然已经无法满足我国高速发展的铁路应用需求。近年来，随着计算机视觉技术的发展，基于CCD扫描成像的视觉检测技术是一种新兴的表面缺陷无损检测方法，该技术具有非接触、响应快、抗干扰能力强和检测对象广等优点，且易于实现在大视场条件下进行缺陷识别。利用高速相机快速获取轨道数据，采用图像处理和模式识别等技术，对感兴趣区域进行检索、定位、形态识别以及量化分析，得到被测对象的相关参数，可使一线维护人员随时了解线路状态，以便对线路维护工作提前做出计划和安排，进而提高铁路维护效率。目前，基于机器视觉的缺陷检测技术可大致分为二维和三维视觉成像检测。前者利用相机获得轨道的二维图像，一般利用颜色或者纹理来进行目标检测与定位；后者一般利用结构光和相机构成三维视觉成像，采集场景的三维点云或者深度图，根据被测对象的深度信息和三维空间结构识别缺陷。尽管利用二维视觉和三维视觉成像对缺陷检测检测展开了许多研究并取得了显著成果，但在扣件缺陷检测领域的应用存在以下问题：(1)二维视觉成像采集的二维图像缺少第三维的深度信息，难以检测扣件是否松脱，造成缺陷漏检和误检；(2)三维视觉成像获得的点云或者深度图丢失了场景颜色和纹理信息，难以准确检测扣件是否丢失、折断和异位，使部分类型的缺陷扣件漏检。针对以上问题，研究一种能够同时准确检测扣件丢失、异位、折断和松动的缺陷检测方法是本
技术人员亟待解决的技术问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于异源图像融合的高铁扣件缺陷识别方法，以便解决现有技术中的不足。本专利技术的技术方案是：一种基于异源图像融合的高铁扣件缺陷识别方法，所述方法包括以下步骤：S1、同步动态采集高铁扣件区域的二维灰度图像G(x,y)和轨道的二维深度图像D(x,y)；S2、对二维灰度图像G(x,y)和二维深度图像D(x,y)配准，使二维灰度图像G(x,y)和二维深度图像D(x,y)准确对应场景中相同位置；S3、对配准后的扣件区域的二维灰度图像G(x,y)和二维深度图像D(x,y)分别进行特征提取；S4、基于度量学习对二维灰度图像G(x,y)和二维深度图像提取的特征分别进行特征映射，并将映射后的特征进行融合；S5、将融合后的特征输入SVM分类器，实现对扣件的分类。优选的，步骤S1的实现方法包括以下步骤：S11、二维线阵相机和三维线扫描相机以相同高度安装在检测车上，三维线扫描相机垂直安装，使线激光垂直照射在扣件上，线阵相机安装在三维线扫描相机的线激光一侧，三维线扫描相机的线激光为二维线阵相机提供辅助光源，且二维线阵相机的光轴与三维线扫描的线激光光条在同一条线上；S12、用于将里程信号转换为脉冲信号的光电编码器安装在检测车车轮上，扣件信号脉冲在扣件区域输出正电平，非扣件区域输出负电平，将扣件信号输出的脉冲与光电编码器输出的信号进行相与，再将相与后的脉冲信号同时送入三维线扫描相机和二维线阵相机用于触发两相机进行同步图像采集；S13、利用二维线阵相机采集扣件区域的二维灰度图像G(x,y)，单个脉冲触发线阵相机采集一行图像，设图像的宽度为M，由N行图像构成一张大小为M×N的二维灰度图像G(x,y)；同时，单个脉冲触发三维线扫描相机采集一行深度图像，图像的宽度为M，由N行图像构成一张大小为M×N的二维深度图像D(x,y)。优选的，步骤S2的实现方法包括以下步骤：S21、以二维灰度图像G(x,y)作为浮动图像f，以二维深度图像D(x,y)作为参考图像r，利用式(1)对二维灰度图像G(x,y)进行旋转和平移变换，使扣件二维灰度图像G(x,y)和二维深度图像D(x,y)对应场景中的相同位置，式(1)中，R表示旋转矩阵，T表示平移向量，(xf,yf)，(xr,yr)分别表示浮动图像f和参考图像r的坐标值，其中xf，xr分别表示浮动图像f和参考图像r的横坐标，yf，yr分别表示浮动图像f和参考图像r的纵坐标；S22、利用式(2)计算二维灰度图像G(x,y)和二维深度图像D(x,y)之间的互信息熵MI(A,B)，其中，MI(A,B)表示二维灰度图像G(x,y)和二维深度图像D(x,y)的之间的互信息熵，a和b表示图像的灰度级，pf(a)表示二维灰度图像G(x,y)中灰度级a出现的概率，pr(b)表示二维深度图像D(x,y)中灰度级b出现的概率，pfr(a,b)表示二维灰度图像G(x,y)和二维深度图像D(x,y)对应灰度级(a,b)的联合概率；S23、当两幅图像通过空间变换使空间位置上的对应点达到一致时，图像之间的互信息熵将最大，用式(3)表示为：其中，Φ表示在不同的旋转参数下，二维灰度图像G(x,y)和二维深度图像D(x,y)之间的互信息熵，MI(A,B)表示二维灰度图像G(x,y)和二维深度图像D(x,y)之间的互信息熵；基于Barzilai-Borwein算法求解式(3)，获得最佳配准参数R，T。优选的，步骤S3的实现方法包括以下步骤：将扣件区域的二维灰度图像G(x,y)和二维深度图像D(x,y)分别作为深度卷积神经网络的输入，利用Alexnet网络分别提取二维灰度图像G(x,y)和二维深度图像D(x,y)的高级特征，二维灰度图像G(x,y)和二维深度图像D(x,y)分别经过5层卷积和2个全连接层的深度卷积神经网络，输出二维灰度图像G(x,y)的特征集X1＝[x1,x2,…,xn]和二维深度图像D(x,y)的特征集Y1＝[y1,y2,…,yn]，其中n表示点的数量。优选的，步骤S4的实现方法包括以下步骤：S41、利用度量学习对S3所述提取的二维灰度图像G(x,y)特征集X1和二维深度图像D(x,y)的特征集Y1分别进行特征映射，映射后的特征分别表示为F1＝M1X1，F2＝M2Y1；其中，M1和M2分别为二维灰度图像G(x,y)和二维深度图像D(x,y)的本文档来自技高网...

【技术保护点】
1.一种基于异源图像融合的高铁扣件缺陷识别方法，其特征在于，包括以下几个步骤：/nS1、同步动态采集高铁扣件区域的二维灰度图像G(x,y)和轨道的二维深度图像D(x,y)；/nS2、对二维灰度图像G(x,y)和二维深度图像D(x,y)配准，使二维灰度图像G(x,y)和二维深度图像D(x,y)准确对应场景中相同位置；/nS3、对配准后的扣件区域的二维灰度图像G(x,y)和二维深度图像D(x,y)分别进行特征提取；/nS4、基于度量学习对二维灰度图像G(x,y)和二维深度图像提取的特征分别进行特征映射，并将映射后的特征进行融合；/nS5、将融合后的特征输入SVM分类器，实现对扣件的分类。/n

【技术特征摘要】
1.一种基于异源图像融合的高铁扣件缺陷识别方法，其特征在于，包括以下几个步骤：
S1、同步动态采集高铁扣件区域的二维灰度图像G(x,y)和轨道的二维深度图像D(x,y)；
S2、对二维灰度图像G(x,y)和二维深度图像D(x,y)配准，使二维灰度图像G(x,y)和二维深度图像D(x,y)准确对应场景中相同位置；
S3、对配准后的扣件区域的二维灰度图像G(x,y)和二维深度图像D(x,y)分别进行特征提取；
S4、基于度量学习对二维灰度图像G(x,y)和二维深度图像提取的特征分别进行特征映射，并将映射后的特征进行融合；
S5、将融合后的特征输入SVM分类器，实现对扣件的分类。


2.根据权利要求1所述的一种基于异源图像融合的高铁扣件缺陷识别方法，其特征在于，所述步骤S1的实现方法包括以下步骤：
S11、二维线阵相机和三维线扫描相机以相同高度安装在检测车上，三维线扫描相机垂直安装，使线激光垂直照射在扣件上，线阵相机安装在三维线扫描相机的线激光一侧，三维线扫描相机的线激光为二维线阵相机提供辅助光源，且二维线阵相机的光轴与三维线扫描的线激光光条在同一条线上；
S12、用于将里程信号转换为脉冲信号的光电编码器安装在检测车车轮上，扣件信号脉冲在扣件区域输出正电平，非扣件区域输出负电平，将扣件信号输出的脉冲与光电编码器输出的信号进行相与，再将相与后的脉冲信号同时送入三维线扫描相机和二维线阵相机用于触发两相机进行同步图像采集；
S13、利用二维线阵相机采集扣件区域的二维灰度图像G(x,y)，单个脉冲触发线阵相机采集一行图像，设图像的宽度为M，由N行图像构成一张大小为M×N的二维灰度图像G(x,y)；同时，单个脉冲触发三维线扫描相机采集一行深度图像，图像的宽度为M，由N行图像构成一张大小为M×N的二维深度图像D(x,y)。


3.如权利要求1所述的一种基于异源图像融合的高铁扣件缺陷识别方法，其特征在于，所述步骤S2的实现方法包括以下步骤：
S21、以二维灰度图像G(x,y)作为浮动图像f，以二维深度图像D(x,y)作为参考图像r，利用式(1)对二维灰度图像G(x,y)进行旋转和平移变换，使扣件二维灰度图像G(x,y)和二维深度图像D(x,y)对应场景中的相同位置，



式(1)中，R表示旋转矩阵，T表示平移向量，(xf,yf)，(xr,yr)分别表示浮动图像f和参考图像r的坐标值，其中xf，xr分别表示浮动图像f和参考图像r的横坐标，yf，yr分别表示浮动图像f和参考图像r的纵坐标；
S22、利用式(2)计算二维灰度图像G(x,y)和二维深度图像D(x,y)之间的互信息熵MI(A,B)，



其中，MI(A,B)表示二维灰度图像G(x,y)和二维深度图像D(x,y)的之间的互信息熵，a和b表示图像的灰度级，pf(a)表示二维灰度图像G(x,y)中灰度级a出现的概率，pr(b)表示二维深度图像D(x,y)中灰度级b出现的概率，pfr(a,b)表示二维灰度图像G(x,y)和二维深度图像D(x,y)对应灰度级(a,b)的联合概率；
S23、当两幅图像通过空间变换使空间位置上的对应点达到一致时，图像之间的互信息熵将最大，用式(3)表示为：



其中，Φ表示在不同的旋转参数下，二维灰度图像G(x,y)和二维深度图像D(x,y)之间的互信息熵，MI(A,B)表示二维灰度图像G(x,y)和二维深度图像D(x,y)之间的互信息熵；
基于Barzilai-Borwein算法求解式(3)，获得最佳配准参数R，T。


4.如权利要求1所述的一种基于异源图像融合的高铁扣件缺陷识别方法，其特征在于，所述步骤S3的实现方法包括以下步骤：
将扣件区域的二维灰度图像G(x,y)和二维深度图像D(x,y...

【专利技术属性】
技术研发人员：袁小翠，张宇，陈宇菲，吕奉坤，刘宝玲，
申请(专利权)人：南昌工程学院，
类型：发明
国别省市：江西;36