一种图库联合的高铁绝缘子巡检图像识别方法技术

本发明专利技术公开了一种图库联合的高铁绝缘子巡检图像识别方法，以高铁接触网安全巡检系统中的工程实测图像为例，首先对巡检图像的感兴趣区域（ROI，Region of Interest）进行图像增强、去噪等预处理，然后采用图像切割的方式提取感兴趣区域中的正负样本并利用多层CNN对其进行训练学习，最后通过对训练后的模型进行分层次识别、针对错误集微调等优化处理，实现对巡检图像中绝缘子的精准识别。本发明专利技术尤其适用于背景复杂的接触网环境，可在接触网环境中以98.2%的识别率精确定位绝缘子，在不同的拍摄距离、角度、亮度下均能展现出较好的泛化能力。

【技术实现步骤摘要】
一种图库联合的高铁绝缘子巡检图像识别方法
本专利技术专利涉及到轨道交通领域，尤其涉及一种图库联合的高铁绝缘子巡检图像识别方法。
技术介绍
随着我国电气化铁路的快速发展和建设，对牵引供电系统中接触网供电的安全性、可靠性要求不断提高。绝缘子作为接触网上使带电部件保持电气绝缘的元器件之一，在电气化铁路安全运行方面有着举足轻重的作用。目前对接触网上绝缘子的识别方法主要有人工巡视法和电磁特性检测法，人工巡视法识别效率不高、巡视周期长；电磁特性检测法例如电压分布法、超声波检测、红外检测、无线电波检测等，都存在着操作繁琐、容易受电磁干扰的问题。随着图像处理技术的发展，基于图像处理的绝缘子图像识别技术成为了一种比较高效的新型识别方法，该方法可以在某些特定条件下实现对绝缘子的快速定位识别，从而及时发现缺陷、排除险情。绝缘子图像识别技术主要可分为以下三类：第一类是基于方向梯度直方图(HOG，HistogramofOrientedGradient)特征和支持向量机(SVM，SupportVectorMachine)分类器的绝缘子识别与定位，该类技术虽然误识别率低，但识别精度不高，且当图像背景较为复杂或需要识别的绝缘子数量较大时，检测准确率会大幅降低，很难满足实际工程中的需求；第二类是基于Haar特征和Adaboost级联分类器的绝缘子特征识别技术，该类技术虽然识别精度较高，但存在严重的误识别问题，且误识别对象主要以图像中的黑色背景为主，通过增加负样本以及优化程序也很难降低误识别率；第三类是结合深度学习及机器视觉的新型检测技术，该类技术适用范围广，检测效率高，可用于检测大量图像，但在检测模糊、亮度低或背景较复杂的绝缘子图像时，识别率仍不够高。随着我国铁路的快速发展，所需检测的接触网绝缘子数量剧增，上述方法已经不能满足这种海量图像数据的处理需求。
技术实现思路
为了解决上述问题，本专利技术提出了一种基于深度学习的高铁绝缘子巡检图像感兴趣区域目标识别新方法，具有较大的实际工程价值。使用电子式数据统计、数字图像处理和卷积神经网络模型，满足对接触网上绝缘子非接触、抗干扰、高精度检测的要求，具有智能化、小型化、网络化、特征化等特点，可实现在背景复杂的接触网环境中对绝缘子进行精准定位，且在不同的拍摄距离、角度、亮度下展现出较好的泛化能力。为达到以上目的，本专利技术提供如下技术方案：一种图库联合的高铁绝缘子巡检图像识别方法，包括以下步骤：(1)巡检图像的采集和感兴趣区域划分高速铁路车载安全巡检采集系统先利用安装在车顶的高清摄像头拍摄铁路沿线视频，将实时数据传输到控制中心进行信息处理，然后通过视频软件将采集的视频处理成每一帧图像，并实时显示当前帧图像的录像时间，方便对故障零部件的杆号及公里标号定位，最后将巡检图像格式转换为处理软件需要的格式。由于图像中绝缘子集中于接触网腕臂上，腕臂通常在图像的左上角，另一方面，接触网综合巡检车工作环境为室外，车体振动、车速过快及恶劣天气等多种因素都会影响拍摄质量，导致图像亮度偏暗、模糊不清。因此先将巡检图像十字划分，再选取包含绝缘子的感兴趣区域进行预处理。(2)感兴趣区域的图像预处理由于接触网综合巡检系统采集到的是彩色图像，而图像处理时通常只能对灰度图进行识别检测，故需将巡检图像灰度化。在图像颜色处理中，通常将红(R，Red)、绿(G，Green)、蓝(B，Blue)三种基色分别量化至0～255之间，结合巡检图像局部构图复杂、降维过程易出现信息丢失的特点，本专利技术采用一种新型颜色编码方法，即色相(H,Hue)、饱和度(S,Saturation)、明度(V,Value)颜色空间模型，HSV颜色模型是将RGB色彩模式中的点置入倒圆锥体中的表示方法，可以用一个圆锥空间模型来描述。设(rROI，gROI，bROI)分别为巡检图像感兴趣区域中一个像素的坐标，maxROI等价于这些值中的最大者，minROI等价于最小者，该转换过程就是要求HSV颜色模型颜色空间对应像素点的(hROI，sROI，lROI)值。计算公式为：对灰度化后的图像采用基于Gamma变换的图像增强，利用该方法对图像感兴趣区域中的每一个像素点做乘积运算。为检验上述方法的效果，分别用处理后得到的绝缘子图片与直方图均衡化和Log变换处理的结果进行对比，结果表明，基于Gamma变换的图像增强效果最好，相较于原图，对比度和亮度都有了明显提高，有利于后续对绝缘子图像的识别，提高了识别精度。在巡检图像的生成、传输过程中，常受到各类噪声的影响，本专利技术选用了小波去噪对感兴趣区域进行处理，具体步骤是：首先针对巡检图像的特点，选取Haar小波进行分解，分解层次为N，再由此计算出从信号S到第N层的分解，为1～N每一层的高频系数选择一个阈值进行量化，最后选用表现更优的软阈值对其进行去噪处理。(3)感兴趣区域正负样本数据库的建立利用分类器进行训练、验证时，需要对图像中正负样本的数据进行统计分析，分类出正负样本的特征，为识别检测打下基础。从巡检图像的感兴趣区域随机截取大量正负样本，正样本为待测绝缘子图像，截取时应框选出绝缘子边缘轮廓；负样本为不包含绝缘子的背景图像，应尽量囊括所有场景。本专利技术从30000多张巡检图像中随机抽取12000张进行标记工作，建立了含3000张图片的正样本库和1000张图片的负样本库，图片大小为64*64。(4)巡检图像感兴趣区域的分层次识别处理为了提高对感兴趣区域中绝缘子的识别精度，需使用优化算法对模型训练进行优化，在训练过程中暴露了以下几方面的限制：目标尺寸差距过大易使识别时只包围目标局部或包围多个物体，且使人工标注图片难度增加；部分零部件过小，本专利技术在实验中采用的是Caffe深度学习计算平台，利用特征提取网络提取特征图时，尺寸仅为原图的1/16，对于绝缘子上的细小零件如螺母等识别困难；识别耗时过长，巡检图像的尺寸为4920×3280，直接卷积运算会使存储消耗巨大。经测试，在4920×3280的图片上仅识别13个目标区域就需要1.1秒左右的时间。为了有效改善以上三种限制，本专利技术提出了一种分层次识别策略，先识别绝缘子所在区域，再对区域内绝缘子进行提取。从原图中剪裁出目标区域时需根据区域内目标检测的像素精度要求来缩放，如检测绝缘子时可将区域缩小，而检测螺母时将区域放大。(5)针对巡检图像感兴趣区域错误集的微调优化由于巡检图像感兴趣区域内包含大量待检测目标，且不同区域不同目标识别所需训练样本数量不同，若将所有区域全部标注，工作量大且效率低。因此本专利技术的部分训练集采用了一种针对错误集的微调策略：首先用未标注测试集对模型进行测试，再根据检测出的区域数量判断缺少的区域，将缺少不同区域的图片分类存储，然后对缺少N号区域的图片标注N号区域，将其他部分处理为黑色，形成错误集，最后利用处理好的错误集在原有网络模型的基础上进行微调。同一线路的接触网上需识别目标数量基本相同，且该测试的目的并不是统计模型识别率而是产生一个用来微调的错误集，经过测试，该策略是可靠的。(6)基于卷积神经网络的Pa-CNN模型本专利技术将Pa-CNN模型定义为卷积神经网络每一层输出的特征图上的像素点在原始图像上映射的区域大小。Pa-CNN模型含有多层神经网络，它的每一层包含多个二维平面，而每个二维平面又包含本文档来自技高网...

【技术保护点】
1.一种图库联合的高铁绝缘子巡检图像识别方法，其特征在于，具体处理方法如下：（1）巡检图像的采集和感兴趣区域划分高速铁路车载安全巡检采集系统先利用安装在车顶的高清摄像头拍摄铁路沿线视频，将实时数据传输到控制中心进行信息处理，然后通过视频软件将采集的视频处理成每一帧图像，并实时显示当前帧图像的录像时间，方便对故障零部件的杆号及公里标号定位，最后将巡检图像格式转换为处理软件需要的格式；划分感兴趣区域时先将巡检图像十字划分，再选取包含绝缘子的感兴趣区域进行预处理；（2）ROI区域的图像预处理采用色相（H,Hue）、饱和度(S,Saturation)、明度(V,Value)颜色空间模型的颜色编码方法来对采集到的图像进行灰度化处理，设（r ROI，g ROI，b ROI）分别为巡检图像感兴趣区域中一个像素的坐标，max ROI等价于这些值中的最大者，minROI等价于最小者，该转换过程就是要求HSV颜色模型颜色空间对应像素点的（h ROI，s ROI，lROI）值，计算公式为：

【技术特征摘要】
1.一种图库联合的高铁绝缘子巡检图像识别方法，其特征在于，具体处理方法如下：（1）巡检图像的采集和感兴趣区域划分高速铁路车载安全巡检采集系统先利用安装在车顶的高清摄像头拍摄铁路沿线视频，将实时数据传输到控制中心进行信息处理，然后通过视频软件将采集的视频处理成每一帧图像，并实时显示当前帧图像的录像时间，方便对故障零部件的杆号及公里标号定位，最后将巡检图像格式转换为处理软件需要的格式；划分感兴趣区域时先将巡检图像十字划分，再选取包含绝缘子的感兴趣区域进行预处理；（2）ROI区域的图像预处理采用色相（H,Hue）、饱和度(S,Saturation)、明度(V,Value)颜色空间模型的颜色编码方法来对采集到的图像进行灰度化处理，设（rROI，gROI，bROI）分别为巡检图像感兴趣区域中一个像素的坐标，maxROI等价于这些值中的最大者，minROI等价于最小者，该转换过程就是要求HSV颜色模型颜色空间对应像素点的（hROI，sROI，lROI）值，计算公式为：对灰度化后的图像采用Gamma变换将图像增强处理，并选用了小波去噪法对感兴趣区域进行去噪处理，具体步骤是：首先针对巡检图像的特点，选取Haar小波进行分解，分解层次为N，再由此计算出从信号S到第N层的分解，为1~N每一层的高频系数选择一个阈值进行量化，最后选用表现更优的软阈值对其进行去噪处理；（3）感兴趣区域正负样本数据库的建立从30000多张巡检图像中随机抽取12000张进行标记工作，建立了含3000张图片的正样本库和1000张图片的负样本库，图片大小为64*64；（4）巡检图像感兴趣区域的分层次识别处理本发明提出了一种分层次识别策略，先识别绝缘子所在区域，再对区域内绝缘子进行提取，从原图中剪裁出目标区域时需根据区域内目标检测的像素精度要求来缩放，以此来提高对感兴趣区域中绝缘子的识别精度；（5）针对巡检图像感兴趣区域错误集的微调优化本发明的部分训练集采用了一种针对错误集的微调策略：首先用未标注测试集对模型进行测试，再根据检测出的区域数量判断缺少的区域，将缺少不同区域的图片分类存储，然后对缺少N号区域的图片标注N号区域，将其他部分处理为黑色，形成错误集，最后利用处理好的错误集在原有网络模型的基础上进行微调；（6）基于卷积神经网络的Pa-CNN模型本发明将Pa-CNN模型定义为卷积神经网络每一层输出的特征图上的像素点在原始图像上映射的区域大小,Pa-CNN模型含有多层神经网络，它的每一层包含多个二维平面，而每个二维平面又包含多个独立的神经元,其在网络结构上采用了卷积层、采样层交替结构,卷积层利用不同的卷积核进行卷积运算，增强原信号特征，降低噪音，通过局部感知场，抽取一些类似有向边角的基本视觉特征，构成一幅输入图像的特征图，卷积层中通常包含多个具有不同权值向量的特征图，使得在同一个位置能够获得多种不同的特征；（7）不同网络层数对Pa-CNN模型的影响通过大量对比实验探索了隐层数与模型好坏的关系,卷积层和池化层是Pa-CNN模型中特有的网络结构，且池化层通常...

【专利技术属性】
技术研发人员：屈志坚，朱丹，张靖，赖立，衣晚卓，
申请(专利权)人：华东交通大学，
类型：发明
国别省市：江西,36