基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统技术方案

本发明专利技术公开了一种基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统，包括：对原始训练集图像进行模块化预处理，将模块化预处理后的图像送入多层卷积神经网络模型进行训练；对于模块化预处理后的图像，分别选择不同的训练集大小和训练参数，重复步骤2进行多次实验，并将分类准确率和效率进行对比分析，选出最优的训练参数并保存；通过基于环境结构和先验知识所构成的判别器进行过滤，更正误检与漏检信息，得到最终的图像缺陷检测结果。本发明专利技术有益效果：通过构建具有多层隐藏层的机器学习模型，从大量的数据中学习有价值的表现型特征，从而提升分类或者预测的准确性。

【技术实现步骤摘要】
基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统
本专利技术属于模式识别
，具体涉及一种基于多层卷积神经网络的架空输电线路设备图像缺陷检测方法及系统。
技术介绍
高压输电线路是电力传输的主要途径，对输电线路定期巡检，及时发现和消除缺陷和隐患，预防重大事故，对电力系统有重要意义。输电线路巡检机器人能够集成最新的机电一体化、数据可视化和识别智能化技术，采用自主或遥控方式，部分替代人接近架空输电线路设备进行可见光或红外等检测，对巡检数据进行对比和趋势分析，及时发现电网运行的事故隐患和故障先兆，如：异物、损伤、发热和结冰等，从而代替人工巡检。而计算机视觉作为巡检机器人自主导航与场景分析的常用方法之一，能够提供丰富、准确的环境信息，且设备价格低廉，易于安装使用，因此，基于视觉的缺陷检测一直是巡检机器人视觉导航系统问题研究的热点。传统的输电线路巡检系统所集成的视觉缺陷检测方法主要是先通过结构化的线上环境提取线上设备几何基元信息(如直线、圆、椭圆等)，再进行假设检验以便进行进一步分类识别，最终获得可靠的设备类型信息与设备状态。此类方法的优势在于计算复杂度低，实时性较好，并在国内外现场都取得了广泛的应用。但基于结构特征与存在概率基元信息的分类与识别算法相对简单，且受野外作业环境中光照、尺度及部分遮挡等因素的影响较大，这都会对图像信息的进一步理解、分析与深加工带来较大的困难。虽然高性能的特征算子(如梯度直方图HOG等)能够提升识别准确度，但都存在计算量大、速度慢的问题，从而成为了在线识别的瓶颈。综上所述，传统算法面对高清晰度、海量的在线视频文件的低下效率迫切要求高效的面对大规模数据的自动化数据处理技术。为了加速特征提取和分类，采用基于GPU的并行处理框架(如CUDA等)和大规模多层神经网络结构(如深度学习)的分类器能够在准确率不降低的情况下实现识别速度的提高，因此成为了近年来研究的热门方向。目前基于深度学习的方法在非电力专业的自然图像识别中虽然已有一定的应用，但未见对电力设备图像分类的应用。需要指出的是，不同于传统自然图像检测，巡检机器人的工作环境恶劣，线上障碍物千差万别，尺度变化极大，光照影响非常明显。尤其是受到一义多图、一图多物、一物多态、异物相似等多重因素的影响，输电线路上的可靠的图像特征提取技术仍存在许多悬而未决的问题，距实际应用仍有很大差距。在现有的一些基于深度学习的处理平台中，在处理类似于电力设备的大规模图像数据时存在明显局限：即当在一段时间内连续输入相同类型的训练数据时，训练模型将失效。现有技术公开了基于深度学习的电力图像分类方法，然而该方法只能在图像尺寸固定(32*32)的情况下进行识别，对于千差万别的高清在线图像数据处理而言，该方法的精度将急剧恶化，同时计算量大幅上升。除此之外，基于计算机视觉的缺陷检测的另外一个难点在于定位出待检测目标之后，如何针对具体目标进行特征选择、描述及匹配的有效性(即是否能够检测出来有没有缺陷)和鲁棒性(即是否稳定)。现有利用图像特征匹配的方法，一般都需要在帧内阶段(检测阶段)来准确提取缺陷，再进行人工缺陷特征匹配(如局部位置特征信息、几何特征信息和光照、对比度特征信息等)。这种方法具有先天不足的特点：在线上作业中，机器人往往面对阳光直射或遭遇野外、市区等复杂背景干扰，导致采集到的图像出现运动模糊、低对比度、缺陷形态多样等问题，导致缺陷提取的准确性无法得到保证；此外，人工特征的有效描述和人工特征的准确选取往往非常困难，需要启发式方法和非常专业的知识，很大程度上也靠个人经验，并且要求特征具有对旋转、缩放和平移的不变性，所以上述基于人工特征的缺陷检测方法对于线上巡检作业的效果较差。
技术实现思路
本专利技术的目的就是为了解决上述问题，提出了一种基于多层卷积神经网络的架空输电线路设备图像缺陷检测方法及系统，能在极大降低处理数据量的同时，自动抽取能真正表征物体的有用的本质特征信息(破损状态与正常状态)。它可进行在线学习、并能够处理任意尺寸的输入数据，具有训练的收敛速度较快并有极高的准确率，并可同时进行图像分类与定位、缺陷检测等多类实时任务，并可通过使用GPU加快学习网络的处理速度优点。为了实现上述目的，本专利技术采用如下技术方案：本专利技术公开了一种基于多层卷积神经网络的输电线路设备图像缺陷检测方法，包括：步骤1:对原始训练集图像进行模块化预处理，包括：形态学模块化处理、几何视角模块化处理和光照补偿模块化处理；步骤2:将模块化预处理后的图像送入多层卷积神经网络模型进行训练，经过信息融合和分类，得到输入图像的识别结果；步骤3:对于模块化预处理后的图像，分别选择不同的训练集大小和训练参数，重复步骤2进行多次实验，并将分类准确率和效率进行对比分析，选出最优的训练参数并保存；步骤4:对步骤2所得到的输入图像的识别结果，通过基于环境结构和先验知识所构成的判别器进行过滤，更正误检与漏检信息，得到最终的图像缺陷检测结果。进一步地，所述步骤1中，形态学模块化处理包括：进行随机的形变、剪切、白化、直方图均衡、颜色干扰、提高对比度操作，获得与实际运行环境相符合的训练数据库；所述随机的形变、剪切具体为：将每一张图片调整到短边为256，长边的大小通过保持长宽比而得；然后从中间裁剪出一个256×256的图像；在该图像上再裁剪出来大小为224×224的子图作为该数据层的输出；在网络训练的阶段，子图裁剪的位置从256×256的图像上随机选择，只需要满足裁剪后的子图完全落在图像中即可。进一步地，所述步骤1中，几何视角模块化处理包括：对原始训练集图像进行镜像干扰和旋转干扰。进一步地，所述步骤1中，光照补偿模块化处理包括:使用Retinex算子对检测后的图像进行图像动态增强：使用Retinex光照补偿方法，分别对中间和四周的局部区域进行高斯平滑函数估计亮度分布来压缩图像光照动态范围，得到补偿后的图像。进一步地，光照补偿模块化处理方法具体为：设亮度图像为L(x，y)，反射图像为R(x，y)，原图像为I(x，y)，并记G(x，y)代表高斯卷积函数，则有：转换至对数域中有：logR＝log(I/L)＝logI-logL＝logI-log(I*G)。R、I、L、G分别代表转换为对数域后的反射图像、原图像、亮度图像和高斯卷积函数。进一步地，所述步骤2中，多层卷积神经网络模型包括：输入层、卷积层、全连接层和输出层；将经过预处理的图像送入卷积神经网络的卷积层进行卷积；进行降采样/池化：将Pooling窗口中的所有值组合，以最大值作为采样值；全连接层的投影矩阵以及阈值通过随机梯度下降的方式更新优化；输出层即分类器，由欧式径向基函数单元组成，每个输出RBF单元计算输入向量x和参数向量c之间的欧式距离，取欧式距离最大值作为最终输出结果。进一步地，输出层使用SoftMax误差函数作为代价函数：其中，i为输出层节点，m为输出层节点的个数，即最终的分类类别数目；k是训练样本的正确结果，y＝k是网络训练的输出结果；Xn是特征向量、P(y＝k)表示待检测图片的识别结果y是否符合正确结果k的概率。进一步地，原始数据输入经过前向传播传到最后一层，再从最后一层开始逐层的根据各层的反向传播推导得到各层参数需要调整权值的量；整个网络的权值更新采用成熟本文档来自技高网...

【技术保护点】
一种基于多层卷积神经网络的输电线路设备图像缺陷检测方法，其特征在于，包括：步骤1:对原始训练集图像进行模块化预处理，包括：形态学模块化处理、几何视角模块化处理和光照补偿模块化处理；步骤2:将模块化预处理后的图像送入多层卷积神经网络模型进行训练，经过信息融合和分类，得到输入图像的识别结果；步骤3:对于模块化预处理后的图像，分别选择不同的训练集大小和训练参数，重复步骤2进行多次实验，并将分类准确率和效率进行对比分析，选出最优的训练参数并保存；步骤4:对步骤2所得到的输入图像的识别结果，通过基于环境结构和先验知识所构成的判别器进行过滤，更正误检与漏检信息，得到最终的图像缺陷检测结果。

【技术特征摘要】
1.一种基于多层卷积神经网络的输电线路设备图像缺陷检测方法，其特征在于，包括：步骤1:对原始训练集图像进行模块化预处理，包括：形态学模块化处理、几何视角模块化处理和光照补偿模块化处理；步骤2:将模块化预处理后的图像送入多层卷积神经网络模型进行训练，经过信息融合和分类，得到输入图像的识别结果；步骤3:对于模块化预处理后的图像，分别选择不同的训练集大小和训练参数，重复步骤2进行多次实验，并将分类准确率和效率进行对比分析，选出最优的训练参数并保存；步骤4:对步骤2所得到的输入图像的识别结果，通过基于环境结构和先验知识所构成的判别器进行过滤，更正误检与漏检信息，得到最终的图像缺陷检测结果。2.如权利要求1所述的基于多层卷积神经网络的输电线路设备图像缺陷检测方法，其特征在于，所述步骤1中，形态学模块化处理包括：进行随机的形变、剪切、白化、直方图均衡、颜色干扰、提高对比度操作，获得与实际运行环境相符合的训练数据库；所述随机的形变、剪切具体为：将每一张图片调整到短边为256，长边的大小通过保持长宽比而得；然后从中间裁剪出一个256×256的图像；在该图像上再裁剪出来大小为224×224的子图作为该数据层的输出；在网络训练的阶段，子图裁剪的位置从256×256的图像上随机选择，只需要满足裁剪后的子图完全落在图像中即可。3.如权利要求1所述的基于多层卷积神经网络的输电线路设备图像缺陷检测方法，其特征在于，所述步骤1中，几何视角模块化处理包括：对原始训练集图像进行镜像干扰和旋转干扰。4.如权利要求1所述的基于多层卷积神经网络的输电线路设备图像缺陷检测方法，其特征在于，所述步骤1中，光照补偿模块化处理包括:使用Retinex算子对检测后的图像进行图像动态增强：使用Retinex光照补偿方法，分别对中间和四周的局部区域进行高斯平滑函数估计亮度分布来压缩图像光照动态范围，得到补偿后的图像。5.如权利要求4所述的基于多层卷积神经网络的输电线路设备图像缺陷检测方法，其特征在于，光照补偿模块化处理方法具体为：设亮度图像为L(x，y)，反射图像为R(x，y)，原图像为I(x，y)，并记G(x，y)代表高斯卷积函数，则有：转换至对数域中有：logR＝log(I/L)＝logI-logL＝logI-log(I*G)。R、I、L...

【专利技术属性】
技术研发人员：张峰，李振宇，李路，郭锐，杨波，许玮，慕世友，李超英，傅孟潮，李建祥，赵金龙，王万国，
申请(专利权)人：国网山东省电力公司电力科学研究院，山东鲁能智能技术有限公司，国家电网公司，
类型：发明
国别省市：山东,37