一种爬索机器人视频缺陷信息自动提取方法技术

本发明专利技术公开了一种爬索机器人视频缺陷信息自动提取方法，包括将视频数据转换为数字图像，并根据拉索颜色选择不同颜色空间，对数字图像进行颜色空间转换，获得拉索表面缺陷检测图像序列；采用基于灰度‑梯度矩阵的阈值分割法对拉索表面缺陷检测图像序列中的每幅图像进行单幅图像分割处理，并对分割后的拉索表面缺陷检测图像序列进行统计分析与掩模处理，得到拉索区域图像；对拉索区域图像进行缺陷区域分割，并通过形态学处理获得缺陷区域，采用形状描述子对缺陷区域进行描述，生成缺陷信息等步骤。其显著效果是：避免了缺陷信息提取是背景信息的干扰，提高了信息提取效率，并提高了信息提取质量。

【技术实现步骤摘要】
一种爬索机器人视频缺陷信息自动提取方法
本专利技术涉及到桥梁拉索表面缺陷检测
，具体地说，是一种爬索机器人视频缺陷信息自动提取方法。
技术介绍
在众多的桥梁病害中，拉索表面缺陷是一种重要的危险标志。拉索表面PE保护套是保护内部钢丝免受腐蚀的重要措施之一，它的破损程度反映了拉索内部钢丝的健康状态，当拉索表面PE保护套出现严重缺陷时，其内部钢丝出现腐蚀的概率很大，就需要对拉索的内部钢丝进行检测，因此对拉索外观进行定期检测是国内外的惯例。早期对桥梁拉索表面缺陷的检测主要靠人工检测，但是人工检测效率低、安全隐患高、主观性大，容易出现漏检。现在一些桥梁检测公司利用爬索机器人拍摄拉索表面视频，然后人工观看视频或者转换为图像再人工观察来确定拉索表面缺陷。爬索机器人的使用成功解决了检测过程中外业作业困难的问题，但是后期的视频处理还不够智能化。为此，中国专利CN107328781A公开了一种基于机器视觉的柱状产品表面缺陷检测方法及装置，通过获取柱形产品表面图像，经预处理后进行边缘提取，建立ROI区域，并采用阈值分割的灰度分析方法，提取缺陷部位。但是，该方案针对的是在室内采集的图像数据，要求背景环境可控、光源可控，而桥梁拉索表面视频为野外采集的数据，背景环境不可控，光源不可控，条件相对复杂，检测难度大；另外，该专利提取ROI区域的时候，只利用的边缘检测方法，对环境更复杂的情况适应性较差。
技术实现思路
针对现有技术的不足，本专利技术的目的是提供一种爬索机器人视频缺陷信息自动提取方法，该方法根据拉索的不同颜色选择颜色空间，并采用先背景分割后缺陷信息提取的方案，且在背景分割时利用灰度与梯度信息，能够减少背景信息的干扰，提高分割质量。为达到上述目的，本专利技术采用的技术方案如下：一种爬索机器人视频缺陷信息自动提取方法，其关键在于包括如下步骤：步骤1，视频数据输入；步骤2，视频数据预处理：将视频数据转换为数字图像，并根据拉索颜色选择不同颜色空间，对数字图像进行颜色空间转换，获得拉索表面缺陷检测图像序列；步骤3，图像背景分割：采用基于灰度-梯度矩阵的阈值分割法对拉索表面缺陷检测图像序列中的每幅图像进行单幅图像分割处理，并对分割后的拉索表面缺陷检测图像序列进行统计分析与掩模处理，得到拉索区域图像；步骤4，缺陷信息提取：对拉索区域图像进行缺陷区域分割，并通过形态学处理获得缺陷区域，采用形状描述子对缺陷区域进行描述，生成缺陷信息。进一步的，步骤2在将视频数据转换为数字图像过程中，间隔若干帧数抽取一帧图像进行保存，且保存的相邻帧之间具有重叠信息。更进一步的，步骤2中进行颜色空间转换时，若拉索为银灰色选用Lab颜色空间，若拉索为彩色则选用HSV颜色空间。进一步的，步骤3中所述单幅图像分割处理的具体步骤为：步骤3.1：输入拉索表面缺陷检测图像序列，并进行图像预处理；步骤3.2：将图像的灰度值与梯度值进行组合，构建灰度-梯度矩阵；步骤3.3：基于灰度-梯度矩阵，采用阈值分割法对图像进行分割，获得拉索表面缺陷检测图像的背景区域掩模。再进一步的，步骤3.2中灰度-梯度矩阵的构建步骤为：步骤3.2.1：计算图像的灰度矩阵IM×N与梯度矩阵JM×N，所述灰度矩阵IM×N的计算公式为：所述梯度矩阵JM×N的计算公式为：其中，f(i,j)为M×N图像中像素(i,j)的灰度值，g(i,j)为M×N图像中以像素(i,j)为中心、大小为l×l的窗口w的梯度值，l为奇数且l＞1，(i,j)为M×N图像中的像素点，i∈[0,M-1]，j∈[0,N-1]；步骤3.2.2：分别按照公式对灰度矩阵IM×N和梯度矩阵JM×N进行归一化处理，其中fmax(i,j)为灰度矩阵IM×N的最大值，gmax(i,j)为梯度矩阵JM×N的最大值；步骤3.2.3：将归一化后的灰度矩阵与梯度矩阵组合成二维的灰度-梯度矩阵具体的，所述梯度值g(i,j)的计算公式为：其中，l为窗口w的大小，l为奇数且l＞1，(i,j)为M×N图像中的像素点，i∈[0,M-1]，j∈[0,N-1]，xmn为窗口w中像素点(m，n)的灰度值，为窗口w中所有像素点灰度的平均值。进一步的，步骤4所述缺陷信息提取的具体过程为：步骤4.1：输入拉索区域图像；步骤4.2：采用Ostu阈值法对拉索区域图像进行缺陷区域分割；步骤4.3：对分割后的含有干扰信息的缺陷区域进行形态学处理，获得缺陷区域；步骤4.4：采用形状描述子对缺陷区域进行描述，形成缺陷信息。更进一步的，所述形状描述子包括区域面积、长宽比、矩形度。本方案首先将数字视频转换为数字图像，并根据拉索的不同颜色选择颜色空间对数字图像进行颜色空间转换；之后对拉索表面缺陷检测图像先进行背景分割提取出拉索区域，且背景分割过程将一个视频的图像序列作为整体，采用基于灰度-梯度矩阵的阈值分割法，之后再进行缺陷信息提取，从而避免了缺陷信息提取是背景信息的干扰，以提高信息提取质量。本专利技术的显著效果是：(1)数据预处理时，根据拉索的不同颜色选择颜色空间，为后续的背景分割和缺陷信息提取提供基础，提高了信息提取效率和质量；(2)本专利技术的先背景分割后缺陷信息提取的方案，可以减少缺陷信息提取时候背景信息的干扰；(3)背景分割过程中利用了灰度和梯度两种信息，使分割效果更好；(4)引入视频图像序列的统计分析方法，可以减少数据量和提高分割质量。附图说明图1是本专利技术的方法流程图；图2是所述背景分割的流程图；图3是基于灰度-梯度矩阵的图像分割示意图；图4是所述缺陷区域提取流程图。具体实施方式下面结合附图对本专利技术的具体实施方式以及工作原理作进一步详细说明。如图1所示，一种爬索机器人视频缺陷信息自动提取方法，具体步骤如下：首先进入步骤1，视频数据输入；接着进入步骤2，视频数据预处理，包括：视频转图像：视频是由连续的随着时间变化的一组图像(或称帧)组成，图像可以看作视频的特例，又叫运动图像或活动图像。为了获取视频信号中的信息，可以将视频转换为图像进行处理，在获取了所有的信息的同时又减小了数据量，大大提高了工作效率。视频转图像就是间隔一定的帧数抽取一帧图像并保存，要求保存的相邻帧之间具有一定的重叠信息来保证对拉索的全覆盖。颜色空间转换：图像处理过程中，不同需求会用到图像中的不同信息，不同的场景得到的图像会提供不同的信息。如日常生活中的图像大部分都是RGB图像，Lab颜色空间对光照敏感，HSV颜色空间对颜色敏感。因此，本例在图像预处理时根据不同的情况选择不同的颜色空间，即银灰色拉索选择Lab颜色空间，彩色拉索选择HSV颜色空间。之后进入步骤3，图像背景分割：采用基于灰度-梯度矩阵的阈值分割法对拉索表面缺陷检测图像序列中的每幅图像进行单幅图像分割处理，并对分割后的拉索表面缺陷检测图像序列进行统计分析与掩模处理，得到拉索区域图像。由于拉索表面缺陷检测图像包括背景区域和拉索区域，因此在提取缺陷信息前，需要提取拉索区域，以去除背景信息的干扰。背景分割过程包括单幅图像分割和图像序列统计分析两个步骤。其中拉索表面缺陷检测图像单幅图像分割背景分割流程如图2所示：首先进行单幅图像分割，具体步骤为：步骤3.1：输入拉索表面缺陷检测图像序列，并进行图像预处理，将图像从RGB颜色空间转换为Lab颜色空间，从而利于图像分割；步骤3.2：本文档来自技高网...

【技术保护点】
1.一种爬索机器人视频缺陷信息自动提取方法，其特征在于，包括如下步骤：步骤1，视频数据输入；步骤2，视频数据预处理：将视频数据转换为数字图像，并根据拉索颜色选择不同颜色空间，对数字图像进行颜色空间转换，获得拉索表面缺陷检测图像序列；步骤3，图像背景分割：采用基于灰度‑梯度矩阵的阈值分割法对拉索表面缺陷检测图像序列中的每幅图像进行单幅图像分割处理，并对分割后的拉索表面缺陷检测图像序列进行统计分析与掩模处理，得到拉索区域图像；步骤4，缺陷信息提取：对拉索区域图像进行缺陷区域分割，并通过形态学处理获得缺陷区域，采用形状描述子对缺陷区域进行描述，生成缺陷信息。

【技术特征摘要】
1.一种爬索机器人视频缺陷信息自动提取方法，其特征在于，包括如下步骤：步骤1，视频数据输入；步骤2，视频数据预处理：将视频数据转换为数字图像，并根据拉索颜色选择不同颜色空间，对数字图像进行颜色空间转换，获得拉索表面缺陷检测图像序列；步骤3，图像背景分割：采用基于灰度-梯度矩阵的阈值分割法对拉索表面缺陷检测图像序列中的每幅图像进行单幅图像分割处理，并对分割后的拉索表面缺陷检测图像序列进行统计分析与掩模处理，得到拉索区域图像；步骤4，缺陷信息提取：对拉索区域图像进行缺陷区域分割，并通过形态学处理获得缺陷区域，采用形状描述子对缺陷区域进行描述，生成缺陷信息。2.根据权利要求1所述的爬索机器人视频缺陷信息自动提取方法，其特征在于：步骤2在将视频数据转换为数字图像过程中，间隔若干帧数抽取一帧图像进行保存，且保存的相邻帧之间具有重叠信息。3.根据权利要求1或2所述的爬索机器人视频缺陷信息自动提取方法，其特征在于：步骤2中进行颜色空间转换时，若拉索为银灰色选用Lab颜色空间，若拉索为彩色则选用HSV颜色空间。4.根据权利要求1所述的爬索机器人视频缺陷信息自动提取方法，其特征在于：步骤3中所述单幅图像分割处理的具体步骤为：步骤3.1：输入拉索表面缺陷检测图像序列，并进行图像预处理；步骤3.2：将图像的灰度值与梯度值进行组合，构建灰度-梯度矩阵；步骤3.3：基于灰度-梯度矩阵，采用阈值分割法对图像进行分割，获得拉索表面缺陷检测图像的背景区域掩模。5.根据权利要求4所述的爬索机器人视频缺陷信息自动提取方法，其特征在于：步骤3.2中灰度-梯度矩阵的构建步骤为：...

【专利技术属性】
技术研发人员：潘建平，王建林，吴磊，
申请(专利权)人：重庆交通大学，
类型：发明
国别省市：重庆,50