一种基于NCC特征的无人机巡线图像输电线路检测方法技术

本发明专利技术公开了一种基于NCC特征的无人机巡线图像输电线路检测方法，包括以下步骤：双目相机标定，分别获得左右相机的内、外参数矩阵以及双目相机的旋转矩阵与平移向量；接收两路相机的图像数据；对图像数据进行极线、畸变校正和灰度化、平滑预处理；对图像进行边缘特征与角点特征提取；对两路图像的边缘特征、角点特征进行匹配，获取视差图以及深度图；根据所述深度图进行图像分割，提取电力线路信息。本方法利用多个特征进行特征匹配，能够快速、准确地识别复杂自然环境中的电力线路。

A Method of Transmission Line Detection Based on NCC Feature for UAV Patrol Image

The invention discloses an image transmission line detection method for UAV patrol line based on NCC characteristics, which includes the following steps: calibration of binocular camera, obtaining inner and outer parameter matrices of left and right cameras, rotation matrix and translation vector of binocular camera, receiving image data of two cameras, polar line correction and gray scale and smoothing preprocessing of image data; Image edge feature and corner feature extraction; matching edge feature and corner feature of two images to obtain disparity map and depth map; image segmentation based on the depth map to extract power line information. This method uses multiple features for feature matching, and can quickly and accurately identify power lines in complex natural environment.

【技术实现步骤摘要】
一种基于NCC特征的无人机巡线图像输电线路检测方法
本专利技术属于计算机视觉
，涉及一种基于NCC特征的无人机巡线图像输电线路检测方法。
技术介绍
绝大多数电力线路暴露在复杂多变的自然环境中，受到各种自然灾害的威胁，对于电力线路故障如果不能及时得到检测与修复，将直接影响正常的生产活动。开展电力线路巡检有着重大的意义。目前主要采用人工现场检测或者通过电力线路图像对电力线路故障进行检测，这种方式劳动强度大、主观性强。对于图像检测，主要集中在二维的层次进行检测，这种方式尚不能对复杂的自然背景与电力线路进行有效地分割，正确率得不到保证。
技术实现思路
本专利技术要解决的问题是：提供了一种基于NCC特征的无人机巡线图像输电线路检测方法，以解决现有技术人工现场检测或者通过电力线路图像检测劳动强度大、主观性强和正确率低的问题。本专利技术的技术方案是：一种基于NCC特征的无人机巡线图像输电线路检测方法，包括以下步骤：步骤1：分别对左相机和右相机进行相机标定，得到左相机和右相机的内、外参数矩阵，然后通过得到的两个相机的参数进行立体标定，获得双目相机的旋转矩阵和平移向量；通过无人机搭载两个相同焦距的CCD相机，两相机同光轴，且平行放置，无人机对两相机的控制同步，采集电力线路图像；步骤2：对步骤1中采集的两幅电力线路图像进行畸变校正和极线校正；步骤3：对步骤2中的图像进行灰度化、平滑和锐化预处理；步骤4：对步骤3中预处理后的双目图像进行特征点提取，构造特征向量；步骤5：根据步骤4中所构造的特征向量，进行特征匹配，采用极线约束降低匹配维度，通过计算像素点的NCC值，建立准确的特征匹配关系；步骤6：根据步骤5中的正确匹配特征点，进行视差计算，获得视差图，并根据旋转向量与平移向量映射到现实的世界坐标系中，即为深度图；步骤7：根据步骤6中的深度图，使用双峰法对其进行阈值分割，提取出纯净的电力线路目标。NCC(normalizedcrosscorrelation)算法，指归一化互相关匹配法，是基于图像灰度信息的匹配方法。本专利技术的有益效果是：(1)本专利技术对输电线路图像进行预处理，消除了图像中的噪点或畸变信息，减少了输入，去除了一些可能对结果产生影响的噪声干扰，也增强了有用的信息，有利于后续图像特征提取、图像识别等方法对图像的处理，增加了结果的可靠性；(2)本专利技术能够准确地检测到输电线路的缺陷类型，且在对图像进行特征提取时采用PCA降维的方式，极大提高了图像检测效率；(3)本专利技术能够准确地检测到输电线路的缺陷类型，且在对图像进行预处理前采用OpenCV算法得到输电线路图像的感兴趣区域，极大提高了图像检测效率。附图说明图1为本专利技术实施的流程图；图2为本专利技术实施提供的双目图像灰度图；图3为本专利技术实施提供的双目图像平滑图；图4为本专利技术实施提供的特征检测算法活动图；图5为本专利技术实施提供的输电线路特征检测效果图；图6为本专利技术实施提供的极线校准图；图7为本专利技术实施提供的特征匹配活动图；图8为本专利技术实施提供的特征匹配效果；图9为本专利技术实施提供的输电线路深度图像；图10为本专利技术实施提供的灰度直方图；图11为本专利技术实施提供的线路检测分割效果图。具体实施方式下面结合附图对本专利技术方法的实施方式做详细说明。本专利技术采用的技术方案为：一种基于NCC特征的无人机巡线图像输电线路检测方法，包括以下步骤：步骤1：分别对左相机和右相机进行相机标定，得到左相机和右相机的内、外参数矩阵，然后通过得到的两个相机的参数进行立体标定，获得双目相机的旋转矩阵和平移向量；通过无人机搭载两个相同焦距的CCD相机，两相机同光轴，且平行放置，无人机对两相机的控制同步，采集电力线路图像；步骤2：对步骤1中采集的两幅电力线路图像进行畸变校正和极线校正；步骤3：对步骤2中的图像进行灰度化、平滑和锐化预处理；步骤4：对步骤3中预处理后的双目图像进行特征点提取，构造特征向量；步骤5：根据步骤4中所构造的特征向量，进行特征匹配，采用极线约束降低匹配维度，通过计算像素点的NCC值，建立准确的特征匹配关系；步骤6：根据步骤5中的正确匹配特征点，进行视差计算，获得视差图，并根据旋转向量与平移向量映射到现实的世界坐标系中，即为深度图；步骤7：根据步骤6中的深度图，使用双峰法对其进行阈值分割，提取出纯净的电力线路目标。其中，步骤1中对左右相机进行立体标定，标定工具采用MATLAB的标定工具箱对双目相机进行标定，具体标定流程如下：步骤1.1：打印一张黑白棋盘方格纸作，标定方格纸尺寸为200mm×200mm，将其平整地贴在平面板上作为标定板；步骤1.2：通过拍摄棋盘格不同角度的图片，棋盘格转动的角度要保证在相机能拍摄到棋盘格的每个方格的范围内，共采集20对左右棋盘格图像对；步骤1.3：分别对左、右相机进行单目标定，得到左、右相机的内参数、外参数及畸变参数；步骤1.4：用MATLAB的标定工具箱来进行双目标定，获得左相机和右相机的内参数矩阵M、径向畸变参数(k1,k2,k3)、切向畸变参数(p1,p2)；其中：fx，fy分别称为x轴和y轴上的归一化焦距，cx，cy为图像原点相对于光心成像点的横纵偏移量。步骤1.5：完成双目相机标定，得到双目相机标定后的内参数以及右相机相对于左相机的旋转矩阵、平移向量。步骤2中对左、右两幅图像进行畸变校正和极线约束：畸变校正分为两部分，分别为径向畸变校正与切向畸变校正，校正公式如下：径向畸变的校正：x'＝x(1+k1r2+k2r4+k3r6)y'＝y(1+k1r2+k2r4+k3r6)切向畸变的校正：x'＝x+[2p1y+p2(r2+2x2)]y'＝y+[p1(r2+2y2)+2p2x]其中k1、k2、k3为相机的径向畸变系数，p1、p2为相机的切向畸变系数，(x，y)为畸变点的原始位置，(x’,y’)为校正后的新位置，r为畸变点距离光学中心的距离。步骤3中对左右两幅图像进行灰度化、平滑、锐化预处理分别如下：步骤3.1：灰度化是将彩色图像转换为灰度图像的方法，在本专利技术中，彩色图像由红(R)、绿(G)、蓝(B)三种基色构成，本专利技术采用加权平均值法对彩色图像进行灰度化：Vgray＝WRR+WGG+WBB其中，Vgray为灰度值，WR＝0.30，WG＝0.59，WB＝0.11。步骤3.2：图像的平滑处理采用中值滤波法，对于每一个像素点，以该点为中心创建一个3×3的模板，以该模板内所有像素的中值代替该像素点处的像素值。步骤3.3：对于图像的锐化处理，采用近似的拉普拉斯锐化法，假设存在一幅图像f(x,y)，则其拉普拉斯算子为：根据f(x,y)的一阶差分以及二阶差分，经过简化上式可以得到下式：可以采用下式避免在处理图像的过程中因扩散而造成的图像模糊这一现象：公式中的k是一个与扩散相关的系数，通常情况下k＝1，则可得其近似表达方式：L(x,y)＝5f(x,y)-f(x-1,y)-f(x,y-1)-f(x+1,y)-f(x,y+1)拉普拉斯锐化法在对凸显图像边缘的方法中效果最明显，并且不会受到图像灰度梯度值的干扰。本专利技术中对图像进行灰度化、平滑预处理的结果如附图2和图3所示。步骤4中特征点提取，构造特征向量，特征检测算法步骤如下：步骤4.1：输入输电线路的左、右图像；步骤4.2：对整个图像中的所有像本文档来自技高网...

【技术保护点】
1.一种基于NCC特征的无人机巡线图像输电线路检测方法，其特征在于，包括以下步骤：步骤1：分别对左相机和右相机进行相机标定，得到左相机和右相机的内、外参数矩阵，然后通过得到的两个相机的参数进行立体标定，获得双目相机的旋转矩阵和平移向量；通过无人机搭载两个相同焦距的CCD相机，两相机同光轴，且平行放置，无人机对两相机的控制同步，采集电力线路图像；步骤2：对步骤1中采集的两幅电力线路图像进行畸变校正和极线校正；步骤3：对步骤2中的图像进行灰度化、平滑和锐化预处理；步骤4：对步骤3中预处理后的双目图像进行特征点提取，构造特征向量；步骤5：根据步骤4中所构造的特征向量，进行特征匹配，采用极线约束降低匹配维度，通过计算像素点的NCC值，建立准确的特征匹配关系；步骤6：根据步骤5中的正确匹配特征点，进行视差计算，获得视差图，并根据旋转向量与平移向量映射到现实的世界坐标系中，即为深度图；步骤7：根据步骤6中的深度图，使用双峰法对其进行阈值分割，提取出纯净的电力线路目标。

【技术特征摘要】
1.一种基于NCC特征的无人机巡线图像输电线路检测方法，其特征在于，包括以下步骤：步骤1：分别对左相机和右相机进行相机标定，得到左相机和右相机的内、外参数矩阵，然后通过得到的两个相机的参数进行立体标定，获得双目相机的旋转矩阵和平移向量；通过无人机搭载两个相同焦距的CCD相机，两相机同光轴，且平行放置，无人机对两相机的控制同步，采集电力线路图像；步骤2：对步骤1中采集的两幅电力线路图像进行畸变校正和极线校正；步骤3：对步骤2中的图像进行灰度化、平滑和锐化预处理；步骤4：对步骤3中预处理后的双目图像进行特征点提取，构造特征向量；步骤5：根据步骤4中所构造的特征向量，进行特征匹配，采用极线约束降低匹配维度，通过计算像素点的NCC值，建立准确的特征匹配关系；步骤6：根据步骤5中的正确匹配特征点，进行视差计算，获得视差图，并根据旋转向量与平移向量映射到现实的世界坐标系中，即为深度图；步骤7：根据步骤6中的深度图，使用双峰法对其进行阈值分割，提取出纯净的电力线路目标。2.根据权利要求1所述的一种基于NCC特征的无人机巡线图像输电线路检测方法，其特征在于，步骤2中对左、右两幅图像进行畸变校正和极线约束：畸变校正分为两部分，分别为径向畸变校正与切向畸变校正，校正公式如下：径向畸变的校正：x'＝x(1+k1r2+k2r4+k3r6)y'＝y(1+k1r2+k2r4+k3r6)切向畸变的校正：x'＝x+[2p1y+p2(r2+2x2)]y'＝y+[p1(r2+2y2)+2p2x]其中k1、k2、k3为相机的径向畸变系数，p1、p2为相机的切向畸变系数，(x，y)为畸变点的原始位置，(x’,y’)为校正后的新位置，r为畸变点距离光学中心的距离。3.根据权利要求1所述的一种基于NCC特征的无人机巡线图像输电线路检测方法，其特征在于，步骤3中对左右两幅图像进行灰度化、平滑、锐化预处理分别如下：步骤3.1：灰度化是采用加权平均值法将彩色图像转换为灰度图像；步骤3.2：图像的平滑处理采用中值滤...

【专利技术属性】
技术研发人员：毛天奇，陈玉，袁发强，李松雨，张敏，胡勇，田地，吴雪冬，杨隽奎，谭谋，
申请(专利权)人：贵州电网有限责任公司，
类型：发明
国别省市：贵州,52