基于模板匹配与光流法的无人机图像的输电线路异物检测制造技术

本发明专利技术公开了基于模板匹配与光流法的无人机图像的输电线路异物检测方法，属于图片处理技术领域。包括输电线路视频图像采集，线型边缘对比度增强，均值滤波，边缘直线特征提取，输电线路区域设定，模板匹配，光流计算，光流灰度图像二值化，特征点检测追踪与异物识别等步骤。本发明专利技术根据输电线近似水平直线的特征，提出了线型边缘对比度增强方法和边缘直线特征提取方法，能够准确的提取出输电线的边缘直线，适应性和抗干扰能力强。根据距离摄像头较近的物体在图像中对应像素点的移动位移大的原理，综合模板匹配、光流计算和图像二值化提出一种异物区域确定方法，准确度高，鲁棒性强。通过异物特征点匹配追踪识别异物，准确度高，适应性强。

【技术实现步骤摘要】
基于模板匹配与光流法的无人机图像的输电线路异物检测
本专利技术专利涉及图片处理
，尤其涉及一种基于模板匹配与光流法的无人机图像的输电线路异物检测方法。
技术介绍
近年来，随着电力系统的发展，输电线路范围不断扩大，因为塑料袋、风筝等异物悬挂在输电线上而引起的输电线路故障频繁发生，给人民生活生产造成了极大的影响与损失。所以，对输电线路悬挂异物情况进行监控，及时发现并排除故障有着重大意义。目前，高压输电线路异物检测的方法主要是通过人工排查，但因为输电线路所处范围广、地理位置复杂，人工排查难度较大，成本高，且效率较低。利用无人机进行巡检，通过拍摄的输电线路相关视频图像判断输电线路状态，具有成本低，效率高，不受地形限制等优点，是输电线路异物监测的一种行之有效的方法。采用基于智能视频的无人机图像异物检测方法排查输电线路上附着异物的情况，具有实时性强、精确度高并且检测速度快等优点。目前国内关于此方面的专利十分稀少，中国专利“基于视觉显著性分析的输电线路异物检测方法”（申请号：201610269864.2）提出通过显著性水平计算模型判断所定义感兴趣区是否存在异常来分析输电线附着异物情况的方法，具有检测速度快，效率高等优点，该方法虽然在一定程度上提高了异物判断的鲁棒性，但针对背景复杂和异物种类多样等情况，单纯的视觉显著性异常检测并不能彻底的解决因为环境的复杂性造成的判断失误等情况，因此其精确度和适应性都还有待提高。
技术实现思路
为了克服现有技术的不足，本专利技术提出了一种基于模板匹配与光流法的无人机图像的输电线路异物检测方法。提出了一种边缘对比度增强方法，有效增强输电线边缘对比度，为后续边缘提取提供方便。结合灰度形态学原理提出一种边缘检测方法，能够有效提取输电线边缘并去除背景像素。对无人机巡检拍摄的视频图像进行处理，根据距离摄像头近的景物在图像中对应像素点的运动速度快的特点，加入距离信息，结合模板匹配、光流法和特征匹配等手段提出一种异物识别方法，精确度高，适应性强，大大提高了对复杂环境背景的抗干扰能力。本专利技术解决其技术问题所采用的技术方案是：所述的基于模板匹配与光流法的无人机图像的输电线路异物检测方法，包括以下步骤：步骤1：通过无人机巡检输电线路，按照事先设定的方式，由机载摄像头采集输电线路视频图像；步骤2：根据提出的线性边缘对比度增强方法增强输电线的边缘对比度；步骤3：利用线型模板对边缘对比度增强后的输电线路图像进行均值滤波；步骤4：根据提出的基于特定结构元素的灰度形态学边缘特征提取方法提取输电线边缘直线；步骤5：根据提取出的输电线边缘直线、图像分辨率、无人机与输电线路距离、无人机飞行速度和摄像机帧频定义输电线路区域；步骤6：通过模板匹配算法寻找相同时间间隔的下一帧图像的相似度最高的匹配区域；步骤7：截取上一帧图像的输电线路区域和下一帧图像的模板匹配区域作为一对相邻图像，通过光流法计算相邻帧图像对应像素点之间的光流速度，并按照光流速度数值由小到大的顺序均匀映射到0-255的灰度区间，做出光流速度的灰度图；步骤8：根据提出的二值化阈值计算方法计算光流速度灰度图像的二值化阈值，然后用矩形方框沿着边缘将二值化后的目标部分包围起来，并将矩形方框区域初步视为异物区域；步骤9：将矩形方框区域的四个边长分别向四周延伸j个像素点，适当扩大异物区域，然后在原相邻图像中的相同区域进行特征点匹配与追踪，根据计算出的特征点的像素移动速度判断异物。所述的步骤1中的按照事先设定的方式采集输电线路视频图像是令巡检无人机尽量固定距地面高度和与输电线之间的垂直距离，沿输电线路的走向水平匀速行驶，令机载摄像头光心的轴线方向垂直于输电线路走向，定时采集输电线路相关视频图像。所述的步骤2中的线性边缘对比度增强方法，具体包括以下步骤：步骤A：对输电线路图像进行一层小波分解，分为近似分量、水平细节分量、垂直细节分量和对角细节分量；步骤B：用长度为n的线型模板分别遍历水平细节分量图像和垂直细节分量图像，判断线型模板覆盖的所有像素点中在相同坐标位置处的垂直分量cv和水平分量ch满足条件cv(i,j)>T1&&ch(i,j)<T2的像素个数N，其中阈值T1根据输电线边缘垂直分量最小的灰度值变化梯度的幅值确定，T2根据输电线边缘水平分量最大的灰度值变化梯度的幅值确定；步骤C：当满足条件的像素个数大于N/2时，对垂直细节分量的模板中心像素灰度值乘以大于1的系数进行增强，对垂直细节分量的模板中心像素灰度值乘以小于1的系数进行减弱；步骤D：按照步骤BC遍历完水平细节分量图像和垂直细节分量图像的所有像素点后，对分解图像进行小波重构，得到重构图像。基于小波分解的边缘对比度增强处理可以增大输电线边缘法线方向的灰度值梯度，同时使边缘方向的灰度值变化更加均匀，大大增强了后续边缘检测的精确度和适应性。所述的步骤2和步骤3中的线型模板是指宽度为一个像素的长方形模板，其中模板长度为奇数个像素数，具体大小根据图像分辨率自行设定。根据输电线近似水平直线的特征，使用线型模板滤波，在模糊背景景物的同时，输电线边缘处的水平方向灰度值梯度变化更加均匀，且与目标边缘垂直的法线方向灰度值梯度变化不大，相对而言，突出了目标边缘的对比度，有利于输电线边缘特征的提取。所述的步骤4中的特定结构元素是以中心像素为起点，垂直向上延伸p个像素点，水平向右延伸q个像素点所组成的特征模板。所述的步骤4中的基于特定结构元素的灰度形态学边缘特征提取方法包括以下步骤：步骤A：用所述特征结构元素遍历均值滤波处理后的图像，统计包含中心像素在内的垂直方向p+1个像素灰度值的极大值max1、极小值min1和包含中心像素在内的水平方向q+1个像素灰度值的极大值max2、极小值min2；步骤B：按照如下公式进行如下运算：其中，y为中心像素灰度值，T3和T4分别为垂直方向和水平方向灰度值变化梯度判断阈值，对于水平方向边缘，T3数值较大，T4较小，可以根据经验设定；步骤C：对边缘检测后的图像进行二值化，使其变为二值图像；步骤D：通过概率霍夫直线检测算法提取二值图像中的直线段，并根据图像分辨率大小，去除像素数量小于n1的直线段，并将直线倾斜角度差值的绝对值在0-a度范围内且线段起点像素横向坐标差值在n2个像素点之内的直线段合并为一条直线并延长，最终得到输电线边缘直线。基于灰度形态学的边缘检测算法可以根据所求目标边缘的特征定义结构元素形态和进行腐蚀膨胀的要求，在目标边缘提取的同时去除非目标边缘，边缘提取的效果更好。所述的步骤5中的输电线路区域定义方法包括以下步骤：步骤A：以检测到的输电线边缘直线的最外侧两条直线向外垂直延伸n3个像素点后的水平直线为水平边界；步骤B：从图像中心开始，沿水平方向向两边延伸相同长度dn画垂直线作为输电线区域的垂直边界，其中，要保证输电线路区域的长度2*dn大于异物像素点在异物检测的时间内在图像中的移动距离s，s的计算公式如下：其中，L为机载摄像头与输电线路之间的垂线方向距离，f为相机焦距，v为无人机匀速飞行速度，t为相邻图像帧的间隔时间，n4为确定异物所需要连续处理的图像帧数。所述的步骤6中的通过模板匹配算法寻找相同间隔时间的下一帧图像的相似度最高的匹配区域时，因为相邻帧对应像素的偏本文档来自技高网...

【技术保护点】
基于模板匹配与光流法的无人机图像的输电线路异物检测方法，其特征在于，所述方法包括以下步骤：步骤1：通过无人机巡检输电线路，按照事先设定的方式，由机载摄像头采集输电线路视频图像；步骤2：根据提出的线性边缘对比度增强方法增强输电线的边缘对比度；步骤3：利用线型模板对边缘对比度增强后的输电线路图像进行均值滤波；步骤4：根据提出的基于特定结构元素的灰度形态学边缘特征提取方法提取输电线边缘直线；步骤5：根据提取出的输电线边缘直线、图像分辨率、无人机与输电线路距离、无人机飞行速度和摄像机帧频定义输电线路区域；步骤6：通过模板匹配算法寻找相同时间间隔的下一帧图像的相似度最高的匹配区域；步骤7：截取上一帧图像的输电线路区域和下一帧图像的模板匹配区域作为一对相邻图像，通过光流法计算相邻帧图像对应像素点之间的光流速度，并按照光流速度数值由小到大的顺序均匀映射到0‑255的灰度区间，做出光流速度的灰度图；步骤8：根据提出的二值化阈值计算方法计算光流速度灰度图像的二值化阈值，然后用矩形方框沿着边缘将二值化后的目标部分包围起来，并将矩形方框区域初步视为异物区域；步骤9：将矩形方框区域的四个边长分别向四周延伸j个像素点，适当扩大异物区域，然后在原相邻图像中的相同区域进行特征点匹配与追踪，根据计算出的特征点的像素移动速度判断异物。...

【技术特征摘要】
1.基于模板匹配与光流法的无人机图像的输电线路异物检测方法，其特征在于，所述方法包括以下步骤：步骤1：通过无人机巡检输电线路，按照事先设定的方式，由机载摄像头采集输电线路视频图像；步骤2：根据提出的线性边缘对比度增强方法增强输电线的边缘对比度；步骤3：利用线型模板对边缘对比度增强后的输电线路图像进行均值滤波；步骤4：根据提出的基于特定结构元素的灰度形态学边缘特征提取方法提取输电线边缘直线；步骤5：根据提取出的输电线边缘直线、图像分辨率、无人机与输电线路距离、无人机飞行速度和摄像机帧频定义输电线路区域；步骤6：通过模板匹配算法寻找相同时间间隔的下一帧图像的相似度最高的匹配区域；步骤7：截取上一帧图像的输电线路区域和下一帧图像的模板匹配区域作为一对相邻图像，通过光流法计算相邻帧图像对应像素点之间的光流速度，并按照光流速度数值由小到大的顺序均匀映射到0-255的灰度区间，做出光流速度的灰度图；步骤8：根据提出的二值化阈值计算方法计算光流速度灰度图像的二值化阈值，然后用矩形方框沿着边缘将二值化后的目标部分包围起来，并将矩形方框区域初步视为异物区域；步骤9：将矩形方框区域的四个边长分别向四周延伸j个像素点，适当扩大异物区域，然后在原相邻图像中的相同区域进行特征点匹配与追踪，根据计算出的特征点的像素移动速度判断异物。2.根据权利要求1所述的基于模板匹配与光流法的无人机图像的输电线路异物检测方法，其特征在于，所述的步骤1中的按照事先设定的方式采集输电线路视频图像是令巡检无人机尽量固定距地面高度和与输电线之间的垂直距离，沿输电线路的走向水平匀速行驶，令机载摄像头光心的轴线方向垂直于输电线路走向，定时采集输电线路相关视频图像。3.根据权利要求1所述的基于模板匹配与光流法的无人机图像的输电线路异物检测方法，其特征在于，所述的步骤2中的线性边缘对比度增强方法，具体包括以下步骤：步骤A：对输电线路图像进行一层小波分解，分为近似分量、水平细节分量、垂直细节分量和对角细节分量；步骤B：用长度为n的线型模板分别遍历水平细节分量图像和垂直细节分量图像，判断线型模板覆盖的所有像素点中在相同坐标位置处的垂直分量cv和水平分量ch满足条件cv(i,j)>T1&&ch(i,j)<T2的像素个数N，其中阈值T1根据输电线边缘垂直分量最小的灰度值变化梯度的幅值确定，T2根据输电线边缘水平分量最大的灰度值变化梯度的幅值确定；步骤C：当满足条件的像素个数大于N/2时，对垂直细节分量的模板中心像素灰度值乘以大于1的系数进行增强，对垂直细节分量的模板中心像素灰度值乘以小于1的系数进行减弱；步骤D：按照步骤BC遍历完水平细节分量图像和垂直细节分量图像的所有像素点后，对分解图像进行小波重构，得到重构图像。4.根据权利要求1所述的基于模板匹配与光流法的无人机图像的输电线路异物检测方法，其特征在于，所述的步骤2和步骤3中的线型模板是指宽度为一个像素的长方形模板，其中模板长度为奇数个像素数，具体大小根据图像分辨率自行设定。5.根据权利要求1所述的基于模板匹配与光流法的无人机图像的输电线路异物检测方法，其特征在于，所述的步骤4中的特定结构元素是以中心像素为起点，垂直向上延伸p个像素点，水平向右延伸q个像素点所组成的特征模板。6.根据权利要求1所述的基于模板匹配与光流法的无人机图像的输电线路异物检测方法，其特征在于，所述的步骤4中的基于特定结构元素的灰度形态学边缘特征提取方法包括以下步骤：步骤A：用所述特征结构元素遍历均值滤波处理后的图像，统计包含中心像素在内的垂直方向p+1个像素灰度值的极大值max1、极小值min1和包含中心像素在内的水平方向q+1个像素灰度值的极大值max2、极小值min2；步骤B：按照如下公式进行如下运算：y=min1&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;abs(max1&minus;min1)>T3&&abs(max2&minus;min2)T4y&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&a...

【专利技术属性】
技术研发人员：周封，任贵新，郝婷，崔博闻，刘健，李隆，王晨光，胡海涛，
申请(专利权)人：哈尔滨理工大学，周封，
类型：发明
国别省市：黑龙江,23