一种面向电力巡检任务的无人机双目视觉障碍物感知方法技术

本发明专利技术公开了一种面向电力巡检任务的无人机双目视觉障碍物感知方法，属于机器视觉技术领域。本发明专利技术包括：设计双模板Ratio检测算子从双目航空图像中提取电力线像素并基于直线拟合假设结合霍夫变换进行直线检测；基于对极几何约束原理在电力线上构建两对同名点，进而得到拟合直线方程，计算出无人机与电力线的最短距离；针对其他典型障碍物，并行完成全局三维重构，构建无人机飞行安全通道，采用特定策略提取障碍物；最后输出障碍物相对无人机的方位与物理尺寸信息。本发明专利技术方法囊括无人机电力巡检走廊环境内所有静态威胁信息，计算量小，感知结果较为精确，满足障碍物感知实时性要求。

An unmanned aerial vehicle (UAV) binocular visual obstacle perception method for power inspection task

The invention discloses an UAV binocular visual obstacle perception method for electric power inspection task, which belongs to the field of machine vision technology. The invention includes: Design of double template Ratio detection operator based on stereo aerial images extraction power line pixels and linear fitting hypotheses are combined with Hof transform based on line detection; based on epipolar geometry principle of the construction of two points in the power line, then the linear fitting equation, calculate the shortest distance between the UAV and the power line; for other typical obstacles, parallel global 3D reconstruction, construction of UAV flight safety channel, using a specific strategy extraction of obstacles; the final output of the UAV obstacle relative orientation and physical dimensions of information. The method of the invention includes all static threat information in the environment of UAV Power Patrol corridor, and the calculation amount is small, and the perception result is more accurate, which satisfies the real-time perception requirement of obstacles.

【技术实现步骤摘要】
一种面向电力巡检任务的无人机双目视觉障碍物感知方法
本专利技术涉及一种面向电力巡检任务的无人机搭载高清双目摄像头对巡检通道内电力线、电力塔架、树木、房屋、山脉等典型障碍物进行三维感知的方法，属于机器视觉

技术介绍
电力工业是国民经济的一项重要支柱，也在一定程度上表明了经济状况与综合国力，随着经济水平与用电量的不断增长，国家基础建设不断进步，我国已建成世界上规模最大的电网。但电网所处环境多在山川、河流等自然环境相对恶劣的地区，为避免因电网线路缺陷造成大规模停电甚至严重事故，则必须对输电线路定期巡检以保证安全平稳运行。目前，输电线路巡检任务大部分由人工完成，人工巡检不仅效率低下、危险系数高，更为重要的是会产生许多线路盲点，同样危及线路安全。近年来，无人机发展势头迅猛，民用无人机向大众普及，使用无人机取代人工进行电力巡检趋势愈加明显，在地震、海啸、洪水等不可抗力的情况下，使用无人机可快速对电力杆塔、电力线损坏情况进行初步诊断，不仅不需人工攀爬塔架，不受到地面条件的限制，同时针对人工巡检死角可使用机载高分辨率相机近距离观察，得到清晰全面的巡检画面。无人机电力巡检走廊通道的环境特征为低空环境复杂区域，无人机作业也并不是绝对安全的，极容易受到输电线路和其他典型障碍物的干扰，若未正确处理无人机与环境障碍物的约束关系，会进一步造成更严重的安全事故。所以，针对面向电力巡检任务的无人机，自主感知避障技术成为该领域的关注焦点。无人机为实现实时自主规划巡检航路，首先需得到周围环境中障碍物的方位(距离)与物理信息。目前国内外针对电力巡检特殊应用背景而开展的无人机感知方法研究较少，大部分处于理论验证阶段，其有效性有待继续探索。现阶段几种典型的感知方法有超声波、电磁场、毫米波雷达和双目视觉感知等，超声波是一种广泛应用的测距方法，但电力塔架作为镂空结构，掺杂了大量背景信息，电力线反射超声波能力也不足，更为重要的是其测距距离太短，不能保障无人机电力巡检的安全性；电磁场感知需预先对输电线路周围电场分布建模，再根据电磁传感器探测到当前的电场强度与模型比对得到无人机当前位置，该方法较为复杂且灵活性极低；毫米波雷达检测效果较好，但其成本与重量不利于小型旋翼无人机的使用。如今随着摄像头性能不断提升，基于双目立体视觉原理从高清航空图像中对障碍物进行三维重构技术愈加成熟，输出信息丰富且硬件成本较低，成为人工智能领域的热门。但电力线在航空图像中仅占几个像素，背景又多为山脉、田野、森林等，且在电力线上难以找到特征点，导致从航空图像中提取电力线并测距显得非常困难。同时还需对其他典型障碍物进行三维重构，使得计算量增大，实时性下降。
技术实现思路
本专利技术的目的是为了解决现有技术中存在的问题，提供一种从双目航空图像中实时提取电力线并测距方法，所述方法采用双模板Ration检测算子结合霍夫变换检测电力线，并基于电力线拟合直线假设与对极几何约束原理构建两对同名点，计算无人机与电力线的最短距离。同时针对其他典型障碍物进行全局三维重构，构建飞行安全通道减小计算量，提取障碍物并获得相对方位与物理尺寸信息。一种面向电力巡检任务的无人机双目视觉障碍物感知方法，包括以下几个步骤：步骤一：从双目航空图像中提取电力线像素并检测直线；设计双模板Ratio检测算子从双目航空图像中提取电力线像素，并基于电力线拟合直线假设结合霍夫变换进行直线检测。步骤二：构建两对同名点并计算最短距离；基于步骤一的电力线拟合直线假设和对极几何约束原理，在右图的直线上任意选择两点pr(u2,v2)和qr(u′2,v′2)，计算两点对应的极线方程，两条极线与左图直线将分别相交于pl(u1,v1)和ql(u1′,v1′)两点，即pl,pr和ql,qr是两对构造的同名点。进而根据双目立体视觉和解析几何原理计算无人机与电力线的最短距离。步骤三：全局三维重构并构建飞行安全通道；针对电力塔架、树木、房屋、山脉等障碍物，并行对双目航空图像进行全局三维重构，得到整图像素对应的三维相对坐标，进而从中提取障碍物信息。建立无人机电力巡检飞行安全通道，目的在于将障碍物的搜索区域仅放在该安全通道内，在保证安全前提下大幅减小障碍物提取计算量。步骤四：提取障碍物并输出相对方位与物理尺寸信息；基于步骤三构建的飞行安全通道，在该通道内采用障碍物提取策略搜索障碍物，进而用矩形框将障碍物像素连通域框出，框出的障碍物几何中心像素对应的三维相对坐标作为方位信息输出，矩形框长宽作为物理尺寸信息输出。本专利技术的优点和积极效果在于：(1)提取电力线并计算最短距离与全局三维重构并计算典型障碍物的相对方位和物理尺寸信息并行处理，囊括了无人机电力巡检走廊环境内的所有静态威胁信息。(2)基于电力线拟合直线假设与对极几何约束原理，准确高效地构建同名点，不需在电力线图像中寻找特征点并加以匹配。(3)建立飞行安全通道，在保证安全前提下大幅减小障碍物提取计算量。附图说明图1是本专利技术的面向电力巡检任务的无人机双目视觉障碍物感知方法流程图；图2是背景为森林的电力线航空图像图；图3是Ratio检测算子90度与45度方向双模板示意图；图4是Ratio检测算子电力线像素提取效果图；图5是霍夫变换直线检测效果图；图6是电力线构建同名点示意图；图7是平行双目立体视觉系统的对极几何图；图8是飞行安全通道构建示意图；图9是视景仿真全局三维重建提取障碍物效果图。具体实施方式下面将结合附图和实施例对本专利技术作进一步的详细说明。本专利技术是一种面向电力巡检任务的无人机双目视觉障碍物感知方法，流程如图1所示，包括以下几个步骤：步骤一：从双目航空图像中提取电力线像素并检测直线；本专利技术通过设计双模板Ratio检测算子提取电力线像素，Ratio检测算子通过设计特定模板平滑噪声对检测结果的干扰，其响应为中心像素的两个邻域的均值比的最小值。在本专利技术实例中，双目摄像头水平向前安装在无人机上，无人机一般沿着输电线路在其右上方作业，即电力线在图像中的走向呈垂直或倾斜方向，且电力线宽度仅约占1个像素，如图2所示。本专利技术所设计的两个检测模板示意图如图3所示，模板规模均为5X5像素，区域R1有5个像素，区域R2和R3各有10个像素，模板的方向分别为90度垂直方向和45度方向。一块区域Ri包含ni个像素，中心点像素为x0，每一个像素的灰度值为Vk，其平均灰度值Ai定义为：区域R1与R2以及区域R1与R3的边缘检测响应函数f12和f13分别定义为：线特征响应函数F取上述两个函数的较小者：F＝min(f12,f13)(3)通过上述方法分别得到双检测模板响应函数F90和F45，最终的线特征响应函数Fm取两者中的较大值：Fm＝max(F90,F45)(4)如果Fm＞FTH，这个模板的中心像素x0即被看作电力线像素。根据不同实例中的电力线走向可灵活设计不同的模板与阈值FTH，采用双模板Ratio检测算子的提取图2中的电力线像素效果如图4所示。由于电力线拓扑结构简单与其他电力线为平行关系，本专利技术将航空图像中的电力线拟合为直线，可减小拟合计算量增加实时性，进而通过霍夫变换将上述提取的电力线像素拼接为直线，标准霍夫变换H(ρq,θp)定义为：其中A(xi,yj)是每一个被提取的电力线像素的灰度值，Q是ρ的采样值的总数，P是θ离本文档来自技高网...

【技术保护点】
一种面向电力巡检任务的无人机双目视觉障碍物感知方法，包括以下几个步骤：步骤一：从双目航空图像中提取电力线像素并检测直线；步骤二：构建两对同名点并计算最短距离；基于步骤一的电力线拟合直线假设和对极几何约束原理，在右图的直线上任意选择两点pr(u2,v2)和qr(u′2,v′2)，计算两点对应的极线方程，两条极线与左图直线将分别相交于pl(u1,v1)和ql(u′1,v′1)两点，即pl,pr和ql,qr是两对构造的同名点，根据双目立体视觉和解析几何原理计算无人机与电力线的最短距离；步骤三：全局三维重构并构建飞行安全通道；针对障碍物，并行对双目航空图像进行全局三维重构，得到整图像素对应的三维相对坐标，从中提取障碍物信息，建立无人机电力巡检飞行安全通道；步骤四：提取障碍物并输出相对方位与物理尺寸信息；基于步骤三构建的飞行安全通道，在该通道内采用障碍物提取策略搜索障碍物，进而用矩形框将障碍物像素连通域框出，框出的障碍物几何中心像素对应的三维相对坐标作为方位信息输出，矩形框长宽作为物理尺寸信息输出。

【技术特征摘要】
1.一种面向电力巡检任务的无人机双目视觉障碍物感知方法，包括以下几个步骤：步骤一：从双目航空图像中提取电力线像素并检测直线；步骤二：构建两对同名点并计算最短距离；基于步骤一的电力线拟合直线假设和对极几何约束原理，在右图的直线上任意选择两点pr(u2,v2)和qr(u′2,v′2)，计算两点对应的极线方程，两条极线与左图直线将分别相交于pl(u1,v1)和ql(u′1,v′1)两点，即pl,pr和ql,qr是两对构造的同名点，根据双目立体视觉和解析几何原理计算无人机与电力线的最短距离；步骤三：全局三维重构并构建飞行安全通道；针对障碍物，并行对双目航空图像进行全局三维重构，得到整图像素对应的三维相对坐标，从中提取障碍物信息，建立无人机电力巡检飞行安全通道；步骤四：提取障碍物并输出相对方位与物理尺寸信息；基于步骤三构建的飞行安全通道，在该通道内采用障碍物提取策略搜索障碍物，进而用矩形框将障碍物像素连通域框出，框出的障碍物几何中心像素对应的三维相对坐标作为方位信息输出，矩形框长宽作为物理尺寸信息输出。2.根据权利要求1所述的一种面向电力巡检任务的无人机双目视觉障碍物感知方法，所述的步骤一中，设计双模板Ratio检测算子从双目航空图像中提取电力线像素，通过霍夫变换将提取的电力线像素拼接为直线。3.根据权利要求2所述的一种面向电力巡检任务的无人机双目视觉障碍物感知方法，所述的Ratio检测算子的双模版为：均为5X5像素，区域R1有5个像素，区域R2和R3各有10个像素，模板的方向分别为90度垂直方向和45度方向，获取模板响应函数F90和F45，取两者中的较大值为线特征响应函数Fm，如果Fm＞FTH，FTH为阈值，则这个模板的中心像素x0即为电力线像素。4.根据权利要求3所述的一种面向电力巡检任务的无人机双目视觉障碍物感知方法，所述的线特征响应函数Fm的获取方法为：一块区域Ri包含ni个像素，中心点像素为x0，每一个像素的灰度值为Vk，其平均灰度值Ai定义为：区域R1与R2以及区域R1与R3的边缘检测响应函数f12和f13分别定义为：线特征响应函数F取上述两个函数的较小者：F＝min(f12,f13)(3)分别得到双检测模板响应函数F90和F45，最终的线特征响应函数Fm取两者中的较大值：Fm＝max(F90,F45)(4)。5.根据权利要求2所述的一种面向电力巡检任务的无人机双目视觉障碍物感知方法，所述的霍夫变换H(ρq,θp)为：其中A(xi,yj)是每一个被提取的电力线像素的灰度值，Q是ρ的采样值的总数，P是θ离散值的总数，图像的尺寸为N*N，ρq、θp表示参数空间下的坐标。6.根据权利要求1所述的一种面向电力巡检任务的无人机双目视觉障碍物感知方法，所述的步骤二具体为：在双目右图像中任意选择一点Xr，在左图像中对应的同名点必在一条直线上，该直线称为极线，设极线方程为：au+bv+c＝0(6)...

【专利技术属性】
技术研发人员：王宏伦，帅晨，寇展，李娜，杨鹤猛，王兵，张巍，
申请(专利权)人：北京航空航天大学，天津航天中为数据系统科技有限公司，南方电网科学研究院有限责任公司，
类型：发明
国别省市：北京,11