一种无人机输电线路巡线视觉避障方法及系统技术方案

本发明专利技术公开了一种无人机输电线路巡线视觉避障方法及系统，所述方法包括：利用搭载双目相机的无人机采集输电线路的左目视频和右目视频；按照设定频率对左目视频、右目视频同步取帧，组成双目图像对；分别对双目图像对中的左目图像、右目图像进行检测，获取左目图像中完整输电线集及右目图像中完整输电线集；将左目图像中完整的输电线集与右目图像中完整的输电线集进行匹配，获取匹配输电线；根据匹配输电线上的匹配点对集，计算输电线与无人机的距离；将输电线路与无人机的距离与设定安全阈值比较，若超出安全阈值则输出报警。本发明专利技术能够降低巡检人员勘察时的工作强度，避免无人机输电线路巡检过程发生输电线碰撞，提高工作效率和安全性。

A Visual Obstacle Avoidance Method and System for UAV Transmission Line Patrol

【技术实现步骤摘要】
一种无人机输电线路巡线视觉避障方法及系统
本专利技术涉及一种无人机输电线路巡线视觉避障方法和系统。
技术介绍
随着经济的发展、社会的进步，人们对电力能源的需求日益增加，电力设备作为现代电力系统最重要的组成部分，其正常、高效的运转是确保电网持续供电的关键。架空的输电线路所处环境复杂，极易受到恶劣天气、飞鸟走兽等自然因素的影响，使电路老化、断裂，导致线路故障，影响电网的安全和稳定的运行。输电线巡检是保证电力系统安全稳定运行、持续为千家万户供电的一项基础工作。通过输电线的巡检可以有效地掌握该条线路上输电线的情况和周边环境地势的变化，及时发现潜在的安全隐患，以便技术人员及时解决，避免或者减少不必要的经济和人员损失，将危险系数、灾难预发生率降到最低。所以，输电线路通道巡检是电力系统维护工作的重要部分。近年来，电网公司逐步采用无人机巡检代替人工巡检，显著减低了人员的劳动强度，也提高了检测的效率，但是，无人机在巡查范围大，人员不能实时跟随无人机，在人眼可视范围内，无人机的安全状况可以得到较好的保障，一旦无人机飞出人眼的可视距离之外，巡查人员只能通过显示屏上视频信息和无人机自身的避障系统来确保无人机的巡线安全，但人工通过视频信息对于距离远近进行判断通常存在较大误差，且极度考验操作人员的经验和无人机操控水平；现有无人机的避障系统也无法检测出输电线这种如此细长的障碍物，安全系数大大降低，一旦无人机撞上输电线，将会造成严重电力事故。
技术实现思路
本专利技术的目的在于克服现有技术中的不足，提供一种无人机输电线路巡线视觉避障方法和系统，实现对输电线与无人机之间距离的准确检测，降低巡检人员勘察时的工作强度，避免无人机输电线路巡检过程发生输电线碰撞，提高工作效率和安全性。为达到上述目的，本专利技术是采用下述技术方案实现的：第一方面，本专利技术提供了一种无人机输电线路巡线视觉避障方法，其特征在于，所述方法包括如下步骤：利用搭载双目相机的无人机采集输电线路的左目视频和右目视频；按照设定频率对左目视频、右目视频同步取帧，组成双目图像对；分别对双目图像对中的左目图像、右目图像进行检测，获取左目图像中完整输电线集及右目图像中完整输电线集；将左目图像中完整的输电线集与右目图像中完整的输电线集进行匹配，获取匹配输电线；根据匹配输电线上的匹配点对集，计算左目图像与右目图像中输电线的视差；利用双目成像原理，根据所述视差计算输电线与无人机的距离；将输电线路与无人机的距离与设定安全阈值比较，若超出安全阈值则输出报警，操控无人机运行在安全距离范围内。结合第一方面，进一步的，所述方法还包括：对双目相机进行标定，获取双目相机的内外参数，利用内外参数对所获取的双目图像对进行矫正和校正。结合第一方面，进一步的，获取左目图像中完整输电线集及右目图像中完整输电线集的方法包括如下步骤：51)利用统计概率霍夫线变换初步筛选出左目图像中输电线上的线段集合，记为lines_nl：lines_nl＝{{(x11,y11),(x12,y12)},{(x21,y21),(x22,y22)},......,{(xn1,yn1),(xn2,yn2)}}其中，(x11,y11)与(x12,y12)分别为线段两端点坐标，n为线段的总数；52)计算线段集合lines_n1中每个线段的斜率ki：计算得出的斜率集为lines_kl：lines_kl＝{k1,k2,......,kn}53)取每一条输电线斜率的约束范围为：|ki|≤tan5°，通过斜率约束条件，将不符约束条件的非输电线部分去除，筛选出符合输电线架线规律的线段集合，新的线段集合lines_wl，记为：lines_wl＝{{(x11,y11),(x12,y12)},{(x21,y21),(x22,y22)},......,{(xw1,yw1),(xw2,yw2)}},w≤n其中，w为利用斜率约束筛选后输电线的总数；54)计算每两段输电线的距离以筛选重复的输电线，在线段集合lines_wl中取每一段线段的中点坐标为(xim,yim)，则线段集合lines_wl的线段中点集合为lines_halfl：lines_halfl＝{(x1m,y1m),(x2m,y2m),......,(xwm,ywm)}计算每两个中点坐标的欧氏距离(在二维和三维空间中为两点坐标之间的线段长度)，设定两中点坐标欧氏距离的最小值为σhalfmin，(xam,yam)与(xbm,ybm)均为线段中点集合lines_halfl中的点，若满足：则删除(xam,yam)所对应的输电线线段，筛选线段集lines_zl即为全部检测出的输电线线段集，记为：lines_zl＝{{(x11,y11),(x12,y12)},{(x21,y21),(x22,y22)},......,{(xz1,yz1),(xz2,yz2)}},z≤w其中，z为利用线段中点欧氏距离筛选后的输电线总数；55)利用斜率约束整合连接所有在同一条输电线上的输电线线段，利用每两条输电线段进行比较并连接，记其中一条线段为lines_zv＝{(xv1,yv1),(xv2,yv2)}，另一条线段为lines_zu＝{(xu1,yu1),(xu2,yu2)}，分别计算斜率kv,ku：其中，v表示其中一条输电线线段，u表示另一条输电线线段；通过约束条件：|kv|≤tan5°,|ku|≤tan5°,|kv-ku|≤tan5°，判断两个输电线线段是否为同一条输电线上的不同线段；如果不同时满足上述三个约束条件，则不为同一条输电线的线段；同时满足约束条件的两个线段，合并成为一条较长的线段，比较计算由{(xu1,yu1),(xv2,yv2)},{(xv1,yv1),(xu2,yu2)}组成的两个线段的长度，取较长的线段为合并后的线段lines_zvu，记为：其中，线段lines_zvu为选取的长度较长的线段，并删除距离较短的线段，即将两个在同一输电线上的输电线线段合并成为一段较长的输电线；经过所有输电线线段与其他输电线线段的比较与合并，得到完整的输电线线集lines_tl，记为：lines_tl＝{{(x11,y11),(x12,y12)},{(x21,y21),(x22,y22)},......,{(xt1,yt1),(xt2,yt2)}},t≤z其中，t为合并后输电线线集的总数。56)对右目图像执行51)-55)步骤，获取右目图像中完整的输电线线集lines_tr，记为：lines_tr＝{{(x11′,y11′),(x12′,y12′)},{(x21′,y21′),(x22′,y22′)},......,{(xt1′,yt1′),(xt2′,yt2′)}},t≤z其中，(x11′,y11′)与(x12′,y12′)表示右目图像中输电线线段的两端点，lines_tr输电线线集中各线段均如此。结合第一方面，进一步的，将左目图像中完整的输电线集与右目图像中完整的输电线集进行匹配的方法包括如下步骤：61)将左目图像中lines_tl输电线线集中每一个线段利用两个端点坐标计算其直线的方程式，得到左目输电线线集的直线方程式集lines_tlF，记为：lines_tlF＝{(A1x+B1y+C1＝0),(A2x+B2y+C2＝0),...,(本文档来自技高网...

【技术保护点】
1.一种无人机输电线路巡线视觉避障方法，其特征在于，所述方法包括如下步骤：利用搭载双目相机的无人机采集输电线路的左目视频和右目视频；按照设定频率对左目视频、右目视频同步取帧，组成双目图像对；分别对双目图像对中的左目图像、右目图像进行检测，获取左目图像中完整输电线集及右目图像中完整输电线集；将左目图像中完整的输电线集与右目图像中完整的输电线集进行匹配，获取匹配输电线；根据匹配输电线上的匹配点对集，计算左目图像与右目图像中输电线的视差；利用双目成像原理，根据所述视差计算输电线与无人机的距离；将输电线路与无人机的距离与设定安全阈值比较，若超出安全阈值则输出报警，操控无人机运行在安全距离范围内。

【技术特征摘要】
1.一种无人机输电线路巡线视觉避障方法，其特征在于，所述方法包括如下步骤：利用搭载双目相机的无人机采集输电线路的左目视频和右目视频；按照设定频率对左目视频、右目视频同步取帧，组成双目图像对；分别对双目图像对中的左目图像、右目图像进行检测，获取左目图像中完整输电线集及右目图像中完整输电线集；将左目图像中完整的输电线集与右目图像中完整的输电线集进行匹配，获取匹配输电线；根据匹配输电线上的匹配点对集，计算左目图像与右目图像中输电线的视差；利用双目成像原理，根据所述视差计算输电线与无人机的距离；将输电线路与无人机的距离与设定安全阈值比较，若超出安全阈值则输出报警，操控无人机运行在安全距离范围内。2.根据权利要求1所述的无人机输电线路巡线视觉避障方法，其特征在于，所述方法还包括：对双目相机进行标定，获取双目相机的内外参数，利用内外参数对所获取的双目图像对进行矫正和校正。3.根据权利要求1所述的无人机输电线路巡线视觉避障方法，其特征在于，获取左目图像中完整输电线集及右目图像中完整输电线集的方法包括如下步骤：51)利用统计概率霍夫线变换初步筛选出左目图像中输电线上的线段集合，记为lines_nl：lines_nl＝{{(x11,y11),(x12,y12)},{(x21,y21),(x22,y22)},......,{(xn1,yn1),(xn2,yn2)}}其中，(x11,y11)与(x12,y12)分别为线段两端点坐标，n为线段的总数；52)计算线段集合lines_n1中每个线段的斜率ki：计算得出的斜率集为lines_kl：lines_kl＝{k1,k2,......,kn}53)取每一条输电线斜率的约束范围为：|ki|≤tan5°，通过斜率约束条件，将不符约束条件的非输电线部分去除，筛选出符合输电线架线规律的线段集合，新的线段集合lines_wl，记为：lines_wl＝{{(x11,y11),(x12,y12)},{(x21,y21),(x22,y22)},......,{(xw1,yw1),(xw2,yw2)}},w≤n其中，w为利用斜率约束筛选后输电线的总数；54)计算每两段输电线的距离以筛选重复的输电线，在线段集合lines_wl中取每一段线段的中点坐标为(xim,yim)，则线段集合lines_wl的线段中点集合为lines_halfl：lines_halfl＝{(x1m,y1m),(x2m,y2m),......,(xwm,ywm)}计算每两个中点坐标的欧氏距离，设定两中点坐标欧氏距离的最小值为σhalfmin，(xam,yam)与(xbm,ybm)均为线段中点集合lines_halfl中的点，若满足：则删除(xam,yam)所对应的输电线线段，筛选线段集lines_zl即为全部检测出的输电线线段集，记为：lines_zl＝{{(x11,y11),(x12,y12)},{(x21,y21),(x22,y22)},......,{(xz1,yz1),(xz2,yz2)}},z≤w其中，z为利用线段中点欧氏距离筛选后的输电线总数；55)利用斜率约束整合连接所有在同一条输电线上的输电线线段，利用每两条输电线段进行比较并连接，记其中一条线段为lines_zv＝{(xv1,yv1),(xv2,yv2)}，另一条线段为lines_zu＝{(xu1,yu1),(xu2,yu2)}，分别计算斜率kv,ku：其中，v表示其中一条输电线线段，u表示另一条输电线线段；通过约束条件：|kv|≤tan5°,|ku|≤tan5°,|kv-ku|≤tan5°，判断两个输电线线段是否为同一条输电线上的不同线段；如果不同时满足上述三个约束条件，则不为同一条输电线的线段；同时满足约束条件的两个线段，合并成为一条较长的线段，比较计算由{(xu1,yu1),(xv2,yv2)},{(xv1,yv1),(xu2,yu2)}组成的两个线段的长度，取较长的线段为合并后的线段lines_zvu，记为：其中，线段lines_zvu为选取的长度较长的线段，并删除距离较短的线段，即将两个在同一输电线上的输电线线段合并成为一段较长的输电线；经过所有输电线线段与其他输电线线段的比较与合并，得到完整的输电线线集lines_tl，记为：lines_tl＝{{(x11,y11),(x12,y12)},{(x21,y21),(x22,y22)},......,{(xt1,yt1),(xt2,yt2)}},t≤z其中，t为合并后输电线线集的总数。56)对右目图像执行51)-55)步骤，获取右目图像中完整的输电线线集lines_tr，记为：lines_tr＝{{(x11′,y11′),(x12′,y12′)},{(x21′,y21′),(x22′,y22′)},......,{(xt1′,...

【专利技术属性】
技术研发人员：侯俊丞，余志宏，李庆武，张杉，周亚琴，马云鹏，徐畅，
申请(专利权)人：河海大学常州校区，
类型：发明
国别省市：江苏,32