基于杆塔模型匹配及视觉导航的电力无人机及巡检方法技术

本发明专利技术公开了一种基于杆塔模型匹配及视觉导航的电力无人机及巡检方法，其无人机通过双目视觉传感器采集无人机前端的深度图像，进而测量无人机与前方对象的距离，通过云台及摄像头采集周边图像，进而识别对象，通过无人机飞控控制无人机的飞行姿态；所述方法包括对不同种类的输电线路杆塔进行杆塔模型建模；无人机在飞行过程中自动识别输电线路杆塔及杆塔种类，匹配并载入预建的杆塔模型；无人机对输电线路杆塔进行视觉定位，获取无人机与杆塔的相对位置；无人机按照最优飞行路径进行飞行巡检；本发明专利技术大大减少了建模工作量，增加了模型的通用性；本巡检方法不依赖于绝对坐标飞行，大大增加了灵活性，降低了成本，增强了电力设施安全性。

Electric UAV and Patrol Inspection Method Based on Tower Model Matching and Visual Navigation

【技术实现步骤摘要】
基于杆塔模型匹配及视觉导航的电力无人机及巡检方法
本专利技术涉及一种基于杆塔模型匹配及视觉导航的电力无人机及巡检方法，属于电力输电线路巡检

技术介绍
架空输电线路是长距离输送电力的主要方式，输电线路及杆塔附件由于长期暴露在野外，受到持续的机械张力、电气闪络、材料老化的影响，容易产生断股、磨损、腐蚀等损伤，如不及时修复更换，原本微小的缺陷就可能扩大，最终导致严重事故，造成大面积的停电和巨大的经济损失，因此需要对架空输电线路进行定期的巡检，以及时预防和排除故障，发现线路、杆塔的损伤和缺陷，安排维护和修复，以确保供电的可靠性。传统的巡检方式主要是采用人工巡检，由于输电线路分布点多面广、地理条件复杂，人工巡检工作效率低、劳动强度大、工作环境危险、效果不显著。随着小型无人机技术的发展，无人机在电力输电线路的巡检工作上已经得到广泛应用，尤其是使用小型、中型多旋翼无人机进行输电线路精细化巡检，提高了巡检效率、降低了巡检难度，提升了巡检质量。目前无人机巡检主要分成两种模式，一种是人工操作无人机飞行巡检，这需要专业的飞手才能完成；一种是无人机自动化巡检。目前无人机自动化巡检主要基于以下两种技术：（1）第一次巡检时，由飞手手动操作控制无人机进行飞行巡检，在飞行过程中，记录关键航迹点的地理位置坐标（绝对坐标）。在以后的巡检过程中，无人机自动根据这些航迹点组成的飞行路线进行飞行巡检，是一个无人机根据预定航点坐标复飞的技术。（2）首先依靠激光点云或倾斜摄影技术对整个输电线路通道进行精细化的三维建模，通过在输电通道三维模型中手动设定航迹点或通过软件算法自动生成航迹点的方法，得到无人机的巡检飞行路径，在巡检时控制无人机按照该飞行路线进行巡检。上述的无人机自动巡检方法，主要有以下的缺点：方法一实际上是无人机根据已记录的航点复飞的技术。这需要在所有输电线路及杆塔都人为试飞一次，才能记录下飞行路径的航点坐标，这种方法工作量大，灵活性差，无法做到真正意义上的自动巡检。方法二需要对整个输电线路通道及线路上的所有杆塔都进行三维建模，才能规划出无人机的航迹，这种方法成本高，建模效率低。以上两种方法，由于都需要较为精确的地理坐标，基本都需要依赖于能达到厘米级定位精度的RTK定位技术实现，成本较高。以上两种方法，都基于绝对的地理位置坐标飞行，当外部环境变化时，无人机飞行过程中就存在一定的风险。由于在三维建模的模型文件中记录了输电线路设施的绝对地理位置坐标，如果模型文件泄密，对国家电力设施的安全存在一定的风险。
技术实现思路
本专利技术所要解决的技术问题是克服现有技术的缺陷，提供一种杆塔模型匹配及视觉导航的电力无人机及巡检方法，利用图象识别及模型匹配技术对杆塔类型进行识别，利用机器视觉定位无人机与杆塔间的相对位置，控制无人机按照杆塔模型自动巡检拍摄，最后利用视觉导航技术控制无人机沿着输电线路自动飞往下一级杆塔的无人机全自主巡检方法。为得到上述目的，本专利技术采用的技术方案如下：一种基于杆塔模型匹配及视觉导航的电力无人机，由无人机本体、无人机飞控、前端AI处理平台、双目视觉传感器，和云台及摄像头构成；所述无人机飞控安装在无人机本体内部，用于控制无人机的飞行姿态；所述双目视觉传感器安装在无人机本体的正前方，用于采集无人机前端的深度图像；所述云台及摄像头一体安装，共同安装在无人机本体的底部，所述云台用于控制摄像头水平360度、垂直90度转动，所述摄像头用于采集可见光图像；所述前端AI处理平台安装在无人机本体的上部，所述前端AI处理平台构建基于深度学习的图像识别推理模型，用于从摄像头拍摄的可见光图像中检测并识别出所需对象；所述前端AI处理平台用于根据所述双目视觉传感器采集的无人机前端的深度图像，测量无人机与前方对象的距离；所述前端AI处理平台根据所测量的无人机与前方对象的距离及识别的对象，给无人机飞控下发命令来控制无人机的飞行。基于杆塔模型匹配及视觉导航的电力无人机进行杆塔巡检的方法，包括以下步骤：1）对不同种类的输电线路杆塔进行杆塔模型建模；2）无人机在飞行过程中自动识别输电线路杆塔及杆塔种类，匹配并载入预建的杆塔模型；3）无人机对输电线路杆塔进行视觉定位，获取无人机与杆塔的相对位置；4）无人机根据杆塔模型描述的检视点位置及巡检路径，并根据无人机与杆塔的相对位置计算出实际飞行路径，进行飞行巡检；5）一个杆塔巡检完成后，无人机自动识别架空输电线路，通过视觉导航飞至及下一级杆塔继续巡检。前述的步骤1）中，对不同种类的输电线路杆塔进行杆塔模型建模，包括：以不同种类的输电线路杆塔的CAD图纸为基础进行建模，建立输电线路杆塔的三维模型，在三维模型中标注输电线路杆塔的关键部件的所有能够存在位置的相对坐标，并在三维模型中标注无人机的安全飞行区界面，标注无人机在拍摄各个杆塔关键部件时的检视点，标注摄像头的拍摄方向，以及，标注无人机飞过所有检视点的最优飞行路径。前述的步骤2）中，杆塔模型匹配方法为：在无人机飞行过程中，前端AI处理平台通过控制云台及摄像头，拍摄周围的照片，并对照片进行基于深度学习的图像识别推理模型计算，实时识别输电线路杆塔，如果识别到输电线路杆塔，则对杆塔的种类进行识别，匹配预建的杆塔模型并载入杆塔模型。前述的步骤3）中，进行视觉定位的方法包括：通过无人机双目视觉传感器获取前方深度图像，重建无人机前端物体的三维轮廓及位置信息，结合无人机与杆塔中多个关键部件的位置关系，通过三角定位法得到无人机与杆塔的空间相对位置关系。前述的步骤4）中，进行飞行巡检包括：41）无人机根据与杆塔间的相对位置及杆塔模型中最优飞行路径的第一个检视点位置，计算无人机与检视点的相对位置，并飞至检视点；42）无人机根据杆塔模型描述的摄像头的拍摄方向，控制云台及摄像头按照拍摄方向对准拍摄对象，自动对焦拍摄；43）无人机根据杆塔模型描述的最优飞行路径飞到下一个检视点；44）重复步骤42）和步骤43）的动作，直到无人机完成杆塔模型描述的巡检飞行路径。前述的无人机在飞行巡检过程中，不间断地对输电线路杆塔进行视觉定位，获取无人机与杆塔的相对位置，以校正无人机的飞行位置，并保证无人机飞行于安全区内。前述的步骤5）包括：51）无人机自动识别架空输电线路对象；52）无人机通过双目视觉传感器获取前方深度图像，进而测量无人机与架空输电线路的相对距离；53）在保证无人机与架空输电线路间的相对距离在安全距离的前提下，无人机沿着输电线路飞行至下一级杆塔。本专利技术设计了一种基于杆塔建模、实时对象识别、视觉测距、视觉导航的智能化巡检方法，以达到无人机真正的自主化巡检，提高无人机巡检的效率，降低了无人机巡检的成本。其主要优点在于：（1）对未知输电线路无需进行人工试飞后再复飞，省时省力；（2）无需对整个输电线路及线路上的所有杆塔进行建模，只需针对不同的杆塔种类进行建模，大大减少了建模工作量，增加了模型的通用性；（3）本巡检方法依赖于视觉识别及视觉定位，不依赖于绝对坐标飞行，大大增加了灵活性；（4）由于本巡检方法不依赖于绝对坐标飞行，所以无需依赖于RTK定位，大大降低了成本；（5）在模型中不使用绝对地理位置坐标，大大保证了国家电力设施的安全性，减小泄密的风险。附图说明图1是本专利技术的电力无人机自主巡检的流程图；图2是本发本文档来自技高网...

【技术保护点】
1.一种基于杆塔模型匹配及视觉导航的电力无人机，其特征在于，由无人机本体、无人机飞控、前端AI处理平台、双目视觉传感器，和云台及摄像头构成；所述无人机飞控安装在无人机本体内部，用于控制无人机的飞行姿态；所述双目视觉传感器安装在无人机本体的正前方，用于采集无人机前端的深度图像；所述云台及摄像头一体安装，共同安装在无人机本体的底部，所述云台用于控制摄像头水平360度、垂直90度转动，所述摄像头用于采集可见光图像；所述前端AI处理平台安装在无人机本体的上部，所述前端AI处理平台构建基于深度学习的图像识别推理模型，用于从摄像头拍摄的可见光图像中检测并识别出所需对象；所述前端AI处理平台用于根据所述双目视觉传感器采集的无人机前端的深度图像，测量无人机与前方对象的距离；所述前端AI处理平台根据所测量的无人机与前方对象的距离及识别的对象，给无人机飞控下发命令来控制无人机的飞行。

【技术特征摘要】
1.一种基于杆塔模型匹配及视觉导航的电力无人机，其特征在于，由无人机本体、无人机飞控、前端AI处理平台、双目视觉传感器，和云台及摄像头构成；所述无人机飞控安装在无人机本体内部，用于控制无人机的飞行姿态；所述双目视觉传感器安装在无人机本体的正前方，用于采集无人机前端的深度图像；所述云台及摄像头一体安装，共同安装在无人机本体的底部，所述云台用于控制摄像头水平360度、垂直90度转动，所述摄像头用于采集可见光图像；所述前端AI处理平台安装在无人机本体的上部，所述前端AI处理平台构建基于深度学习的图像识别推理模型，用于从摄像头拍摄的可见光图像中检测并识别出所需对象；所述前端AI处理平台用于根据所述双目视觉传感器采集的无人机前端的深度图像，测量无人机与前方对象的距离；所述前端AI处理平台根据所测量的无人机与前方对象的距离及识别的对象，给无人机飞控下发命令来控制无人机的飞行。2.采用权利要求1所述的基于杆塔模型匹配及视觉导航的电力无人机进行杆塔巡检的方法，其特征在于，包括以下步骤：1）对不同种类的输电线路杆塔进行杆塔模型建模；2）无人机在飞行过程中自动识别输电线路杆塔及杆塔种类，匹配并载入预建的杆塔模型；3）无人机对输电线路杆塔进行视觉定位，获取无人机与杆塔的相对位置；4）无人机根据杆塔模型描述的检视点位置及巡检路径，并根据无人机与杆塔的相对位置计算出实际飞行路径，进行飞行巡检；5）一个杆塔巡检完成后，无人机自动识别架空输电线路，通过视觉导航飞至及下一级杆塔继续巡检。3.根据权利要求2所述的杆塔巡检方法，其特征在于，所述步骤1）中，对不同种类的输电线路杆塔进行杆塔模型建模，包括：以不同种类的输电线路杆塔的CAD图纸为基础进行建模，建立输电线路杆塔的三维模型，在三维模型中标注输电线路杆塔的关键部件的所有能够存在位置的相对坐标，并在三维模型中标注无人机的安全飞行区界面，标注无人机在拍摄各个杆塔...

【专利技术属性】
技术研发人员：黄国方，刘晓铭，张静，谢芬，
申请(专利权)人：国电南瑞科技股份有限公司，
类型：发明
国别省市：江苏,32