基于输电线路和GIS的无人机巡检图像检索系统及方法技术方案

本发明专利技术公开了一种基于输电线路和GIS的无人机巡检图像检索系统及方法，包括：图像处理服务器、外部信号输入装置、结果显示装置、无人机和地面监控站；所述外部信号输入装置将外部信号或指令输入所述图像处理服务器，所述结果显示装置将所述图像处理服务器的处理结果输出，所述地面监控站读取所述无人机的飞行状态信息和巡检结果数据并将读取数据发送到所述图像处理服务器，所述地面监控站与所述图像处理服务器无线通信。本发明专利技术可以提高巡检结果数据检索和处理的效率，降低巡检图像处理的成本；提高了服务器检索和处理图像的速度，降低了巡检结果的处理时间成本。

Unmanned aerial vehicle patrol image retrieval system and method based on transmission line and GIS

The invention discloses a UAV inspection image retrieval system and method of transmission line based on GIS and includes an image processing server, an external signal input device, the display device, the UAV and the ground control station; the external signal input device external signal or command input to the image processing server, the result the display device will deal with the results of the image processing server output, the ground control station flight status information and inspection results of reading the UAV data and reads the data sent to the image processing server, the ground control station and the image processing server in wireless communication. The invention can improve the efficiency of data retrieval and processing of the inspection result, reduce the cost of the patrol image processing, improve the speed of the server to retrieve and process the image, and reduce the processing time cost of the inspection result.

【技术实现步骤摘要】
基于输电线路和GIS的无人机巡检图像检索系统及方法
本专利技术属于电力系统的运行检修领域，尤其涉及一种基于输电线路和GIS的无人机巡检图像检索系统及方法。
技术介绍
无人机巡线在输电线路巡检中发挥着越来越重要的作用，可大大减轻电力服务人员的工作负荷，减少可能发生的人员危险的机率，降低电力设备的维护成本，提高电网的安全性和可靠性。在无人机巡检过程中，巡检结果的处理是无人机巡检的核心内容。如何高效、快速的对无人机巡检的结果数据图像进行处理，将无人机巡检拍摄的图像与巡检的输电线路信息进行匹配，一直是困扰无人机巡检的一个难题。无人机巡检拍摄图像的过程中，无法确定拍摄图像中的输电线路设备与实际输电线路设备的对应关系，只能根据拍摄图像的图像信息人工判断所属杆塔或输电线路段，这使得巡检图像信息与输电线路信息的对应极易出错，导致巡检图像信息和巡检缺陷信息与输电线路设备对应不准，影响缺陷判断和缺陷消缺的效率；如果无法将巡检图像与对应杆塔进行匹配，就无法有效、快速的根据输电线路信息和线路杆塔信息检索对应的图像和缺陷信息，更无法有效的对巡检的结果进行处理，影响无人机巡检结果处理的效率和准确性。在图像信息匹配和检索方面，国内外有比较多的专利、论文和其他资料公开。比如，华北电力大学的袁辉、余萍等人的“电力设备图像特征提取和分类方法的研究”和孙霞、王致杰等人的“大型变电站远程监控系统的故障诊断”，针对图像内容和电力设备特征信息，识别出图像中设备类型，对图像进行分类，实现设备图像的检索，但是该方法仅能识别设备类型，无法识别设备的型号，更无法将图像与对应输电线路段、杆塔编号、巡检地理信息相关联。申请号为“200910077920.2”的《一种词典图像检索系统》专利，根据索引表检索图像信息，但是没有给出如何跟图像属性信息或者内容检索对应的图像。申请号为“200910152883.7”的《面向WEB2.0标签图像共享空间的图像检索聚类方法》和申请号为“200810104942.9”的《网络图像搜索中基于聚类的相关反馈检索方法》，通过聚类分析的方式进行图像分类，该种图像分类和检索方法通过图像文本信息内部之间关系进行分类和检索，无人机巡检图像文本信息中并不涉及到相应输电线路信息和杆塔信息，无法进行聚类分析和分类。以上专利或者论文均是关于图像信息匹配和检索的技术装置或者系统，但是都没有在电力系统中无人机线路巡检图像处理中应用，处于理论研究层面，无法应用于无人机输电线路巡检领域。综上所述，现在图像信息匹配和检索方法中，缺少有效的无人机巡检图像与输电线路信息的匹配方法和检索方法，无法根据图像信息准确的确定图像中的输电线路设备的编号和类型，其他行业的图像属性匹配和检索方法直接应用到无人机线路巡检结果处理系统中，其效果并非理想，尚有许多问题需要解决。
技术实现思路
为了解决以上问题，本专利技术提供了一种基于输电线路和GIS的无人机巡检图像检索系统及方法。该方法可以提高巡检结果处理的自动化和信息化程度，提高对巡检结果的检索和处理效率，降低巡检结果处理的成本。为了实现上述目的，本专利技术采用如下技术方案：一种基于输电线路和GIS的无人机巡检图像检索系统，包括：图像处理服务器、外部信号输入装置、结果显示装置、无人机和地面监控站；所述图像处理服务器用于完成输入的巡检数据的GPS位置匹配和输电线路信息的匹配，与GIS信息相关联，并根据输电线路信息和GIS信息的检索相应的巡检图像，对巡检图像进行管理，所述外部信号输入装置将外部信号或指令输入所述图像处理服务器，所述结果显示装置将所述图像处理服务器的处理结果输出，所述地面监控站读取所述无人机的飞行状态信息和巡检结果数据并将读取数据发送到所述图像处理服务器，所述地面监控站与所述图像处理服务器无线通信。所述图像处理服务器包括：外部信号识别模块、数据存储模块、GPS位置匹配模块、输电线路匹配模块、GIS信息关联模块、图像信息处理模块、通信模块分别与数据处理模块双向通信；所述外部信号识别模块与所述外部信号输入装置连接，所述图像信息处理模块与所述结果显示装置连接，所述通信模块与所述地面监控站连接。所述数据处理模块包括：逻辑处理单元、时钟同步单元和状态监控单元；所述逻辑处理单元，用于对外部指令进行逻辑计算和处理；所述时钟同步单元，用于同步地面监控站和无人机的时钟；所述状态监测单元，通过无线通信方式，实时监测无人机的状态信息，并读取地面监控站中的巡检结果数据。所述输电线路匹配模块包括：输电线路管理单元和图像匹配单元；所述输电线路管理单元，用于输电线路信息的处理；所述图像匹配单元，用于通过GPS位置信息，实现巡检图片与输电线路杆塔或者杆塔段的匹配。所述GIS信息关联模块，包括：GIS线路数据管理单元、GIS信息展示单元、GIS信息关联单元、GIS图片展示单元和GPS定位单元；所述GIS线路数据管理单元，用于输电线路信息的导入和导出操作；所述GIS信息展示单元，用于GIS地图信息的展示；所述GIS信息关联单元，用于将图片信息与GIS信息通过输电线路信息相关联，确定巡检图像拍摄的具体数据信息；所述GIS图片展示单元，用于展示选定区域内的输电线路信息以及输电线路对应的巡检图片；所述GPS定位单元，用于通过GPS在GIS地图上定位，并将该GPS位置一定半径内的输电线路以及输电线路上对应的图片信息标识展出。所述图像信息管理模块包括：图像检索单元和图像属性信息编辑单元；所述图像检索单元，用于提供检索图像以及对应的图像属性信息；所述图像属性信息编辑单元，用于对图像的属性信息进行编辑。所述通信模块采用但不限于当前的GSM、GPRS、CDMA、WCDMA、TD-SCDMA、LTE以及WIFI通讯制式的无线通信方式。一种基于输电线路和GIS的无人机巡检图像检索系统的检索方法，包括如下步骤：（1）巡检结果数据的导入：通过无线通信或者SD卡的方式将巡检图像、巡检过程数据、巡检监测数据以及飞控日志导入到所述无人机巡检图像检索系统中。（2）巡检图像GPS位置匹配：根据巡检的图像及数据确定巡检图像拍摄时的GPS位置。（3）输电线路信息匹配：根据步骤（2）中确定的图像拍摄时的GPS位置以及飞控监测数据确定对应的输电线路杆塔或者杆塔段。（4）巡检图像与GIS信息关联：根据拍摄图像中的杆塔或者杆塔段与相应的GIS信息进行关联，确定巡检图像拍摄区域的信息，实现通过GIS信息查询相应的巡检图像及其属性信息。（5）图像属性信息确认：如果是通过参考GPS位置确定的输电线路设备的，提示用户通过手工方式进行确认是否为拍摄的杆塔或者杆塔段，确认后，如果不需要调整和修改相应的属性信息的进入步骤（6）；需要调整和修改的，则对拍摄图片对应的杆塔和杆塔段进行手工调整和修改后，进入步骤（4），并将相应图像信息标识为确认完成。（6）图像匹配完成，可以根据巡检图像拍摄区域的GIS信息和输电线路信息进行相应图像信息检索。所述确定巡检图像拍摄时的GPS位置的方法为：（1）读取巡检图像的拍摄时间Photo_T，所述图片拍摄时间可精确到0.01秒。（2）读取无人机飞行的GPS位置信息和GPS位置对应的时间，记为:<GPS，GPS_T>，其中，GPS的值包含了经度值和纬度值，时间GPS_T可精本文档来自技高网...

【技术保护点】
一种基于输电线路和GIS的无人机巡检图像检索系统的检索方法，其特征是，所述的基于输电线路和GIS的无人机巡检图像检索系统包括：图像处理服务器、外部信号输入装置、结果显示装置、无人机和地面监控站；所述图像处理服务器用于完成输入的巡检数据的GPS位置匹配和输电线路信息的匹配，与GIS信息相关联，并根据输电线路信息和GIS信息的检索相应的巡检图像，对巡检图像进行管理，所述外部信号输入装置将外部信号或指令输入所述图像处理服务器，所述结果显示装置将所述图像处理服务器的处理结果输出，所述地面监控站读取所述无人机的飞行状态信息和巡检结果数据并将读取数据发送到所述图像处理服务器，所述地面监控站与所述图像处理服务器无线通信；所述的检索方法包括如下步骤：(1)巡检结果数据的导入：通过无线通信或者SD卡的方式将巡检图像、巡检过程数据、巡检监测数据以及飞控日志导入到所述无人机巡检图像检索系统中；(2)巡检图像GPS位置匹配：根据巡检的图像及数据确定巡检图像拍摄时的GPS位置；(3)输电线路信息匹配：根据步骤(2)中确定的图像拍摄时的GPS位置以及飞控监测数据确定对应的输电线路杆塔或者杆塔段；(4)巡检图像与GIS信息关联：根据拍摄图像中的杆塔或者杆塔段与相应的GIS信息进行关联，确定巡检图像拍摄区域的信息，实现通过GIS信息查询相应的巡检图像及其属性信息；(5)图像属性信息确认：如果是通过参考GPS位置确定的输电线路设备的，提示用户通过手工方式进行确认是否为拍摄的杆塔或者杆塔段，确认后，如果不需要调整和修改相应的属性信息的进入步骤(6)；需要调整和修改的，则对拍摄图片对应的杆塔和杆塔段进行手工调整和修改后，进入步骤(4)，并将相应图像信息标识为确认完成；(6)图像匹配完成，可以根据巡检图像拍摄区域的GIS信息和输电线路信息进行相应图像信息检索。...

【技术特征摘要】
1.一种基于输电线路和GIS的无人机巡检图像检索系统的检索方法，其特征是，所述的基于输电线路和GIS的无人机巡检图像检索系统包括：图像处理服务器、外部信号输入装置、结果显示装置、无人机和地面监控站；所述图像处理服务器用于完成输入的巡检数据的GPS位置匹配和输电线路信息的匹配，与GIS信息相关联，并根据输电线路信息和GIS信息的检索相应的巡检图像，对巡检图像进行管理，所述外部信号输入装置将外部信号或指令输入所述图像处理服务器，所述结果显示装置将所述图像处理服务器的处理结果输出，所述地面监控站读取所述无人机的飞行状态信息和巡检结果数据并将读取数据发送到所述图像处理服务器，所述地面监控站与所述图像处理服务器无线通信；所述的检索方法包括如下步骤：(1)巡检结果数据的导入：通过无线通信或者SD卡的方式将巡检图像、巡检过程数据、巡检监测数据以及飞控日志导入到所述无人机巡检图像检索系统中；(2)巡检图像GPS位置匹配：根据巡检的图像及数据确定巡检图像拍摄时的GPS位置；(3)输电线路信息匹配：根据步骤(2)中确定的图像拍摄时的GPS位置以及飞控监测数据确定对应的输电线路杆塔或者杆塔段；(4)巡检图像与GIS信息关联：根据拍摄图像中的杆塔或者杆塔段与相应的GIS信息进行关联，确定巡检图像拍摄区域的信息，实现通过GIS信息查询相应的巡检图像及其属性信息；(5)图像属性信息确认：如果是通过参考GPS位置确定的输电线路设备的，提示用户通过手工方式进行确认是否为拍摄的杆塔或者杆塔段，确认后，如果不需要调整和修改相应的属性信息的进入步骤(6)；需要调整和修改的，则对拍摄图片对应的杆塔和杆塔段进行手工调整和修改后，进入步骤(4)，并将相应图像信息标识为确认完成；(6)图像匹配完成，可以根据巡检图像拍摄区域的GIS信息和输电线路信息进行相应图像信息检索。2.如权利要求1所述的一种基于输电线路和GIS的无人机巡检图像检索系统的检索方法，其特征是，所述确定巡检图像拍摄时的GPS位置的方法为：(1)读取巡检图像的拍摄时间Photo_T；(2)读取无人机飞行的GPS位置信息和GPS位置对应的时间，记为:<GPS，GPS_T>，其中，GPS的值包含了经度值和纬度值；(3)根据巡检图像的拍摄时间Photo_T，到无人机GPS获取时间GPS_T中进行检索合格比对，在时间检索范围为Photo_T±1秒的范围内，获取最接近的时间；如果获取不到最为接近时间，则扩大时间检索范围为Photo_T±2秒，确定最接近时间GPS_T1；还无法获取的，则扩大时间检索范围为Photo_T±4秒，确定最接近时间GPS_T1；还无法获取的，则扩大时间检索范围为Photo_T±10秒，确定最接近时间GPS_T1；还是无法检索到的，查询到最接近的时间为参考时间GPS_T2，根据参考时间GPS_T2获取的GPS位置为参考GPS值；(4)通过确定的GPS读取时间GPS_T1，确定巡检图像拍摄的photo_GPS1(photo_gps_x，photo_gps_y)位置；根据参考时间GPS_T2，确定巡检图像的参考photo_GPS2位置。3.如权利要求1所述的一种基于输电线路和GIS的无人机巡检图像检索系统的检索方法，其特征是，所述确定对应的输电线路杆塔或者杆塔段的方法为：(1)根据确定的巡检图像拍摄的photo_GPS1位置或者参考photo_GPS2位置，到数据存储模块中的飞行监测数据中，根据拍摄photo_GPS1位置查询巡检的水平线距...

【专利技术属性】
技术研发人员：王滨海，张方正，张明江，董罡，刘俍，张晶晶，郑天茹，慕世友，任杰，魏传虎，王万国，
申请(专利权)人：国家电网公司，国网山东省电力公司电力科学研究院，山东鲁能智能技术有限公司，
类型：发明
国别省市：北京,11