基于机器视觉的大型设备无人机巡检系统及其方法技术方案

本发明专利技术涉及一种基于机器视觉的大型设备巡检无人机系统及其方法，包括多轴无人机、云台相机、定位模块、飞控模块、控制模块、目标识别模块和通讯模块，云台相机、定位模块和通讯模块均与飞控模块连接，控制模块与定位模块、通讯模块、目标检测模块和云台相机连接，通过获取控制模块发送的云台朝向数据，在目标检测模块的辅助下对云台相机实施控制以及自动化拍摄，所述无人机巡检系统还包括双目避障模块，所述双目避障模块与飞控模块连接用于障碍物距离的测量。本发明专利技术能降低自动巡检系统的建设成本，显著提高巡检效率和大型设备自动巡检过程的安全性。

Patrol Inspection System and Method of Large Equipment UAV Based on Machine Vision

The invention relates to a large-scale equipment patrol UAV system based on machine vision and its method, including multi-axis UAV, pan-platform camera, positioning module, flight control module, control module, target recognition module and communication module, pan-platform camera, positioning module and communication module are connected with flight control module, control module and positioning module, communication module, target detection module and cloud. The UAV patrol system also includes a binocular obstacle avoidance module. The binocular obstacle avoidance module is connected with the flight control module to measure the distance between obstacles. The invention can reduce the construction cost of the automatic patrol system, significantly improve the patrol efficiency and the safety of the automatic patrol process of large equipment.

【技术实现步骤摘要】
基于机器视觉的大型设备无人机巡检系统及其方法
本专利技术涉及无人机技术与机器视觉领域，具体涉及基于机器视觉的大型设备无人机巡检系统及其方法。
技术介绍
设备巡检系统是通过确保巡检工作质量以及提高巡检工作效率来提高设备维护水平的一种系统，其目的是掌握设备运行状况及其周围环境变化，发现设施缺陷和危及安全的隐患，从而及时采取有效措施，保证设备的安全和系统稳定。其中大型设备的结构外表面VT(VisualTesting，目视检测)检测是必不可少的一环，当用户通过VT发现设备存在裂缝、锈蚀、油漆剥落、螺栓松动(脱落)等缺陷后，将情况通知给制造商，制造商基于缺陷位置的照片，提出针对的解决方法。目前，针对大型设备，VT检测主要由人工完成，即检测人员挂安全带攀爬至所需检测的位置，然后用相机对目标位置进行拍摄，有条件的情况下，会在所需检测的位置搭脚手架。检测人员直接攀爬至检测位置的方法存在着危险系数高、检测效率低的缺点，尤其是部分检测人员难以到达的位置，搭脚手架的施工成本较高，且需要设备长时间停机，间接造成更大的经济损失。上述原因导致大量用户往往不愿意按照制造商的规定进行VT检测，从而使设备存在事故隐患，甚至导致严重事故的发生。中国专利CN207466988U公开了一种电力设备巡检定位的无人机航拍装置，包括保护壳、扇叶、保护架、固定螺帽、LED灯、第一摄像头、电机、电机支架、主动轮、传送带、从动轮、发电机、支架、旋转台、第二摄像头、无人机本体、蓄电池、保护槽、减震弹簧和纤维棒。此专利实现了扇叶旋转的能量装换为电能，解决了传统无人机只能往下航拍的现象，并且设置了减震弹簧，防止了无人机的损坏。但此专利没能解决无人机智能检测大型设备的问题，拍摄的大量图片或视频需要工作人员逐一查看，使得工作人员工作量大、检测效率低。中国专利CN108305346A公开了设备巡检方法、装置，此专利仅能检测出异常发热设备的问题，对设备表面的锈蚀、螺钉松动、设备表面裂纹等问题无法检测，并且此专利的无人机行走路线需要提前获得待检设备的三维分布图，增加了检测前期工作量，不利于无人机的快速投入检测使用，增加了无人机巡检的成本。因此，设计一款智能化水平高、有效降低检测人员劳动强度、提高检测效率、降低巡检系统建设和运行成本，并且能检测出大型设备多种隐患的一种基于机器视觉的大型设备无人机巡检系统及其方法，显得尤为必要。
技术实现思路
为了克服上述缺陷，本专利技术提供一种基于机器视觉的大型设备无人机巡检系统及其方法，具体采用如下的技术方案：一种基于机器视觉的大型设备无人机巡检系统，包括通信模块、飞控模块、控制模块、多轴无人机、云台相机、定位模块、目标检测模块、数据存储模块，所述定位模块、所述通信模块和所述飞控模块设置在所述多轴无人机内部，所述控制模块和所述目标检测模块设置在所述云台相机内，所述云台相机通过三轴云台设置在所述多轴无人机的下部，所述控制模块均与所述定位模块、所述通信模块、所述目标检测模块和所述云台相机连接，所述飞控模块、所述控制模块均与所述多轴无人机连接，所述数据存储模块与所述云台相机和通信模块连接。优选地，所述多轴无人机为四轴无人机；所述定位模块，采用双天线RTK定位模块，用于无人机位置的精确定位；所述飞控模块，用于控制多轴无人机的飞行状态、云台相机的朝向与拍摄；所述通信模块，用于实现无人机系统与无人机指挥系统之间的通信以及数据的传输，所述通信模块包括图传模块。优选地，所述无人机巡检系统还包括双目避障模块，所述双目避障模块与飞控模块连接用于障碍物距离的测量。优选地，所述无人机指挥系统包括用于控制多轴无人机的遥控装置、控制模块以及基站，所述控制模块和所述基站均与所述遥控装置连接，所述基站是基于RTK(载波相位差分技术)建立。一种基于机器视觉的大型设备无人机巡检系统的巡检方法，包括以下步骤：1)对大型设备的结构进行划分，确定划分后机械设备每个区域的中心点，生成对应的大型设备的坐标系进行存储；2)通过控制模块将大型设备的坐标系形成示教GNSS坐标，在示教过程中，训练无人机系统飞过指定线路，采集相应大型设备关键节点的图像信息；3)根据示教同时采集得到的包含节点信息的图像，通过深度学习算法训练定位识别模型，检测图像中的关键节点以及其位置；4)正式巡检过程中，无人机系统自动捕捉到包含关键节点的画面，根据上述模型检测到的节点位置，计算出图像中所有关键节点的几何中心，作为无人机拍摄的画面中心以及对焦点，进而进行拍摄。优选地，所述控制模块用于通过获取所述定位模块提供的位置数据，辅助所述飞控模块实现对多轴无人机飞行状态的控制，以及通过获取所述三轴云台的朝向数据，在所述目标检测模块的辅助下对所述云台相机实施控制。优选地，所述目标检测模块通过加载预训练的定位识别模型，自动捕捉到由所述云台相机传来的包含关键节点的图像，根据所述定位识别模型检测到的节点位置，计算出所述图像中所有关键节点的几何中心回传到所述控制模块，所述控制模块对云台相机实施控制。优选地，所述RTK(载波相位差分技术)基站用于接收卫星数据将观测值与已知位置数据进行对比获得差分数据通过遥控装置发送至定位模块。优选地，所述定位识别模型的训练步骤包括：1)获取定位识别训练用数据；2)利用深度卷积神经网络算法搭建定位识别模型；3)根据步骤1)中所述定位识别训练用数据，利用深度学习算法来训练上述定位识别模型。优选地，所述定位识别训练用数据为标注了特定关键节点的图像数据；所述定位识别训练用数据可以是服务器中预先存储的数据，也可以是设备巡检过程中得到的图像数据。本专利技术所获得的有益技术效果：1)本专利技术通过智能化设计，使得大型设备的巡检系统建设成本有效降低、巡检效率有效增加，显著降低了用户对巡检成本的投入，有效保证了大型设备的安全运行。2)本专利技术通过机器视觉对于待检测区域内关键节点的自动识别，计算出云台相机最优的拍摄角度及对焦点，从而控制云台相机进行自动化拍摄，能显著提高拍摄效率和拍摄质量。3)本专利技术通过在无人机上设置的双目避障模块，能够实现无人机在大型设备周围的安全飞行，保证了无人机的安全，保证了巡检系统各项检测指标的稳定、可靠。并且双目避障模块可以保证大型设备不会因为检修的原因照成碰撞事故的发生，影响生成。4)本专利技术通过巡检方法针对相同结构形式的大型设备，在完成一次飞行路线设计后，用户只需对无人机进行一次标定，无人机即可自动对该大型设备进行目视检测，能显著降低巡检系统的建设成本，并且能够显著提高无人机巡检系统投入运行的日期。5)本专利技术通过无人机采用VT(目视检测)检测方法对大型设备实施日常巡检，使得检测过程具有自动化程度高，耗时短，安全性好，操作便捷等特点，能够有效解决检测人员面对的大型设备检测难点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1为本专利技术的无人机巡检系统的结构框图；图2为本专利技术的巡检方法的流程示意图。具体实施方式以下将参照附图，通过实施例方式详细地描述本专利技术的技术方案。在此需要说明本文档来自技高网...

【技术保护点】
1.一种基于机器视觉的大型设备无人机巡检系统，包括通信模块、飞控模块、控制模块，其特征在于，所述无人机巡检系统还包括多轴无人机、云台相机、定位模块、目标检测模块、数据存储模块，所述定位模块、所述通信模块和所述飞控模块设置在所述多轴无人机内部，所述控制模块和所述目标检测模块设置在所述云台相机内，所述云台相机通过三轴云台设置在所述多轴无人机的下部，所述控制模块均与所述定位模块、所述通信模块、所述目标检测模块和所述云台相机连接，所述飞控模块、所述控制模块均与所述多轴无人机连接，所述数据存储模块与所述云台相机和通信模块连接。

【技术特征摘要】
1.一种基于机器视觉的大型设备无人机巡检系统，包括通信模块、飞控模块、控制模块，其特征在于，所述无人机巡检系统还包括多轴无人机、云台相机、定位模块、目标检测模块、数据存储模块，所述定位模块、所述通信模块和所述飞控模块设置在所述多轴无人机内部，所述控制模块和所述目标检测模块设置在所述云台相机内，所述云台相机通过三轴云台设置在所述多轴无人机的下部，所述控制模块均与所述定位模块、所述通信模块、所述目标检测模块和所述云台相机连接，所述飞控模块、所述控制模块均与所述多轴无人机连接，所述数据存储模块与所述云台相机和通信模块连接。2.根据权利要求1所述的一种基于机器视觉的大型设备无人机巡检系统，其特征在于，所述多轴无人机为四轴无人机；所述定位模块，采用双天线RTK定位模块，用于无人机位置的精确定位；所述飞控模块，用于控制多轴无人机的飞行状态、云台相机的朝向与拍摄；所述通信模块，用于实现无人机系统与无人机指挥系统之间的通信以及数据的传输，所述通信模块包括图传模块。3.根据权利要求1所述的一种基于机器视觉的大型设备无人机巡检系统，其特征在于，所述无人机巡检系统还包括双目避障模块，所述双目避障模块与飞控模块连接用于障碍物距离的测量。4.根据权利要求2所述的一种基于机器视觉的大型设备无人机巡检系统，其特征在于，所述无人机指挥系统包括用于控制多轴无人机的遥控装置、控制模块以及基站，所述控制模块和所述基站均与所述遥控装置连接，所述基站是基于RTK(载波相位差分技术)建立。5.根据权利要求1-4任一项所述的一种基于机器视觉的大型设备无人机巡检系统的巡检方法，其特征在于，包括以下步骤：1)对大型设备的结构进行划分，确定划分后机械设备每个区域的中心点，生成对应的大型设备的坐标系进行存储；2)通过控制模块将大型设备的坐标系形成示教GNSS坐标，在示教过程中，训练无人机系统飞过指定线路，...

【专利技术属性】
技术研发人员：杨扬，胡心怡，蔡旻宇，
申请(专利权)人：苏州傲特欣智能科技有限公司，
类型：发明
国别省市：江苏,32