一种风电机组叶片无人机自动感知识别方法技术

本发明专利技术公开了一种风电机组叶片无人机自动感知识别方法，包括以下步骤：1、在不同角度、不同环境条件下采集风电机组叶片全景图像；2、创建风机数据集并标注风电机组的主要结构；3、搭建Mask R‑CNN神经网络；4、采用Mask R‑CNN神经网络对风机数据集进行训练获取网络训练模型；5、利用训练好的网络训练模型对未知的叶片图像进行风电机组结构分类和叶尖预测；6、利用风电机组结构约束条件修正分类错误的风电机组结构类别；7、在检测结果中排除非感兴趣目标。本发明专利技术的有益之处在于：(1)采用Mask R‑CNN神经网络进行叶片、叶尖识别，较传统计算机视觉算法更加稳定；(2)对Mask R‑CNN神经网络进行了修改，增加了修正条件，对叶片、叶尖具有较高的识别准确率。

An Automatic Perception Recognition Method for Wind Turbine Blade UAV

【技术实现步骤摘要】
一种风电机组叶片无人机自动感知识别方法
本专利技术涉及一种风电机组叶片无人机自动感知识别方法，具体涉及一种算法更加稳定并且对叶片、叶尖具有较高的识别准确率的风电机组叶片无人机自动感知识别方法，属于风电设备检测

技术介绍
无人机作为一种智能航空器，不论是在民用领域还是在军事领域，都发挥着不可替代的作用。在民用领域，无人机可以用于3D地形测绘、农业监测、城市建筑成像以及野外搜救等方面，尤其是对人迹罕至或者山岭森林等特殊条件，无人机都能够灵活、快速的完成任务，这是传统航拍和卫星侦查所难以替代的。图像处理技术和成像硬件设备的飞速发展，大大提升了无人机通过视觉系统完成任务的能力。而目标识别与跟踪技术也成为无人机通过视觉对未知环境进行感知和理解的核心技术手段，使无人机在无法与地面工作站联系的情况下，能够对未知环境进行自主感知理解、自主规划决策、自主控制传感器等，最终实现全自主控制和作业。因此，结合先进的数字图像处理技术和计算机视觉理论，探索复杂环境下目标的自主检测与识别成为无人机视觉系统最为重要的技术。在风力发电领域，风电机组的叶片是将风能转化为电能的重要零件之一，但是在风电机组发电过程中，由于环境多变等因素，叶片的表面可能会产生砂眼、裂纹、剥皮等常见缺陷，这些缺陷会严重影响风力发电的效率与安全。随着无人机在风电方面的广泛应用，无人机自动叶片巡检技术的研究成为该领域的热门话题。而叶片、叶尖识别是无人机自动叶片巡检过程中重要的一部分。以往的无人机叶片识别主要是采用激光雷达设备结合相机进行叶片的定位感知。激光雷达设备虽然有着精度高、稳定等优点，但是也存在一些缺点，例如：(1)对于精度高、射程远的激光雷达设备：重量重、价格高，现行的无人机在载重及续航时间上都存在局限性；(2)对于重量较轻的激光雷达设备：在射程上不能满足无人机安全巡检的距离要求。传统计算机视觉是广泛的算法集合，允许计算从图像中提取信息(通常表示为像素值数组)。目前，传统计算机视觉已有多种用途，例如对不同的对象进行去噪、增强和检测。主要的用途在寻找简单的几何原语，如边缘检测、形态分析、霍夫变换、斑点检测、角点检测、各种图像阈值化技术等。还有一些特征代表技术，如方向梯度直方图可以作为机器学习分类器的前端，来构建更复杂的检测器。传统计算机视觉可以构建面部检测器、汽车检测器、路标检测器，在精准度和计算复杂性等方面，这些检测器很可能优于深度学习。但问题是，每个检测器都需要有能力的人从头开始构建，这一行为低效又昂更。因此，从历史上看，表现优良的探测器只适用于那些必须经常被探测，并且能够证明前期投资是明智的对象。对于一些非常见的事物的探测器，传统计算机视觉没有一个专有的探测器去管理，因此传统计算机视觉算法的稳定性较差。风电机组的叶片、叶尖的形状在传统计算机视觉中没有形成一个专有的模式，不能用已有的模板去描述，所以传统计算机视觉算法对风电机组的叶片、叶尖识别准确率较低。本专利技术主要是利用无人机智能化进行叶片的巡检，如果叶片、叶尖检测不稳定，则可能导致计算的叶尖坐标存在较大的误差，进而导致无人机路径规划时出现偏差，存在撞机的风险。
技术实现思路
为解决现有技术的不足，本专利技术采用深度学习，目的在于提供一种算法更加稳定并且对叶片、叶尖具有较高的识别准确率的风电机组叶片无人机自动感知识别方法。为了实现上述目标，本专利技术采用如下的技术方案：一种风电机组叶片无人机自动感知识别方法，其特征在于，包括以下步骤：Step1：在不同角度、不同环境条件下采集风电机组叶片全景图像；Step2：创建风机数据集，并标注风电机组的主要结构，风电机组的主要结构共分4类，分别为：杆塔、毂、叶片和叶尖，标注叶片时，采用可以旋转的标注框，在记录四个点坐标的同时，生成覆盖整个矩形区域的Mask，标注叶尖时，创建一个尺寸约为60×60像素的标注框，并使该标注框的中心正好位于叶尖；Step3：搭建MaskR-CNN神经网络；Step4：采用MaskR-CNN神经网络对风机数据集进行训练，获取网络训练模型；Step5：利用训练好的网络训练模型对未知的叶片图像进行风电机组结构分类和叶尖预测；Step6：利用风电机组结构约束条件，修正分类错误的风电机组结构类别；Step7：当视野中存在多个风电机组时，在检测结果中排除非感兴趣目标。前述的风电机组叶片无人机自动感知识别方法，其特征在于，在Step1中，无人机搭载相机，控制无人机以平飞视角拍摄风电机组叶片全景图像，在拍摄过程中，无人机环绕风电机组飞行，确保拍摄到风电机组各个角度的影像。前述的风电机组叶片无人机自动感知识别方法，其特征在于，在Step2中，风机数据集总共包含：不同风电机组在不同角度、不同环境条件下的2000张大小为4000×2250像素的高清图像，前述环境条件包括：天气、光照，标注前先将采集到的高清图像降采样至1280×720像素。前述的风电机组叶片无人机自动感知识别方法，其特征在于，在Step4中，采用MaskR-CNN神经网络对风机数据集进行训练，获取网络训练模型，具体方法为：(1)获取训练根路径并加载coco预训练权重；(2)加载风机数据集，建立模型并设定权重初始化方式以及超参数；(3)加载VIA标记的标记文件并生成mask；(4)修改配置函数，适配风机数据集；(5)执行训练，显示结果。前述的风电机组叶片无人机自动感知识别方法，其特征在于，在Step5中，利用训练好的网络训练模型对未知的叶片图像进行风电机组结构分类和叶尖预测，具体方法为：(1)加载模块以及载入训练好的模型权重；(2)根据自己训练时的配置，从Config类中继承创建一个新类，并在该类中新建一个专门用于预测的类；(3)载入风机图像进行风电机组结构分类和叶尖的预测。前述的风电机组叶片无人机自动感知识别方法，其特征在于，在Step7中，采用目标风电机组在图像中占的面积是最大的原则进行非目标滤波，具体按照杆塔在图像中的面积进行过滤，然后再过滤未连接在杆塔上的叶片和叶尖。本专利技术的有益之处在于：(1)本专利技术采用MaskR-CNN神经网络进行叶片、叶尖识别，所以较传统计算机视觉算法更加稳定；(2)本专利技术对MaskR-CNN神经网络进行了修改，增加了修正条件，所以对叶片、叶尖具有较高的识别准确率；(3)在无人机视觉巡检过程中引入人工智能，弥补了无人机智巡检行业的智能化的空白，所以对整个行业起到了积极的作用。附图说明图1是本专利技术提供的风电机组叶片无人机自动感知识别方法的主要工作流程图；图2是创建的风机数据集及风电机组主要结构的标注示意图；图3是MaskR-CNN神经网络的框架结构图；图4是网络头的结构图。具体实施方式以下结合附图和具体实施例对本专利技术作具体的介绍。本专利技术提供的风电机组叶片无人机自动感知识别方法，设计思路是：首先创建风机数据集，然后采用MaskR-CNN神经网络对提供的风机数据集进行训练，获取网络训练模型，最后通过训练好的网络训练模型对未知图片进行分类、识别。本专利技术提供的风电机组叶片无人机自动感知识别方法，参照图1，具体包括以下步骤：Step1：在不同角度、不同环境条件下采集风电机组叶片全景图像无人机搭载相机，控制无人机以平飞视角拍摄风电机组叶片全景图像，在拍摄过程中，无人机环绕风电本文档来自技高网...

【技术保护点】
1.一种风电机组叶片无人机自动感知识别方法，其特征在于，包括以下步骤：Step1：在不同角度、不同环境条件下采集风电机组叶片全景图像；Step2：创建风机数据集，并标注风电机组的主要结构，风电机组的主要结构共分4类，分别为：杆塔、毂、叶片和叶尖，标注叶片时，采用可以旋转的标注框，在记录四个点坐标的同时，生成覆盖整个矩形区域的Mask，标注叶尖时，创建一个尺寸约为60×60像素的标注框，并使该标注框的中心正好位于叶尖；Step3：搭建Mask R‑CNN神经网络；Step4：采用Mask R‑CNN神经网络对风机数据集进行训练，获取网络训练模型；Step5：利用训练好的网络训练模型对未知的叶片图像进行风电机组结构分类和叶尖预测；Step6：利用风电机组结构约束条件，修正分类错误的风电机组结构类别；Step7：当视野中存在多个风电机组时，在检测结果中排除非感兴趣目标。

【技术特征摘要】
1.一种风电机组叶片无人机自动感知识别方法，其特征在于，包括以下步骤：Step1：在不同角度、不同环境条件下采集风电机组叶片全景图像；Step2：创建风机数据集，并标注风电机组的主要结构，风电机组的主要结构共分4类，分别为：杆塔、毂、叶片和叶尖，标注叶片时，采用可以旋转的标注框，在记录四个点坐标的同时，生成覆盖整个矩形区域的Mask，标注叶尖时，创建一个尺寸约为60×60像素的标注框，并使该标注框的中心正好位于叶尖；Step3：搭建MaskR-CNN神经网络；Step4：采用MaskR-CNN神经网络对风机数据集进行训练，获取网络训练模型；Step5：利用训练好的网络训练模型对未知的叶片图像进行风电机组结构分类和叶尖预测；Step6：利用风电机组结构约束条件，修正分类错误的风电机组结构类别；Step7：当视野中存在多个风电机组时，在检测结果中排除非感兴趣目标。2.根据权利要求1所述的风电机组叶片无人机自动感知识别方法，其特征在于，在Step1中，无人机搭载相机，控制无人机以平飞视角拍摄风电机组叶片全景图像，在拍摄过程中，无人机环绕风电机组飞行，确保拍摄到风电机组各个角度的影像。3.根据权利要求1所述的风电机组叶片无人机自动感知识别方法，其特征在于，在Step2中，风机数据集总共包含：不同风电机组在不同角度、不同环境条件下的2000张大小为40...

【专利技术属性】
技术研发人员：李峥嵘，刘月娥，
申请(专利权)人：李峥嵘，刘月娥，
类型：发明
国别省市：陕西,61