一种基于视觉感知的风力发电机测量方法、装置以及设备制造方法及图纸

本申请提供了一种基于视觉感知的风力发电机测量方法、装置以及设备，用于基于视觉感知技术，稳定且高精度地检测风力发电机的桨叶叶尖点，为后续的风力发电机的姿态处理还有巡检线路的规划提供精确的数据支持。方法包括：获取无人机从风力发电机处采集的图像；将图像输入预先配置的桨叶叶尖点检测模型，以识别图像中的桨叶叶尖点，其中，桨叶叶尖点检测模型是由风力发电机全貌图与桨叶叶尖点掩膜组成图像掩膜对，训练初始模型识别输入图像的桨叶叶尖点得到的，并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数；提取桨叶叶尖点检测模型输出的桨叶叶尖点检测结果，桨叶叶尖点检测结果以坐标形式进行配置。行配置。行配置。

【技术实现步骤摘要】
一种基于视觉感知的风力发电机测量方法、装置以及设备


[0001]本申请涉及风力发电领域，具体涉及一种基于视觉感知的风力发电机测量方法、装置以及设备。

技术介绍

[0002]风能是一种清洁的可再生能源，开发风能对于改善能源结构、缓解能源压力、保护环境等意义重大。近些年，风力发电机机组在我国得到了广泛的应用，但由于风力发电机机组通常处于野外，环境条件恶劣，容易出现故障，需定期对风力发电机进行检修，以保证风力发电机的可靠运作。但风力发电机地处偏远，人工巡检不仅存在安全性差、工作量大、效率低等问题，而且受观测方式影响，不能全面排查问题。
[0003]传统技术中通常借助望远镜、地面高倍相机、吊篮等设备使用人工手动进行风力发电机叶片巡检。望远镜观察，一次只能观察叶片的下表面；另外人员巡检有视线盲区，再加上叶片表面油渍，污垢，积沙尘等遮盖，从地面用望远镜很难发现。另外地面观察容易形成误诊，比如叶片磨蚀形成麻面后吸附的静电灰尘，往往会被误认为是漏油产出的积灰现象。吊篮高空作业可以准确判断叶片表面情况，但是吊篮巡检需要时间久，对环境条件要求也比较苛刻，必须使得叶片垂直向下，一次只能巡检一片叶片。且吊篮高空作业对天气环境等敏感，大风、下雨等都不能登高作业。而通过无人机进行自动巡检，能够很好地的代替人工进行检测。
[0004]然而现有技术中的自动巡检往往是通过提前规划巡检路径来实现，但由于风力发电机停机检修状态不一致，需对风力发电机进行重新建模，导致增加了巡检的工作量，因此，结合先进的数字图像处理技术和计算机视觉理论，感知复杂环境下目标风力发电机的位置成为无人机风力发电机巡检系统中至关重要的环节，由此可见，在利用无人机对风力发电机进行巡检的过程中，能够顺利完成巡检任务的关键在于确定风力发电机的位置，从而为无人机的路径规划提供参考依据。
[0005]而在现有的相关技术的研究过程中，专利技术人发现，现有基于无人机测量风力发电机的位置及其姿态时，存在本身精度不高的问题或者存在易受应用条件影响而导致不精确的问题。

技术实现思路

[0006]本申请提供了一种基于视觉感知的风力发电机测量方法、装置以及设备，用于基于视觉感知技术，稳定且高精度地检测风力发电机的桨叶叶尖点，为后续的风力发电机的姿态处理还有巡检线路的规划提供精确的数据支持。
[0007]第一方面，本申请提供了一种基于视觉感知的风力发电机测量方法，方法包括：获取无人机从风力发电机处采集的图像；将图像输入预先配置的桨叶叶尖点检测模型，以识别图像中的桨叶叶尖点，其中，桨叶叶尖点检测模型是由风力发电机全貌图与桨叶叶尖点掩膜组成图像掩膜对，训
练初始模型识别输入图像的桨叶叶尖点得到的，并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数；提取桨叶叶尖点检测模型输出的桨叶叶尖点检测结果，桨叶叶尖点检测结果以坐标形式进行配置。
[0008]第二方面，本申请提供了一种基于视觉感知的风力发电机测量装置，装置包括：获取单元，用于获取无人机从风力发电机处采集的图像；检测单元，用于将图像输入预先配置的桨叶叶尖点检测模型，以识别图像中的桨叶叶尖点，其中，桨叶叶尖点检测模型是由风力发电机全貌图与桨叶叶尖点掩膜组成图像掩膜对，训练初始模型识别输入图像的桨叶叶尖点得到的，并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数；提取单元，用于提取桨叶叶尖点检测模型输出的桨叶叶尖点检测结果，桨叶叶尖点检测结果以坐标形式进行配置。
[0009]第三方面，本申请提供了一种基于视觉感知的风力发电机测量设备，包括处理器和存储器，存储器中存储有计算机程序，处理器调用存储器中的计算机程序时执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
[0010]第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行本申请第一方面或者本申请第一方面任一种可能的实现方式提供的方法。
[0011]从以上内容可得出，本申请具有以下的有益效果：针对于风力发电机的位置检测，本申请配置了一桨叶叶尖点检测模型，其是由风力发电机全貌图与桨叶叶尖点掩膜组成图像掩膜对，训练初始模型识别输入图像的桨叶叶尖点得到的，并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数，基于该模型检测输入图像中的风力发电机桨叶叶尖点的过程中，由于同时应用风力发电机基本参数与关键点检测模型识别结果，降低了完全依赖人工智能模型的风险，实现数据间相互纠偏，通过像素级位置检测，降低了信息冗余，使
技术实现思路
更贴近业务场景，引入人工智能算法提升了对复杂场景的适应性，从而可以基于视觉感知技术，稳定且高精度地检测风力发电机的桨叶叶尖点，为后续的风力发电机的姿态处理还有巡检线路的规划提供精确的数据支持。
附图说明
[0012]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0013]图1为本申请基于视觉感知的风力发电机测量方法的一种流程示意图；图2为本申请风力发电机的一种结构示意图；图3为本申请桨叶叶尖点检测模型的一种检测流程示意图；图4为本申请图像细化处理的一种实例示意图；
图5为本申请三角测量原理的一种场景示意图；图6为本申请风力发电机机舱偏航角计算处理的一种场景示意图；图7为本申请风力发电机桨叶旋转角计算处理的一种场景示意图；图8为本申请风力发电机参数测量处理的一种场景示意图；图9为本申请拍摄距离计算处理的一种场景示意；图10为本申请无人机的航线规划处理的一种场景示意图；图11为本申请基于视觉感知的风力发电机测量方法的一种场景示意图；图12为本申请基于视觉感知的风力发电机测量装置的一种结构示意图；图13为本申请基于视觉感知的风力发电机测量设备的一种结构示意图。
具体实施方式
[0014]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0015]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉感知的风力发电机测量方法，其特征在于，所述方法包括：获取无人机从风力发电机处采集的图像；将所述图像输入预先配置的桨叶叶尖点检测模型，以识别所述图像中的桨叶叶尖点，其中，所述桨叶叶尖点检测模型是由风力发电机全貌图与桨叶叶尖点掩膜组成图像掩膜对，训练初始模型识别输入图像的桨叶叶尖点得到的，并于训练过程中计算关键点的检测结果来计算损失函数数值以此优化模型参数；提取所述桨叶叶尖点检测模型输出的桨叶叶尖点检测结果，所述桨叶叶尖点检测结果以坐标形式进行配置。2.根据权利要求1所述的方法，其特征在于，所述桨叶叶尖点检测模型的模型三层结构分别为特征抽取重组层、非线性映射层及关键点检测重组层；所述特征抽取重组层使用单层卷积结构，使用尺寸为的卷积核，偏置项矢量为，用于抽取输入图像中的特征，并将特征重组为特征矩阵，以用于非线性映射；所述非线性映射层使用尺寸为的卷积核，偏置项矢量为，用于将所述特征抽取重层输出的特征重映射为所述关键点检测重组层的所需特征；所述关键点检测重组层使用尺寸为的卷积核，偏置项矢量为，用于将重映射后的特征转换为关键点检测预测矩阵，并使用Sigmoid算法将关键点检测预测矩阵转换为关键点检测预测掩膜；所述特征抽取重组层、所述非线性映射层、所述关键点检测重组层以及所述Sigmoid算法的数学定义为：。3.根据权利要求2所述的方法，其特征在于，所述关键点检测重组层涉及热力图的处理，所述关键点检测重组层对桨叶叶尖点热力图使用图像细化处理后，获取叶尖点像素坐标，并将桨叶叶尖点像素坐标转化为桨叶叶尖点实际坐标，所述图像细化处理过程中依据目标点周边的8个相邻点的情况来判断该点是否可以去除，对应判据策略包括：内部点不能删除；孤立点不能删除；直线端点不能删除；如果去掉所述目标点后，连通分量不增加，则删除所述目标点。
4.根据权利要求3所述的方法，其特征在于，所述桨叶叶尖点像素坐标转化为所述桨叶叶尖点实际坐标的处理包括以下内容：设成像中心矢量为，其中：，为图像纵向分辨率，为图像横向分辨率，为相机dfov角度，设桨叶叶尖点像素坐标相对成像中心所矢量为，其中：，设桨叶叶尖点实际坐标相对视中心矢量为，其中：
；设中心矢量，其中：，为第个航路点无人机云台旋转角，为第个航路点无人机云台俯仰角，为第个航路点无人机云台偏航角，设全貌图中所述桨叶叶尖点像素坐标与所述成像中心所形成的夹角，与航线点、所述桨叶叶尖点实际坐标和所述视中心三者所形成的夹角相等，其中：，基于上式应用三角测量定位求解，求得所述桨叶叶尖点实际坐标。5.根据权利要求1所述的方法，其特征在于，所述桨叶叶尖点检测结果具体包括风力发电机桨叶叶尖点，，所述方
法还包括：通过下式计算当前风力发电机机舱朝向矢量，计算方式如下：，为风力发电机机舱中心点X坐标，为风力发电机机舱中心点Y坐标，为风力发电机机舱中心点Z坐标，n为航路点序号；默认风力发电机机舱处于初始状态时，机舱朝向矢量朝向正南方向，结合所述风力发电机桨叶叶尖点和所述当...

【专利技术属性】
技术研发人员：粟骏龙，凌飞，袁鑫，陈晓健，周妙林，刘扬，王进米，刘鑫，吴飞，唐兴智，吕静静，
申请(专利权)人：广东数字生态科技有限责任公司，
类型：发明
国别省市：