一种风机不停机巡检叶片跟踪算法及系统技术方案

本发明专利技术涉及风机控制算法领域，尤其涉及一种风机不停机巡检叶片跟踪算法及系统，包括步骤S1，通过长视频对象分割模型XMem跟踪后续帧中风机图像中的风机，进行语义分割产生mask图；步骤S2，计算筛选出边界点集中相邻点的垂线与轮廓的最长交线段及对应的垂线方程，确定出满足预设条件的两条垂线并确定交点，交点为风机的中心点；步骤S3，对每个叶片关键点进行位置偏移和变化分析，以实现对叶片关键点的准确跟踪。本发明专利技术能够对风机叶片进行精确分割和跟踪，通过准确提取叶片的边缘、关键点和形态信息，实现对于叶片的精细定位，提高跟踪时候的准确性和稳定性，避免了停机和人工干预，减少了人工巡检的工作量和维护成本，降低了人为因素带来的误判和风险。因素带来的误判和风险。因素带来的误判和风险。

【技术实现步骤摘要】
一种风机不停机巡检叶片跟踪算法及系统


[0001]本专利技术涉及风机控制算法领域，尤其涉及一种风机不停机巡检叶片跟踪算法及系统。

技术介绍

[0002]随着可再生能源的重要性日益凸显，风能产业进入了快速发展的阶段，风机作为风能转换设备的核心部件，为了获得更强大的风能资源，提高发电效率，风机的塔架高度逐渐增加，且风机的尺寸也在逐渐增大，所以确保风电机组叶片运行在安全稳定的范围内是确保风力发电系统运行安全且有效的重要措施第一。而传统的风机巡检需要停机或者人工巡检，不仅费时费力，无法实时监测风机叶片的运行状况，还会导致发电能力下降和生产损失，所以本专利技术提出不停机巡检的概念，在风机运行过程中，通过图像处理和计算机视觉技术实时跟踪风机叶片的状态，目标是及时发现潜在的故障和异常情况，提高风机的运行效率和可靠性。

技术实现思路

[0003]本专利技术的目的是针对上述技术问题，用于实现风机不停机巡检时风机叶片的跟踪，包括以下步骤：
[0004]步骤S1，对预获取的风机叶片旋转过程视频进行帧采样，采用第一帧风机图像和对应的mask图作为初始信息，在mask图中，将风机和风机背景分割开来，确定风机在风机图像中的位置，通过长视频对象分割模型XMem跟踪后续帧中风机图像中的风机，进行语义分割产生mask图；
[0005]步骤S2，通过目标检测算法获取mask图中风机的轮廓的点集并执行凸包算法进行求解获得轮廓的点集的边界点集，计算筛选出边界点集中相邻点的垂线与轮廓的最长交线段及对应的垂线方程，确定出满足预设条件的两条垂线并确定交点，交点为风机的中心点；
[0006]步骤S3，通过边缘检测获取mask图中风机的边缘点集，通过凸包算法提取边缘点集构成的最大轮廓，进而计算最大轮廓的最小外接多边形，确定最小外接多边形的重心与风机的中心点的最小距离，进而确定风机的叶片关键点，进而对每个叶片关键点进行位置偏移和变化分析，以实现对叶片关键点的准确跟踪。
[0007]进一步地，通过长视频对象分割模型XMem跟踪后续帧中风机图像中的风机，进行语义分割产生mask图，包括，
[0008]特征储存池初始化，特征储存池包括长期记忆池、工作记忆池和敏感记忆池；
[0009]特征信息读取和分割，通过长期记忆池、工作记忆池和敏感记忆池对后续帧中的风机图像读取特征信息，特征信息用于生成风机图像对应的mask图；
[0010]特征储存池更新，在特征信息读取和分割的过程中，特征储存池根据不同的频率的更新特征储存池中的长期记忆池、工作记忆池和敏感记忆池。
[0011]进一步地，特征储存池更新包括；
[0012]每一帧更新敏感记忆池；敏感记忆池用于存储每一帧的特征信息，用于确保每一帧上的特征信息得到存储，并作为语义分割的数据源；
[0013]每隔预设帧数更新工作记忆池；工作记忆池根据预设帧数更新时，将当前帧的特征信息与已存储的工作记忆池的特征信息合并；
[0014]当工作记忆池达到设定的帧数时，将工作记忆池中的特征信息整合到长期记忆池中，当长期记忆池的存储空间已满，删除过时的特征以保证CPU的使用率。
[0015]进一步的，步骤S2包括，
[0016]计算边界点集中相邻点的垂线与轮廓的交线断长度，筛选出最长的交线段及对应的垂线方程；
[0017]对当前帧中所有的垂线方程对应的最长交线段的长度进行排序；
[0018]判断排序后的前两条垂直方程构成的夹角是否大于45
°
且小于135
°
；
[0019]当满足条件时，前两条垂直方程对应的垂线的交点即为风机的中心点；
[0020]当不满足条件时，将第一条垂直方程与第三条垂直方程开始依次类推判断构成的夹角是否大于45
°
且小于135
°
，当夹角满足大于45
°
且小于135
°
，则两条垂直方程对应的垂线的交点即为风机的中心点。
[0021]进一步地，步骤S3中包括，
[0022]通过边缘检测获取风机与背景分割后的风机的边缘点集；
[0023]提取最大轮廓，通过凸包算法求边缘点集中构成的最大轮廓，最大轮廓对应风机的边界；
[0024]计算最小外接多边形，计算最大轮廓的最小外接多边形；
[0025]计算叶片关键点，在最小外接多边形中取组三边形计算重心，并与风机的中心点求最小距离，记最小距离的三边形的三点为叶片关键点。
[0026]进一步地，步骤S3中，跟踪叶片关键点进一步包括，
[0027]初始化叶片关键点的像素坐标，默认将第一帧中，三个叶片关键点的像素坐标作为初始位置；
[0028]计算距离和排序，对于后续帧，根据上一帧叶片关键点中三点的像素坐标，找到距离三点的像素坐标最近的叶片关键点的位置坐标，计算叶片关键点的位置坐标与三点的像素坐标的距离，并按照距离大小进行距离排序；
[0029]叶片关键点跟踪序号分配，选择距离排序最近的两个点，分配对应的叶片关键点的跟踪序号，第三个叶片关键点默认分配除一二两点外的跟踪序号，跟踪序号用来实现对于叶片关键点的跟踪；根据分配的跟踪序号，进而跟踪当前帧的风机的叶片位置。
[0030]基于相同的专利技术构思，本专利技术还提供了一种风机不停机巡检叶片跟踪系统，执行上述的风机不停机巡检叶片跟踪算法，包括，
[0031]风机识别及跟踪模块，对预获取的风机叶片旋转过程视频进行帧采样并识别跟踪视频帧中的风机，通过长视频对象分割模型XMem进行语义分割生成对应的mask图；
[0032]风机几何特征计算模块，通过凸包算法和垂线计算，找出满足条件的两条垂线，求出两条垂线的交点，确定风机的中心点；
[0033]风机叶片关键点跟踪模块；根据风机的中心点，提取风机的叶片关键点，以实现对叶片关键点的持续跟踪。
[0034]进一步地，风机识别及跟踪模块包括，
[0035]视频帧处理单元，对风机叶片旋转过程视频进行帧采样，并基于第一张风机图像和对应的mask图作为初始信息进行操作；
[0036]特征记忆管理单元，处理并更新长视频对象分割模型XMem中的特征记忆池，特征记忆池用于存储风机图像的特征信息，包括敏感记忆池、工作记忆池和长期记忆池；
[0037]风机跟踪分割单元，长视频对象分割模型XMem根据特征信息对后续帧中的风机图像进行语义分割产生对应的mask图。
[0038]进一步地，风机几何特征计算模块，包括，
[0039]轮廓提取单元，获取mask图中风机的轮廓的点集，通过凸包算法提取边界点集；
[0040]中心点计算单元，基于边界点集，计算筛选出边界点集中相邻点的垂线与轮廓的最长交线段以及对应的垂线方程，确定出满足预设条件的两条垂线并确定交点，交点为所述风机的中心点。
[0041]进一步地，风机叶片关键点跟踪模块，包括，
[0042]边缘检测单元，获取ma本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种风机不停机巡检叶片跟踪算法，其特征在于，包括以下步骤：步骤S1，对预获取的风机叶片旋转过程视频进行帧采样，采用第一帧风机图像和对应的mask图作为初始信息，在所述mask图中，将风机和风机背景分割开来，确定所述风机在所述风机图像中的位置，通过长视频对象分割模型XMem跟踪后续帧中所述风机图像中的所述风机，进行语义分割产生所述mask图；步骤S2，通过目标检测算法获取所述mask图中所述风机的轮廓的点集并执行凸包算法进行求解获得所述轮廓的点集的边界点集，计算筛选出所述边界点集中相邻点的垂线与所述轮廓的最长交线段及对应的垂线方程，确定出满足预设条件的两条所述垂线并确定交点，所述交点为所述风机的中心点；步骤S3，通过边缘检测获取所述mask图中所述风机的边缘点集，通过凸包算法提取所述边缘点集构成的最大轮廓，进而计算所述最大轮廓的最小外接多边形，确定所述最小外接多边形的重心与所述风机的中心点的最小距离，进而确定所述风机的叶片关键点，进而对每个所述叶片关键点进行位置偏移和变化分析，以实现对所述叶片关键点的准确跟踪。2.由权利要求1所述的风机不停机巡检叶片跟踪算法，其特征在于，通过长视频对象分割模型XMem跟踪后续帧中所述风机图像中的所述风机，进行语义分割产生所述mask图，进一步包括，特征储存池初始化，所述特征储存池包括长期记忆池、工作记忆池和敏感记忆池；特征信息读取和分割，通过所述长期记忆池、所述工作记忆池和所述敏感记忆池对所述后续帧中的所述风机图像读取特征信息，所述特征信息用于生成所述风机图像对应的所述mask图；所述特征储存池更新，在所述特征信息读取和分割的过程中，所述特征储存池根据不同的频率的更新所述特征储存池中的所述长期记忆池、所述工作记忆池和所述敏感记忆池。3.由权利要求2所述的风机不停机巡检叶片跟踪算法，其特征在于，所述特征储存池更新进一步包括；每一帧更新所述敏感记忆池；所述敏感记忆池用于存储每一帧的所述特征信息，用于确保每一帧上的所述特征信息得到存储，并作为所述语义分割的数据源；每隔预设帧数更新所述工作记忆池；所述工作记忆池根据预设帧数更新时，将当前帧的所述特征信息与已存储的所述工作记忆池的所述特征信息合并；当所述工作记忆池达到设定的帧数时，将所述工作记忆池中的所述特征信息整合到所述长期记忆池中，当所述长期记忆池的存储空间已满，删除过时的特征以保证CPU的使用率。4.由权利要求3所述的风机不停机巡检叶片跟踪算法，其特征在于，所述步骤S2进一步包括，计算所述边界点集中所述相邻点的所述垂线与所述轮廓的交线断长度，筛选出最长的所述交线段及对应的所述垂线方程；对所述当前帧中所有的所述垂线方程对应的所述最长交线段的长度进行排序；判断排序后的前两条所述垂直方程构成的夹角是否大于45
°
且小于135
°
；当满足条件时，前两条所述垂直方程对应的所述垂线的交点即为所述风机的中心点；
当不满足条件时，将第一条所述垂直方程与第三条所述垂直方程开始依次类推判断构成的所述夹角是否大于45
°
且小于135
°
，当所述夹角满足大于45
°
且小于135
°
，则两条所述垂直方程对应的所述垂线的交点即为所述风机的中心点。5.由权利要求1所述的风机不停机巡检叶片跟踪算法，其特征在于，所述步骤S3中进一步包括，通过所述边缘检...

【专利技术属性】
技术研发人员：肖素枝，郭兴旺，韩杨杨，周鑫磊，胡金磊，王海滨，
申请(专利权)人：星逻智能科技苏州有限公司，
类型：发明
国别省市：