一种基于纯视觉的保持风机叶片位于相机视野中间的方法技术

一种基于纯视觉的保持风机叶片位于相机视野中间的方法，它提供了一种在无人机上挂载电控云台，通过云台来控制高分辨率相机的拍摄角度从而用于跟踪叶片，使之保持在相机视野中间的技术，其目的是为了解决现有的叶片图像拍摄里不能始终保持风机叶片位于相机视野中间而导致的不利于准确拼接和有效识别叶片的问题。题。题。

【技术实现步骤摘要】
一种基于纯视觉的保持风机叶片位于相机视野中间的方法


[0001]本专利技术属于图像处理
，具体涉及一种利用无人机对新能源风机叶片进行巡检，并通过挂载电控云台和在云台上安装相机来对风机叶片进行缺陷识别或者图像拼接的技术，尤其涉及一种基于纯视觉的保持风机叶片位于相机视野中间的方法。

技术介绍

[0002]风力发电机是一种电力设备，工作时将风能转变为机械能，机械能带动转子旋转，最终输出交流电。风力发电机在长期运行过程中，叶片表面会产生各种损伤，例如叶片油污，裂纹，掉漆，雷击等，传统的风机运维任务常常需要工作人员爬上风力发电机进行人工检测。
[0003]而现阶段的新能源风机叶片运维任务常常使用无人机来代替人工进行自动化巡检，无人机通过挂载电控云台和在云台上安装相机来对风机叶片进行缺陷识别或者图像拼接。由于叶片巨大，无人机需要在距离叶片十米左右的位置处沿着叶片中轴线方向进行移动和图像拍摄。无人机在飞行时往往主要是为了控制无人机和叶片之间保持一个较为安全的距离，但却无法保证叶片始终保持在相机视野中间。如果采集的叶片区域图像偏离相机的视野中央，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于纯视觉的保持风机叶片位于相机视野中间的方法，其特征在于，它包括以下步骤：步骤1：使用相机对处于正前方的风机叶片拍摄，对视频流中初始阶段的初始目标帧图像进行分割，提取图像中叶片区域的中轴线并在中轴线上找到两个特殊点P
a
和P
b
作为感兴趣区域的定位点，同时根据叶片区域宽度大小预设一个宽度值width，而对于视频流的后续图像帧，将其由RGB色彩空间转变到HSV色彩空间；步骤2：对于步骤1设定的定位点位置信息和宽度信息，计算风机叶片区域内部的矩形感兴趣区域，通过遍历该矩形感兴趣区域的HSV颜色空间各通道数值来设定要分割的HSV各通道阈值范围；步骤3：根据步骤2设定的阈值范围，在当前图像帧上找到属于风机叶片区域的外轮廓；步骤4：在最终的轮廓分割图上计算叶片的左侧边缘线，右侧边缘线，并计算出叶片区域的中轴线和叶片区域的中心点，从而根据叶片区域的中心点和图像中间点之间的偏移量来调整电控云台的姿态，实现相机拍摄角度的调整。2.根据权利要求1所述的方法，其特征在于，在步骤2中，在设定要分割的HSV各通道阈值范围时，采用以下步骤：步骤2.1：连接P
a
和P
b
两个特殊点计算其单位向量和对应的垂向量，再根据图像上风机叶片宽度值的大小选取一个合适的矩形感兴趣区域宽度width，分别计算出左上端点右上端点和左下端点右下端点的位置，由这四个位置点确定矩形范围，该矩形范围属于图像风机叶片区域内部；步骤2.2：对由步骤2.1计算得到的矩形区域，对该区域上各个像素点的HSV通道数值进行遍历，确定H通道的最小最大值low
H
和max
H
，S通道上的最小最大值low
S
和max
S
，V通道上的最小最大值low
V
和max
V
，这三对数值设置为该图像帧上的HSV颜色空间分割阈值范围。3.根据权利要求1所述的方法，其特征在于，在步骤3中，在找到属于风机叶片区域的外轮廓时，采用以下步骤：步骤3.1：首先遍历图像各个像素点，如果该像素点上的HSV通道各个通道数值满足如下条件，则保留该像素点，否则该像素点不予考虑，将通道数值改为(0，0，0)，其中，H
(i,j)value
，S
(i,j)value
和V
(i,j)value
分别表示图像第i行第j列的像素点在HSV颜色空间上各通道的具体数值大小；步骤3.2：由步骤3.1可得到初步分割后的图像，之后再对该图采用形态学方法进行后处理，对图像做先腐蚀后膨胀的开运算，消除多余的杂点和噪声点；再对图像做先膨胀后腐蚀的闭运算来填补内部空洞，基于风机叶片所占平面图像空间最多这一先验信息，寻找最大连通域并保留，以此作为最终的图像分割结果。4.根据权利要求1所述的方法，其特征在于，在步骤4中，在计算叶片中轴线与中轴线中间点位置时，采用以下步骤：步骤4.1：逐行从左到右遍历分割图，所遇到的第一个不为(0，0，0)通道数值的像素点
记为左边缘点，加入左边缘点集合，而所遇到的最后一个不为(0，0，0)通道数值的像素点记为右边缘点，加入右边缘点集合；步骤4.2：对由步骤4.1遍历图像得到的左边缘点集合采用最小二乘法拟合出直线参数(斜率k和截距b)，根据直线方程的参数，计算直线与图像边缘的上交点和下交点位置，设叶片左边缘直线与图像边缘的相交点分别为P
left1
和P
left2
，在图像上连接P
left1
和P
left2
即可得到风机叶片的左侧边缘直线；步骤4.3：同步骤4.2，对右边缘点集合采用相同的处理方法，可以得到叶片边缘直线与图像边缘的相交点P
right1
和P
right2
，在图像上连接P
right1
和P
right2
即可得到风机叶片的右侧边缘直线；步骤4.4：根据由步骤4.2和步骤4.3计算得到的风机叶片左侧边缘直线和右侧边缘直线的各自斜率正负关系，对同属于图像上半边位置的左右侧直线边缘相交点加和取中得到风机叶片中轴线上某点P
Mid1
，并计算这对相交点之间的距离，记为叶片上宽度upWidth；对同属于图像下半边位置的左右侧直线边缘相交点加和取中得到风机叶片中轴线上某点P
Mid2
，并计算这对相交点之间的距离，记为叶片下宽度downWidth；根据P
Mid1
和P
Mid2
这两点的位置信息，采用计算叶片左右侧边缘直线的方法来计算和绘制中轴线的位置,同时根据图像叶片的上宽度upWidth和下宽度downWidth来计算下一帧图像新的矩形区域宽度width，确保无人机在沿叶片巡检飞行时能够根据叶片宽度实时调整；步骤4.5：取叶片中轴线与图像边缘交点的连线中点作为叶片区域的中心点，进而根据叶片区域的中心点和叶片采集图像的中心之间的偏移量来调整电控云台，实现相机拍摄...

【专利技术属性】
技术研发人员：李哲，郑开元，汤鹏，周登科，史凯特，于傲，张亚平，
申请(专利权)人：中国长江三峡集团有限公司，
类型：发明
国别省市：