一种风机叶片的红外图像拼接方法及装置制造方法及图纸

本发明专利技术公开了一种风机叶片的红外图像拼接方法及装置。与现有技术相比，本发明专利技术通过无人机的飞行速度信息来求取风力发电机叶片两张图像之间的平移量，然后在平移对齐的基础上完成风机叶片图像的拼接，克服了风力发电机叶片上特征稀疏的难题，拼接结果可靠。拼接结果可靠。拼接结果可靠。

【技术实现步骤摘要】
一种风机叶片的红外图像拼接方法及装置


[0001]本专利技术涉及图像拼接
，具体涉及一种风机叶片的红外图像拼接方法及装置。

技术介绍

[0002]传统技术中主要依靠望远镜与吊篮人工来检查风机叶片的受损情况。望远镜检查精度低，吊篮检查时间长、费用高。为此，公布号为CN112360699A的中国专利技术专利公开了一种全自动风力发电机组叶片智能巡视及诊断分析方法，该专利提出了一种采用无人机对风力发电机组叶片自动巡检及诊断的整套方案，其中为跟踪叶片采用了语义分割、目标识别等技术，并在采集后使用图像拼接技术验证巡检采集数据的完整性。通过NCC算法，待匹配图像B断面边界部分按叶片倾斜角度在模版图像A上移动，根据NCC计算图像相似度进行模版粗匹配；此后使用特征提取及形状面积熵匹配获得两图最佳位置关系。
[0003]以上专利是采用无人机拍摄的可见光图像，此类图像特征明显、纹理清晰，使用NCC算法、特征提取算法配准可以取得有效的成果。然而，叶片在运行期间难免形成鼓包、裂纹、积水等内部缺陷，这些缺陷用可见光相机难以识别，只能通过红外光图像来进行识别。另一方面，受限于红外传感器的分辨率，红外图像具有弱纹理特征，以上专利中的图像拼接方法不适于用来处理红外光图像。

技术实现思路

[0004]为解决
技术介绍
中现有图像拼接方法不适用于风机叶片的红外巡检的问题，本专利技术提供了一种风机叶片的红外图像拼接方法，具体技术方案如下。
[0005]一种风机叶片的红外图像拼接方法，包括如下步骤：
[0006]S1、根据如下公式计算出初始帧图像与下一帧图像之间的新增像素量Q：
[0007][0008]其中，V为无人机的飞行速度，T为初始帧图像与下一帧图像之间的时间间隔，P为无人机的红外镜头的对角线像素量，d为无人机的红外镜头与叶片之间的距离，α为无人机的红外镜头的对角线视场角；
[0009]S2、在下一帧图像的像素坐标系下，根据所述新增像素量Q在所述下一帧图像中剪裁出有效拼接区域R；所述有效拼接区域R为X
left
与X
right
之间的区域，其中X
right
为所述下一帧图像中风机叶片的上、下边界中长度较短边界的右端点所对应的横坐标值，X
left
＝X
right
‑
Q；所述像素坐标系为以图像的左上角顶点为坐标原点，水平向右为X轴的正方向，竖直向下为Y轴的正方向构建的坐标系；
[0010]S3、根据如下公式计算出l
j
′
与l1之间的索引距离值o
j
‑1：
j＝1，2，3
…
，(n
‑
i+1)，得到索引距离值列表O＝[o0o1o2…
o
n
‑
i
‑2o
n
‑
i
‑1o
n
‑
i
]；
[0011]其中，l
j
′
为l中第j个像素值至第j+i个像素值构成的像素值列表片段；l为有效拼接区域R第一列的像素值列表，l＝[v
0 v
1 v2ꢀ…ꢀ
v
n
‑
3 v
n
‑
2 v
n
‑1]；l1为初始帧图像最后一列像素值中位于风机叶片的上边界或下边界附近的像素值列表片段，l1＝[v
′
0 v
′
1 v
′2ꢀ…ꢀ
v
′
i
‑
3 v
′
i
‑
2 v
′
i
‑1]；n为有效拼接区域R第一列中像素点的数量，i为列表片段中像素点的数量，10≤i≤30；
[0012]S4、找到索引距离值列表O中的最小值，该最小值对应的像素值列表l2即为l中与l1相匹配的像素值列表片段；l2＝[v
″
0 v
″
1 v
″2ꢀ…ꢀ
v
″
i
‑
3 v
″
i
‑
2 v
″
i
‑1]；
[0013]S5、在初始帧图像的像素坐标系下，使v
′0的坐标与v
″0的坐标对齐，完成初始帧图像与下一帧图像的拼接；
[0014]S6、以拼接后的图像作为新的初始帧风机叶片图像，重复步骤S1－S5，直至完成完整风机叶片图像的拼接。
[0015]上述方法通过无人机的飞行速度信息来求取风力发电机叶片两张图像之间的平移量，然后在平移对齐的基础上完成风机叶片图像的拼接，克服了红外图像因弱纹理特征而难以拼接的问题，克服了风力发电机叶片上特征稀疏的难题，拼接结果可靠。
[0016]无人机实际飞行中，叶片形状弯曲可能导致镜头与目标的距离不断改变，使得图像中局部叶片的大小出现变化，此时则需要引入缩放系数来进行修正。
[0017]优选地，v
′0的坐标与v
″0的坐标对齐之后还包括如下步骤：
[0018]S41、根据如下公式计算出缩放系数S：用缩放系数S对所述下一帧图像的大小进行修正；其中，h为初始帧图像最后一列像素值中风机叶片的上、下边界的坐标值之差；h
’
为有效拼接区域R第一列的像素值中风机叶片的上、下边界的坐标值之差。
[0019]优选地，所述S1之前还包括如下步骤：
[0020]S01、采用U
‑
Net语义分割算法对无人机获取的风机叶片的红外图像进行处理，得到叶片前景掩膜图像；
[0021]S02、将叶片前景掩膜图像中的物体掩膜部分三通道像素值大小均改为1，背景色均为改为0；
[0022]S03、将处理后的叶片前景掩膜图像与原始图像进行乘法运算，得到叶片前景图像；
[0023]S04、对叶片前景图像进行旋转处理，使所有叶片前景图像中的叶片统一朝向水平方向。
[0024]专利技术人经大量实验发现，相比较传统阈值分割，U
‑
Net语义分割算法能够实现像素级的分割效果，输出掩膜图像完美提取出前景中的叶片，并且背景噪声影响被完全消除。
[0025]优选地，对叶片前景图像进行旋转处理具体包括如下步骤：
[0026]S041、对叶片前景掩膜图像进行边界检测，得到叶片边界特征线；
[0027]S042、根据叶片边界特征线提取出叶片的上、下边界线，对上、下边界线进行求和
取平均，获得叶片中线；
[0028]S043、通过多项式拟合求得叶片中线的函数表达式，据此计算出叶片的旋转角度；
[0029]S044、根据叶片的旋转角度对叶片前景图像进行旋转处理。
[0030]基于相同的专利技术构思，本专利技术还提供一种风机叶片的红外图像拼接装置，包括计算机设备，该计算机设备被配置为用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种风机叶片的红外图像拼接方法，包括如下步骤：S1、根据如下公式计算出初始帧图像与下一帧图像之间的新增像素量Q：其中，V为无人机的飞行速度，T为初始帧图像与下一帧图像之间的时间间隔，P为无人机的红外镜头的对角线像素量，d为无人机的红外镜头与叶片之间的距离，α为无人机的红外镜头的对角线视场角；S2、在下一帧图像的像素坐标系下，根据所述新增像素量Q在所述下一帧图像中剪裁出有效拼接区域R；所述有效拼接区域R为X
left
与X
right
之间的区域，其中X
right
为所述下一帧图像中风机叶片的上、下边界中长度较短边界的右端点所对应的横坐标值，X
left
＝X
right
‑
Q；所述像素坐标系为以图像的左上角顶点为坐标原点，水平向右为X轴的正方向，竖直向下为Y轴的正方向构建的坐标系；S3、根据如下公式计算出l
j
′
与l1之间的索引距离值o
j
‑1：j＝1，2，3
…
，(n
‑
i+1)，得到索引距离值列表O＝[o
0 o
1 o2…
o
n
‑
i
‑
2 o
n
‑
i
‑
1 o
n
‑
i
]；其中，l
j
′
为l中第j个像素值至第j+i个像素值构成的像素值列表片段；l为有效拼接区域R第一列的像素值列表，l＝[v
0 v
1 v2…
v
n
‑
3 v
n
‑
2 v
n
‑1]；l1为初始帧图像最后一列像素值中位于风机叶片的上边界或下边界附近的像素值列表片段，l1＝[v
′
0 v
′
1 v
′2…
v
′
i
‑
3 v
′
i
‑
2 v
′
i
‑1]；n为有效拼接区...

【专利技术属性】
技术研发人员：李杰，李时华，何赟泽，王洪金，高毓欣，李顺，张帆，刘昊，
申请(专利权)人：中国电建集团中南勘测设计研究院有限公司，
类型：发明
国别省市：