一种风机叶片图像拼接方法、模型训练方法及装置制造方法及图纸

本发明专利技术涉及风机叶片图像拼接技术领域，公开了一种风机叶片图像拼接方法、模型训练方法及装置，一种风机叶片图像拼接模型训练方法包括获取风机叶片图像数据集；风机叶片图像数据集包括风机叶片原始图像、风机叶片标注图像和风机叶片图像拼接标准图；利用风机叶片图像数据集对待训练风机叶片图像拼接模型进行训练，生成目标风机叶片图像拼接模型；其中，待训练风机叶片图像拼接模型包括多任务学习模块、特征组合模块和混合权重预测模块；本发明专利技术可以提高风机叶片图像的拼接效率和精度。高风机叶片图像的拼接效率和精度。高风机叶片图像的拼接效率和精度。

【技术实现步骤摘要】
一种风机叶片图像拼接方法、模型训练方法及装置


[0001]本专利技术涉及风机叶片图像拼接
，具体涉及一种风机叶片图像拼接方法、模型训练方法及装置。

技术介绍

[0002]目前图像拼接方法主要针对全景图像的拼接，对于无人机拍摄的风力发电机叶片图像，由于存在图像数量多、光照条件多变等问题，相关技术对风机叶片图像的特征提取能力不足，对于风机叶片图像拼接任务增加了难度，导致对风机叶片图像的拼接效率和精度较低。因此如何提高风机叶片图像的拼接效率和精度成为亟待解决的技术问题。

技术实现思路

[0003]有鉴于此，本专利技术提供了一种风机叶片图像拼接方法、模型训练方法及装置，以解决如何提高风机叶片图像的拼接效率和精度的问题。
[0004]第一方面，本专利技术提供了一种风机叶片图像拼接模型训练方法，包括：获取风机叶片图像数据集；风机叶片图像数据集包括风机叶片原始图像、风机叶片标注图像和风机叶片图像拼接标准图；利用风机叶片图像数据集对待训练风机叶片图像拼接模型进行训练，生成目标风机叶片图像拼接模型；其中，待训练风机叶片图像拼接模型包括多任务学习模块、特征组合模块和混合权重预测模块；多任务学习模块用于对风机叶片原始图像分别进行叶片图像边缘检测处理、叶片图像分割处理和叶片图像深层特征提取处理，生成风机叶片边缘特征图、风机叶片区域特征图和风机叶片深层特征图；特征组合模块用于对风机叶片边缘特征图、风机叶片区域特征图和风机叶片深层特征图分别进行叠加处理和相似性检测处理，生成风机叶片组合特征图；混合权重预测模块用于基于风机叶片组合特征图进行风机叶片图像拼接，生成风机叶片图像拼接预测图。
[0005]本实施例提供的风机叶片图像拼接模型训练方法，提供了一种基于深度学习的风机叶片图像拼接模型训练方法，构建基于注意力机制的多任务学习模型，设计三个分支结构，同时实现叶片图像共享特征提取、边缘检测、叶片分割和图像深层特征提取，基于分割后的叶片图像，进行重叠区域检测和特征组合，构建混合权重预测模块进行图像融合参数计算，最后通过图像融合实现叶片图像的快速拼接；相较于传统基于特征点匹配的方法，准确率更高，鲁棒性更好，特别是面向于背景单一，叶片图像相似度高的情况，可实现更好的拼接效果，提高风机叶片图像的拼接效率和精度。
[0006]在一种可选的实施方式中，多任务学习模块，包括：共享特征提取单元，用于对风机叶片标注图像进行特征提取，生成风机叶片共享特征图；边缘检测单元，用于对风机叶片共享特征图进行叶片图像边缘检测处理，生成风机叶片边缘特征图；深层特征提取单元，用于对风机叶片共享特征图进行叶片图像深层特征提取处理，生成风机叶片深层特征图；叶片分割单元，用于对风机叶片共享特征图进行叶片图像分割处理，生成风机叶片区域特征图。
[0007]在一种可选的实施方式中，特征组合模块，包括：特征级联单元，用于对风机叶片边缘特征图、风机叶片区域特征图和风机叶片深层特征图进行叠加处理，生成风机叶片级联特征图；重叠区域检测单元，用于对风机叶片边缘特征图、风机叶片区域特征图和风机叶片深层特征图进行相似性检测处理，生成风机叶片相关性特征图，并将风机叶片级联特征图和风机叶片相关性特征图进行组合，生成风机叶片组合特征图。
[0008]在一种可选的实施方式中，特征级联单元，用于对风机叶片边缘特征图、风机叶片区域特征图和风机叶片深层特征图进行叠加处理，生成风机叶片级联特征图，风机叶片级联特征图的生成公式如下所示：
[0009]F
cat
＝F
fusion
([[F
1deep
,F
1edge
,f
1roi
],[F
2deep
,F
2edge
,F
2roi
]])
[0010]其中，F
cat
表示风机叶片级联特征图，F
fusion
为图像融合操作，F
1deep
，F
2deep
表示风机叶片原始图像中任意两幅图像的风机叶片深层特征图，F
1edge
，F
2edge
表示风机叶片原始图像中任意两幅图像的风机叶片边缘特征图，F
1roi
，F
2roi
表示风机叶片原始图像中任意两幅图像的风机叶片区域特征图，[
·
，
·
，
·
]表示连接操作。
[0011]在一种可选的实施方式中，重叠区域检测单元，还用于将风机叶片边缘特征图、风机叶片区域特征图和风机叶片深层特征图进行叠加，生成风机叶片混合特征图；
[0012]获取风机叶片混合特征图的像素值、风机叶片级联特征图的通道数和风机叶片相关性特征图的通道数；
[0013]基于风机叶片混合特征图的像素值、风机叶片级联特征图的通道数和风机叶片相关性特征图的通道数，对风机叶片混合特征图进行相似性检测处理，生成风机叶片相关性特征图。
[0014]在一种可选的实施方式中，基于风机叶片混合特征图的像素值、风机叶片级联特征图的通道数和风机叶片相关性特征图的通道数，对风机叶片混合特征图进行相似性检测处理，生成风机叶片相关性特征图，风机叶片相关性特征图生成公式如下所示：
[0015][0016]其中，F
corr
(x,y)表示风机叶片分组相关性特征图，x,y分别表示风机叶片混合特征图中任意两幅混合特征图的像素值，g为混合特征的分组类别，<
·
>代表内积操作，C
g
表示风机叶片相关性特征图的通道数，C
h
表示风机叶片级联特征图的通道数，表示风机叶片原始图像中任意两幅图像的在g分组类别下风机叶片混合特征图。
[0017]在一种可选的实施方式中，混合权重预测模块，具体用于获取风机叶片原始图像的像素值，基于风机叶片组合特征图确定图像融合系数，基于风机叶片原始图像的像素值和图像融合系数生成风机叶片图像的透视变换图，并基于风机叶片图像的透视变换图，对风机叶片原始图像进行拼接，生成风机叶片图像拼接预测图。
[0018]在一种可选的实施方式中，利用风机叶片图像数据集对待训练风机叶片图像拼接模型进行训练，生成目标风机叶片图像拼接模型，包括：
[0019]基于风机叶片边缘特征图、风机叶片区域特征图、风机叶片深层特征图、风机叶片标注图像、风机叶片图像拼接预测图和风机叶片图像拼接标准图计算总损失函数值；
[0020]基于总损失函数值，对待训练风机叶片图像拼接模型对应的模型参数进行迭代更新，直至达到预设条件，生成目标风机叶片图像拼接模型。
[0021]在一种可选的实施方式中，基于风机叶片边缘特征图、风机叶片区域特征图、风机叶片深层特征图、风机叶片标注图像、风机叶片图像拼接预测图和风机叶片图像拼接标准图计算总损失函数值，包括：基于风机叶片边缘特征图和风机叶片标注图像，计算边缘细节本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种风机叶片图像拼接模型训练方法，其特征在于，所述方法包括：获取风机叶片图像数据集；所述风机叶片图像数据集包括风机叶片原始图像、风机叶片标注图像和风机叶片图像拼接标准图；利用所述风机叶片图像数据集对待训练风机叶片图像拼接模型进行训练，生成目标风机叶片图像拼接模型；其中，所述待训练风机叶片图像拼接模型包括多任务学习模块、特征组合模块和混合权重预测模块；所述多任务学习模块用于对所述风机叶片原始图像分别进行叶片图像边缘检测处理、叶片图像分割处理和叶片图像深层特征提取处理，生成风机叶片边缘特征图、风机叶片区域特征图和风机叶片深层特征图；所述特征组合模块用于对所述风机叶片边缘特征图、所述风机叶片区域特征图和所述风机叶片深层特征图分别进行叠加处理和相似性检测处理，生成风机叶片组合特征图；所述混合权重预测模块用于基于所述风机叶片组合特征图进行风机叶片图像拼接，生成风机叶片图像拼接预测图。2.根据权利要求1所述的方法，其特征在于，所述多任务学习模块，包括：共享特征提取单元，用于对所述风机叶片标注图像进行特征提取，生成风机叶片共享特征图；边缘检测单元，用于对所述风机叶片共享特征图进行叶片图像边缘检测处理，生成风机叶片边缘特征图；深层特征提取单元，用于对所述风机叶片共享特征图进行叶片图像深层特征提取处理，生成风机叶片深层特征图；叶片分割单元，用于对所述风机叶片共享特征图进行叶片图像分割处理，生成风机叶片区域特征图。3.根据权利要求1所述的方法，其特征在于，所述特征组合模块，包括：特征级联单元，用于对所述风机叶片边缘特征图、所述风机叶片区域特征图和所述风机叶片深层特征图进行叠加处理，生成风机叶片级联特征图；重叠区域检测单元，用于对所述风机叶片边缘特征图、所述风机叶片区域特征图和所述风机叶片深层特征图进行相似性检测处理，生成风机叶片相关性特征图，并将所述风机叶片级联特征图和所述风机叶片相关性特征图进行组合，生成所述风机叶片组合特征图。4.根据权利要求3所述的方法，其特征在于，所述特征级联单元，用于对所述风机叶片边缘特征图、所述风机叶片区域特征图和所述风机叶片深层特征图进行叠加处理，生成风机叶片级联特征图，所述风机叶片级联特征图的生成公式如下所示：F
cat
＝F
fusion
([[F
1deep
，F
1edge
，F
1roi
]，[F
2deep
，F
2edge
，F
2roi
]])其中，F
cat
表示风机叶片级联特征图，F
fusion
为图像融合操作，F
1deep
，F
2deep
表示风机叶片原始图像中任意两幅图像的风机叶片深层特征图，F
1edge
，F
2edge
表示风机叶片原始图像中任意两幅图像的风机叶片边缘特征图，F
1roi
，F
2roi
表示风机叶片原始图像中任意两幅图像的风机叶片区域特征图，[
·
，
·
，
·
]表示连接操作。5.根据权利要求3所述的方法，其特征在于，所述重叠区域检测单元，还用于将所述风机叶片边缘特征图、所述风机叶片区域特征图和所述风机叶片深层特征图进行叠加，生成风机叶片混合特征图；获取风机叶片混合特征图的像素值、风机叶片级联特征图的通道数和风机叶片相关性
特征图的通道数；基于所述风机叶片混合特征图的像素值、所述风机叶片级联特征图的通道数和所述风机叶片相关性特征图的通道数，对所述风机叶片混合特征图进行相似性检测处理，生成风机叶片相关性特征图。6.根据权利要求5所述的方法，其特征在于，基于所述风机叶片混合特征图的像素值、所述风机叶片级联特征图的通道数和所述风机叶片相关性特征图的通道数，对所述风机叶片混合特征图进行相似性检测处理，生成风机叶片相关性特征图，所述风机叶片相关性特征图生成公式如下所示：其中，F
corr
(x，y)表示风机叶片分组相关性特征图，x，y分别表示风机叶片混合特征图中任意两幅混合特征图的像素值，g为混合特征的分组类别，<
·
>代表内积操作，C
g
表示风机叶片相关性特征图的通道数，C
h
表示风机叶片级联特征图的通道数，表示风机叶片原...

【专利技术属性】
技术研发人员：周登科，史凯特，张亚平，于傲，王罗，苏营，
申请(专利权)人：中国长江三峡集团有限公司，
类型：发明
国别省市：