一种基于无人机拍摄图像的风电机组图像分割方法技术

本发明专利技术公开了一种基于无人机拍摄图像的风电机组图像分割方法，包括U

【技术实现步骤摘要】
一种基于无人机拍摄图像的风电机组图像分割方法


[0001]本专利技术涉及图像分割
，具体为一种基于无人机拍摄图像的风电机组图像分割方法。

技术介绍

[0002]无人机航拍技术的发展使其在各个领域得到了应用，例如灾害救援、全景拍摄、环保检测和设备巡检等。用无人机远程监测风力发电机组的运行状态已经引起了风能行业的高度重视。基于无人机检测的一个基本问题就是，如何从无人机拍摄的图像或视频中提取风力发电区域。在计算机视觉领域，通常使用传统图像分割算法和深度学习的方法进行图像分割，解决这一相关问题。有学者提出了全卷积神经网络进行端到端的语义分割。也有学者针对医学数据集，设计了一种形状类似U形的对称网络结构，命名为U
‑
Net。由于表现突出，U
‑
Net网络结构以及后续的变体，包括UNet++，UNet 3+和Res
‑
UNet等，都广泛应用在类似的问题中。
[0003]虽然上述方法能够进行分割，但从无人机拍摄图片中分割风机发电机组仍然需要克服一些挑战。这些挑战包括：(1)无人机拍摄的图片受不同环境和光照条件影响(2)拍摄角度和距离不同致使风力发电机外形变化(3)深度学习训练需要大量图片，而无人机拍摄的图像有限。
[0004]U
‑
Net网络具有训练时间短，结构简单，样本需求少等优势，得以应用在数据收集困难的场景中。风力发电机在无人机图片中远近不同导致形状大小不一，具有多尺度的特点。U
‑
Net网络处理多尺度特征是通过跳级结构拼接不同大小特征维度实现的，因此其处理多尺度具有局限性，无法保证方法的鲁棒性。并且，特征提取部分不够复杂，很多细节无法被提取，导致网络无法学习。为了处理这些问题，现有技术融合多种注意力机制并增强编码结构，调整了具有细节能力的多尺度U
‑
Net网络，获得了更好地结果。
[0005]基于此，本专利技术提出来改进U
‑
Net网络对无人机拍摄图像的风力发电机图像进行分割。

技术实现思路

[0006]本专利技术的目的在于提供一种基于无人机拍摄图像的风电机组图像分割方法，以U
‑
Net为基础，并使用ECA
‑
Net和PSA
‑
Net这两种注意力机制以及ResNet改进网络结构，极大的增强了该模型图片分割方法的鲁棒性。
[0007]为实现上述目的，本专利技术提供如下技术方案：一种基于无人机拍摄图像的风电机组图像分割方法，包括U
‑
Net网络，所述U
‑
Net网络包括编码部分和解码部分，使用ResNet作为编码部分特征提取的主干网络；
[0008]编码部分的每个卷积层包括一个3
×
3卷积操作和ReLU激活函数，同时使用Batch Normalization层加速训练和平滑损失函数；
[0009]输入的图像通过5层编码，共可以产生512通道的特征图，在从上层到下层过程采
用Maxpooling取局部接受域中值最大的点，其中，为了获得通道注意力，在卷积层后面使用ECA
‑
Net，在跳级结构中加入PSA
‑
Net进一步产生多尺度特征；
[0010]将下层的ECA
‑
Net输出特征图上采样，并且为了进一步上采样而拼接PSA
‑
Net的输出，最终，就获得对原始图像进行像素级标注的分割图像。
[0011]优选的，所述ECA
‑
Net改进了基于SENet的通道注意力，通过使用一维空间卷积，考虑每个通道及其K个邻居来捕获局部跨通道交互信息。
[0012]优选的，假设初始特征图x
avg
∈R
(W
×
H
×
C)
，C代表通道数，根据公式(1)使用全局平均池化获得特征图x
avg
∈R
(W
×
H
×
C)
：
[0013][0014]其中x
i，j
∈R
(C)
包含像素值位于(i，j)位置所有通道的特征，之后，使用尺寸为K的一维卷积，K的计算公式如下：
[0015][0016]其中，β和γ是两个可调参数，一维卷积操作的输出是Sigmoid函数的输入，并且产生每个通道的权重，通道通过乘积权重，得到重新编码的特征，突出了重要的通道特征。
[0017]优选的，所述PSA
‑
Net是基于SENet的多尺度特征提取注意力机制。
[0018]优选的，首先，在Split and Concat模块中，初始的特征图x被划分为S组[X0，X1…
X
s
‑1]，并执行卷积核大小不同的卷积运算，获得多尺度特征，公式描述如下：
[0019][0020]F
i
＝Conv(K
i
×
K
i
，G
i
)(X
i
)，i＝0，1，
…
，S
‑1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0021]F＝Cat([F0，F1，
…
，F
s
‑1])
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0022]接下来，计算每个通道组的权重，并通过SENet和Softmax函数标准化。先使用SENet产生不同特征群的注意力权重，如公式(6)所示，再根据公式(7)、(8)将权重标准化，最后PSA
‑
Net输出计算如公式(9)。
[0023]Z
i
＝SEWeight(F
i
)，i＝0，1，
…
，S
‑1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0024][0025]att＝Softmax(Z)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0026][0027]无人机拍摄的风力发电机图像正负样本不平衡，为了解决这一问题，使用基于Dice loss和交叉熵的混合损失函数，公式如下：
[0028]Loss＝L
BCE
+αL
Dice
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0029][0030][0031]其中，y
i
∈{0，1}
N
是风力发电机分割图片的真实像素值，是网络在相同位
置分割结果的预测值，N是图像像素总数，α是调整Dice损失函数在整体损失函数占比的超参数。
[0032]与现有技术相比，本专利技术的有益效果如下：
[0033]该算法通过改进U
‑
Net，极大的增强了该模型图片分割方法的鲁棒性，将本专利技术的模型应用到无人机图像中与现有的方法相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于无人机拍摄图像的风电机组图像分割方法，包括U
‑
Net网络，其特征在于：所述U
‑
Net网络包括编码部分和解码部分，使用ResNet作为编码部分特征提取的主干网络；编码部分的每个卷积层包括一个3
×
3卷积操作和ReLU激活函数，同时使用Batch Normalization层加速训练和平滑损失函数；输入的图像通过5层编码，共可以产生512通道的特征图，在从上层到下层过程采用Maxpooling取局部接受域中值最大的点，其中，为了获得通道注意力，在卷积层后面使用ECA
‑
Net，在跳级结构中加入PSA
‑
Net进一步产生多尺度特征；将下层的ECA
‑
Net输出特征图上采样，并且为了进一步上采样而拼接PSA
‑
Net的输出，最终，就获得对原始图像进行像素级标注的分割图像。2.根据权利要求1所述的一种基于无人机拍摄图像的风电机组图像分割方法，其特征在于：所述ECA
‑
Net改进了基于SENet的通道注意力，通过使用一维空间卷积，考虑每个通道及其K个邻居来捕获局部跨通道交互信息。3.根据权利要求2所述的一种基于无人机拍摄图像的风电机组图像分割方法，其特征在于：假设初始特征图x
avg
∈R
(W
×
H
×
C)
，C代表通道数，根据公式(1)使用全局平均池化获得特征图x
avg
∈R
(W
×
H
×
C)
：其中x
i，j
∈R
(C)
包含像素值位于(i，j)位置所有通道的特征，之后，使用尺寸为K的一维卷积，K的计算公式如下：其中，β和γ是两个可调参数，一维卷积操作的输出是Sigmoid函数的输入，并且产生每个通道的权重，通道通过乘积权重，得到重新编码的特征，突出了重要的通道特征。4.根据权利要求1所述的一种基于无人机拍摄图像的风电机组图像分割方法，其特征...

【专利技术属性】
技术研发人员：王龙，杨谨旭，黄超，罗熊，
申请(专利权)人：北京科技大学顺德创新学院，
类型：发明
国别省市：