基于改进U-net网络的无人机麦田遥感图像分割方法技术

本发明专利技术提出基于改进U

【技术实现步骤摘要】
基于改进U
‑
net网络的无人机麦田遥感图像分割方法


[0001]本专利技术属于农业遥感图像分割领域，尤其是一种基于改进U
‑
net网络的无人机麦田遥感图像分割方法。

技术介绍

[0002]小麦是世界三大主要粮食作物之一，同时也是我国第二大粮食作物。作为世界最大的小麦生产国，小麦在我国国民经济发展中占据了重要地位。如何准确并快速地对小麦进行估产，对于保障粮食安全和相关产业地发展都具有巨大现实意义。传统的作物估产工作需要投入大量的人力物力，还会造成一定程度上的田间破坏以及人为计算误差，因此寻求一种高效、准确且无损的估产方法是十分必要的。为了更好地进行小麦估产，首要解决的就是麦田图像的分割问题。
[0003]近年来，随着遥感和图像处理技术的快速发展，基于遥感图像进行小麦估产成为研究热点。随着精准农业不断发展，通过大尺度卫星遥感图像对农作物进行田块级估产，精度不能满足需求，而最新的无人机遥感技术，为田块级、高精度小麦估产带来了希望。尽管深度学习技术在农业领域已有较多研究和应用，但其效果仍有很大局限性。由于大田小麦环境复杂，实际小麦遥感图像存在道路遮挡缺失以及边界不清晰等问题，同时网络对于图像特征信息也缺少合理的分配学习。

技术实现思路

[0004]鉴于以上问题，本专利技术提出一种基于改进U
‑
net网络的无人机麦田遥感图像分割方法，充分利用田埂信息，合理分配特征的学习权重，从而提高田埂和麦田的分割精度，为后期的小麦估产工作提供理论基础和技术保障。
[0005]技术方案：
[0006]实现本专利技术目的的技术解决方案为：
[0007]一种基于改进U
‑
net网络的无人机麦田遥感图像分割，包括以下步骤：
[0008]步骤1：以U
‑
net为基础，融合多信息注意力模块，改善卷积在局部感受野上对特征图的无差别信息处理，加强对麦田和田埂相似特征差异的学习，达到分割精确化的目的；
[0009]步骤2：定义一个关注区域结构的混合损失函数，处理麦田图像中田埂与麦田的占比不均衡问题；
[0010]步骤3：利用形状先验信息，结合阈值、矩形结构参数及区域连通等思想，动态调节田埂拟合形状，整体上实现矩形内外部的最佳匹配，对缺失或断裂的田埂进行较好的补全。
[0011]综合以上所述方法，利用U
‑
net网络对数据集进行初步处理，通过注意力模块加强学习，定义新的损失函数，并辅以形状先验还原增强麦田图像的分割精度。
[0012]1、本专利技术在步骤1中提出融合多信息复合式注意力机制，具体为：
[0013]提出一种融合空间和通道信息的复合式注意力机制(MIAM)。多信息注意力模块包括基于非局部(Non
‑
Local)思想的空间注意力模块，和基于压缩和激发(Squeeze
‑
and
‑ꢀ
Excitation Networks，SENet)思想的通道注意力模块。
[0014]通道注意力模块通过计算各通道的重要性并以此进行权重分配，实现对有意义特征的关注。首先通过池化层得到聚合空间信息的特征F，再经过一个三层神经网络捕获通道注意力并逐元素求和得到最终输出特征。该模块计算公式如下所示:
[0015]M
c
＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))
[0016]其中，M
c
表示获得通道注意力的新特征，σ表示sigmoid函数计算，MLP为特征的共享网络，AvgPool(F)表示平均池化特征，MaxPool(F)表示最大池化特征。
[0017]为了在局部特征上建立丰富的上下文关系，本专利技术设计了位置空间注意力模块。首先，对特征A生成三个新的特征映射{B，C，D}∈R
C
×
N
，之后通过计算B、C二者的关系矩阵得当前空间注意力S∈R
N
×
N
，之后，基于所得S和特征D计算新的空间注意力图T∈R
C
×
N
，并与初始特征A融合求得最终特征E。其计算公式如下所示:
[0018][0019]其中，i和j为特征图中某像素点位置，N表示输出总数，α表示尺度系数，初始为0，在训练过程中逐步学习分配到更大权重。
[0020]2、本专利技术在步骤2中分割网络损失函数模块的方法，具体为：
[0021]为处理麦田图像中田埂与麦田的占比不均所致的分割不佳问题，本专利技术定义了一个关注区域结构的复合损失函数，从正负样本分类难易程度差异、独立于场景的结构相似性特征、以及评估指标三方面重新进行权衡分配，相关公式如式所示。
[0022][0023]其中，N表示输出总数，η
i
是每个损耗的权重，及分别表示第i个的焦点损失(Focal Loss)、结构相似损失(Structural SiMilarityLoss，SsimLoss)及Tversky 系数损失(TverskyLoss)。
[0024]3、本专利技术在步骤3中基于形状先验信息的田埂补全方法，具体为：
[0025]从形状先验知识入手，并结合阈值、矩形结构参数及区域连通思想，动态调节道路拟合形状，整体上实现矩形内外部的最佳匹配。
[0026]步骤3中提出的结合阈值和形状先验的待补全田埂的初步拟合方法，其计算公式为：
[0027][0028]其中，sum
pixel
表示每个小ROI内田埂像素占比，col
pIxel
表示纵向田埂在每个小ROI内的占比(用于排除横向道路带来的干扰)，T1和T2分别表示成为待补全田埂ROI所需满足的条件阈值，i的取值由步长step和前一个ROI位置共同决定。
[0029]为了更好地拟合田埂现实情况，本专利技术基于上式进一步提出动态道路拟合算法，其公式如下所示。
[0030][0031]其中，Road
area
为通过动态拟合后所得的最终待补全田埂区域，即新ROI，w
′
为依据区域连通算法拟合的新道路宽，Half_L为ROI的半高，pcenier
k
为ROI中点p
center
的x坐标，θ为新待补全田埂ROI与原ROI的夹角。
[0032]综上，利用滑窗捕获初始ROI，再结合种子结点进行最佳田埂形状的拟合，直到图像中所有道路均处理完成。具体的操作步骤如下：
[0033]S3
‑
1、利用尺寸为20
×
512的先验矩形模板遍历网络分割结果图像，对待补全田埂ROI (RegionofInterest，ROI)进行初步选取，得到遴选的待补全田埂集合；
[0034]S3
‑
2、对S3
‑
1中遴选的待补全田埂集合进行筛选，得到待补全田埂ROI集合；...

【技术保护点】

【技术特征摘要】
1.一种基于改进U
‑
net网络的无人机麦田遥感图像分割方法，其特征在于它包括：步骤1：以U
‑
net为基础，融合多信息注意力模块，改善卷积在局部感受野上对特征图的无差别信息处理，加强对麦田和田埂相似特征差异的学习，达到分割精确化的目的；步骤2：定义一个关注区域结构的混合损失函数，处理麦田图像中田埂与麦田的占比不均衡问题；步骤3：利用形状先验信息，并结合阈值和矩形结构参数信息，以区域连通算法为指导对分割结果进一步修正。2.根据权利要求1所述的方法，其特征在于步骤1中，多信息注意力模块包括空间注意力模块，和通道注意力模块；输入特征首先经过通道注意力模块，得到在通道维度上具有更强指向性和注意力信息的新特征；再将新特征输入空间注意力计算模块，最终得到融合空间和通道注意力信息的复合新特征。3.根据权利要求2所述的方法，其特征在于通道注意力模块通过计算各通道的重要性并以此进行权重分配，得到融合通道注意力信息的新特征；其计算公式如下：M
c
＝σ(MLP(AvgPool(F))+MLP(MaxPool(F)))式中，M
c
表示获得通道注意力的新特征，σ表示sigmoid函数计算，MLP为特征的共享网络，AvgPool(F)表示平均池化特征，MaxPool(F)表示最大池化特征。4.根据权利要求2所述的方法，其特征在于通过空间注意力模块捕获潜在信息，实现局部特征的丰富的上下文关系建立；计算公式如下：式中，i和j为特征图中某像素点位置，N表示输出总数，A
j
为融合通道注意力模块输出的新特征，特征A生成的三个新特征映射记做{B，C，D}∈R
C
×
N
；α表示尺度系数。5.根据权利要求1所述的方法，其特征在于步骤2中，提出基于区域结构的混合损失函数L
Rs
为：式中，N表示输出总数，η
i
是每个损耗的权重，及分别表示第i个的焦点损失Focal Loss、结构相似损失SsimLoss和Tversky系数损失TverskyLoss。6.根据权利要求1所述的方法，其特征在于步骤3中，修正步骤具体包括：S3
‑
...

【专利技术属性】
技术研发人员：任守纲，顾兴健，李思哲，郑恒彪，徐焕良，
申请(专利权)人：南京农业大学，
类型：发明
国别省市：