一种基于通道特征加强的农业遥感图像语义分割方法技术

本发明专利技术公开了一种基于通道特征加强的农业遥感图像语义分割方法，包括如下步骤：S1：划分农业语义分割图像数据集；S2：定义数据读取中的预处理方案；S3：定义随机权重采样器、分布式数据加载器；S4：从数据加载器中加载数据，开始特征提取；S5：使用空间金字塔结构和解码器模块，计算得到模型对图像每一个像素点的预测图x

【技术实现步骤摘要】
一种基于通道特征加强的农业遥感图像语义分割方法


[0001]本专利技术涉及航天遥感
，具体是一种基于通道特征加强的农业遥感图像语义分割方法。

技术介绍

[0002]深度学习在各类视觉任务中推动了多个研究领域的进步，其中，语义分割是一项将图像中不同的语义类分割出来的技术，一个语义分割模型应当可以对特定的目标标注出所在位置及其轮廓。农田的视觉任务具有巨大的经济价值，但应用在农业图像的语义分割方法却进展甚微。
[0003]IBN
‑
Net[1]是一种基于实例归一化(IN)和批处理归一化(BN)的模块，其中IN可以学习到一些不会随着类似颜色、样式等外观变化而改变的特征，而BN可以有助于保存与图像原始特征相关的信息，并用于模型的后续特征提取步骤。IBN
‑
Net泛用性良好，作为模块可以穿插在不同的模型中使用，但将其应用在农业遥感图像领域却有缺陷，该技术是基于传统的由红绿蓝三个通道特征构成的图像，即RGB图像设计的，而农业遥感图像可能存在着多模态特征，比如近红外特征，从而构成高于三通道数的多通道原始特征图，这导致了基于RGB图像研发的IBN
‑
Net无法充分利用到这些拓展特征。而后，IBN
‑
s[2]模块的提出，成功将IBN
‑
Net应用在农业遥感图像语义分割数据集中，其提出一种用SN替换IN和BN的方法对IBN
‑
Net进行调整，但本质上SN依旧由IN和BN组成，只是可以根据不同的模型深度权衡IN和BN的影响，这样做可以减少RGB和近红外特征之间的KL散度，但影响有限，甚至在不同数据集上，反而效果不如IBN
‑
Net。
[0004][1]Pan X,Luo P,Shi J,et al.Two at once:Enhancing learning and generalization capacities via ibn
‑
net[C]//Proceedings of the European Conference on Computer Vision(ECCV).2018:464
‑
479.
[0005][2]Yang S,Yu S,Zhao B,et al.Reducing the feature divergence of RGB and near
‑
infrared images using Switchable Normalization[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.2020:46
‑
47.

技术实现思路

[0006]本专利技术的目的是针对现有技术中存在的不足，而提供一种基于通道特征加强的农业遥感图像语义分割方法。这种方法使得模型对每一个像素点的语义类预测更加准确，提升预测的精度和鲁棒性。
[0007]实现本专利技术目的的技术方案是：
[0008]一种基于通道特征加强的农业遥感图像语义分割方法，包括如下步骤：
[0009]S1：划分农业语义分割图像数据集，将数据划分为训练集和测试集，其中训练集用于训练模型，测试集用于评估模型泛化性能；
[0010]S2：定义数据读取中的预处理方案，具体过程为：
[0011]S21：分别读取RGB图像和对应的拓展特征图像，读取对应的来自每个语义类的标签图像并拼接在一起，若某个数据集包含a个语义类，则标签图像为a通道图像；
[0012]S22：对RGB图像进行颜色饱和度随机调整；
[0013]S23：对RGB图像、拓展特征图像、标签图像，同时进行随机缩放，随机垂直翻转，随机水平翻转，随机旋转；
[0014]S24：将RGB图像和拓展图像特征矩阵做标准化处理，按通道将RGB图像和拓展特征图像进行拼接，若拓展特征图像的通道数为b，则拓展特征图像与RGB图像拼接后组成3+b通道的图像；
[0015]S3：定义随机权重采样器，一个成型的模型需要多轮训练，即每重复一次所有步骤为一轮训练，在模型的第一轮训练中，为训练集中每张图像分配相同的权重进行随机采样，定义分布式数据加载器，从而达到可以使用多张显卡进行分布式训练的目的，提升模型训练效率；
[0016]S4：从数据加载器中加载数据，开始特征提取，具体步骤如下：
[0017]S41：将图像特征矩阵x和标签图像矩阵传入GPU；
[0018]S42：图像特征矩阵x在使用卷积核为7的二维卷积层映射至高维通道后，到达瓶颈块；在瓶颈块中将W
×
H
×
C维度的图像特征矩阵x传入通道加强模块，其中W
×
H表示每一层特征包含的像素点数量，C表示通道数量，对各层特征做平均池化压缩成1
×1×
C的特征向量h
cne
；
[0019]S43：对特征向量h
cne
在卷积核大小为3，输入通道数和输出通道数相等的一维卷积层上进行卷积，得到特征向量h1；
[0020]S44：将特征向量h1在输入维度为图像特征矩阵x的原始输入通道数，输出维度为瓶颈块特征提取输出通道数的全连接层进行映射，并将新向量用于覆盖更新特征向量h1，得到特征向量h2；
[0021]S45：将特征向量h2传入Sigmoid层，使用新向量覆盖更新得到特征向量h3并返回；
[0022]S46：对原始图像特征矩阵x做IBN
‑
a残差连接前的特征提取，并覆盖更新得到图像特征矩阵x1；
[0023]S47：将图像特征矩阵x1和S45得到的特征向量h3相乘，更新图像特征矩阵x1并残差连接，经过ReLU层计算后向模型主框架返回覆盖更新得到的图像特征矩阵x2；
[0024]S5：使用空间金字塔结构和解码器模块，计算得到模型对图像每一个像素点的预测图x
pred
；
[0025]S6:计算损失函数，利用梯度下降算法更新迭代参数，经过多次迭代之后使得损失函数收敛，其中，损失函数公式定义为：
[0026]L
total
＝0.5L
CE
+0.5L
Dice
，
[0027]其中L
CE
表示交叉熵损失函数，L
Dice
表示Dice损失函数，将两种损失函数通过同样的权重加权组合得到整体的损失函数；
[0028]S7：模型训练结束之后进入测试环节，对训练好的模型使用测试集获取预测图像特征矩阵x
val
的步骤与步骤S4至S5的训练过程一致，同时计算得到模型对每一个类别的识别精度IoU
i
，其中i表示一个语义类；
[0029]S8：根据式：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于通道特征加强的农业遥感图像语义分割方法，包括如下步骤：S1：划分农业语义分割图像数据集，将数据划分为训练集和测试集；S2：定义数据读取中的预处理方案，具体过程为：S21：分别读取RGB图像和对应的拓展特征图像，读取对应的来自每个语义类的标签图像并拼接在一起，若某个数据集包含a个语义类，则标签图像为，由这a个语义类标签图像拼接而成的a通道图像；S22：对RGB图像进行颜色饱和度随机调整；S23：对RGB图像、拓展特征图像、标签图像，同时进行随机缩放，随机垂直翻转，随机水平翻转，随机旋转；S24：将RGB图像和拓展图像特征矩阵做标准化处理，按通道将RGB图像和拓展特征图像进行拼接，若拓展特征图像的通道数为b，则拓展特征图像与RGB图像拼接后组成3+b通道的图像；S3：定义随机权重采样器，一个成型的模型需要多轮训练，即每重复一次所有步骤为一轮训练，在模型的第一轮训练中，为训练集中每张图像分配相同的权重进行随机采样，定义分布式数据加载器，从而达到能使用多张显卡进行分布式训练的目的，提升模型训练效率；S4：从数据加载器中加载数据，开始特征提取，具体步骤如下：S41：将图像特征矩阵x和标签图像矩阵传入GPU；S42：图像特征矩阵x在使用卷积核为7的二维卷积层映射至高维通道后，到达瓶颈块；在瓶颈块中将W
×
H
×
C维度的图像特征矩阵x传入通道加强模块，其中W
×
H表示每一层特征包含的像素点数量，C表示通道数量，对各层特征做平均池化压缩成1
×1×
C的特征向量h
cne
；S43：对特征向量h
cne
在卷积核大小为3，输入通道数和输出通道数相等的一维卷积层上进行卷积，得到特征向量h1；S44：将特征向量h1在输入维度为图像特征矩阵x的原始输入通道数，输出维度为瓶颈块特征提取输出通道数的全连接层进行映射，并将新向量用于覆盖更新特征向量h1，得到...

【专利技术属性】
技术研发人员：蒋佳成，陆广泉，李杰成，韩亚丹，
申请(专利权)人：广西师范大学，
类型：发明
国别省市：