一种基于强变换下的半监督遥感图像语义分割方法及设备技术

本发明专利技术提出一种基于强变换下的半监督遥感图像语义分割方法及设备，该方法采用教师

【技术实现步骤摘要】
一种基于强变换下的半监督遥感图像语义分割方法及设备


[0001]本专利技术涉及深度学习
，尤其涉及一种基于强变换下的半监督遥感图像语义分割方法、装置、计算机设备及非临时性计算机可读存储介质。

技术介绍

[0002]图像分割的目的是将每个像素标记为一种类别，对于遥感图像，则将像素标记为一种地物类型，比如建筑、水体、道路、耕地、车辆等等。图像语义分割是从传统图像分割方法发展而来，传统图像分割方法(阈值法、k
‑
Means聚类法、区域法、边缘检测法)只关心找到地物的边界轮廓，并不关心地物所属的类别，语义分割不仅要精确地找到地物的轮廓，还需准确地判断地物所属的类别，即给出其语义。得益于深度学习的快速发展与计算机存储与运算力的极大提升，使得基于深度卷积神经网络的语义分割方法成为高分辨率遥感图像分割新的利器。
[0003]基于深度卷积神经网络的语义分割可以认为是像素级的分类任务，需要对影像中的地物目标进行密集标注，标注难度更大，有其是对高分辨率遥感影像来说，语义分割数据集的标注需要大量的人工和时间，这给基于深度卷积神经网络的遥感影像语义分割带来极大的困难。
[0004]针对上述问题，通常包括以下解决方法：
[0005]1.基于自训练的方法，分为3步：第一步，在有标签数据上训练一个模型；第二步，用预训练好的模型，为无标签数据集生成伪标签；第三步，使用有标注数据集的真值标签，和无标注数据集的伪标签，重新训练一个模型；第四步，重复几次上述过程。这种方法效果较好，但是重复训练提高了时间成本。
[0006]2.基于一致性学习的方法，其核心为鼓励模型对经过不同变换的同一样本有相似的输出，这种变换包括随机旋转、翻转、颜色的改变等等，整个过程与监督训练同时进行，效果更佳。一致性学习的有效性得益于平滑假设或者聚类假设，平滑假设是指相互接近的样本有可能有相同的标签，聚类假设指出决策面应处于数据分布的低密度区域。图像语义分割是一种像素级分类任务，输入数据中的低密度区域没有很好地与类边界对齐，普通的变换方式对于混肴类别的效果是有限的，一致性学习半监督语义分割的性能较低。

技术实现思路

[0007]本专利技术提供一种基于强变换下的半监督遥感图像语义分割方法、装置、计算机设备及非临时性计算机可读存储介质，旨在减少网络模型训练时间成本，同时提高一致性学习半监督语义分割的性能。
[0008]为此，本专利技术的目的在于提出一种基于强变换下的半监督遥感图像语义分割方法，包括：
[0009]构建遥感语义分割网络，所述遥感语义分割网络为教师网络
‑
学生网络结构的半监督学习网络；
[0010]利用遥感图像数据集对所述遥感语义分割网络进行训练；
[0011]将实时拍摄的遥感图像输入训练完成的遥感图像语义分割网络，输出结果即为对拍摄的遥感图像的语义分割结果。
[0012]其中，利用遥感图像数据集对所述遥感语义分割网络进行训练的步骤包括：
[0013]获取遥感图像样本数据集，对数据集中遥感图像的地物类别按像素进行标记，生成对应的标签遥感图像，通过对标签遥感图像使用边缘检测算法自动生产语义边界标签；预处理后划分为训练集、验证集和测试集；
[0014]构建教师网络
‑
学生网络结构的半监督学习网络，作为遥感图像语义分割网络；其中，所述教师网络和学生网络采用DeepLabV3+网络模型；
[0015]将所述训练集的原始遥感图像输入所述遥感图像语义分割网络中进行训练，确定模型训练的超参数与损失函数，优化遥感图像语义分割网络的参数，至所述验证集预测结果的预测精度达到预设精度阈值；
[0016]将所述测试集输入训练好的遥感图像语义分割网络，验证网络分割准确性。
[0017]其中，遥感语义分割网络的训练方式为：将训练集遥感图像分为标记样本与无标记样本，标记样本包含遥感图像与对应标签遥感图像，无标记样本只包含遥感图像，将标记样本与无标记样本的遥感图像均输入至学生网络，标记样本的预测结果与标签数据计算监督损失，将无标记样本输入至教师网络，学生网络与教师网络对无标记样本的预测结果求一致性损失；无标记数据输入至教师网络与学生网络，对所得结果求对比损失；学生网络的参数由监督损失、对比损失、一致性损失共同优化得到，教师网络由每轮训练得到的学生网络进行指数滑动平均得到。
[0018]其中，对遥感图像及对应的标签遥感图像进行预处理的步骤包括：
[0019]对原始遥感图像与对应标签遥感图像进行随机采样，每次采样得到512
×
512大小的遥感图像与对应标签遥感图像；
[0020]对随机采样后得到的遥感图像进行样本增强，包括随机旋转n
×
90
°
(n＝0，1，2，3)，随机水平方向与垂直方向90
°
翻转，随机尺度缩放，随机亮度、对比度、饱和度增强。
[0021]其中，在所述遥感语义分割网络的训练过程中，针对标记样本数据，采样两张遥感图像和对应的标签遥感图像，使用随机掩膜混合的方法得到增强的遥感图像和标签遥感图像，输入学生网络；针对无标记样本，采样两张遥感图像，使用随机掩膜混合的方法得到增强的遥感图像，输入学生网络和教师网络。
[0022]其中，随机掩膜混合的方法包括：
[0023]取掩膜L，变换后的增强图像为：
[0024]mix(x1，x2，L)＝(1
‑
L
⊙
x1)+L
⊙
x2[0025]其中
⊙
表示按位置元素相乘，x1与x2为进行随机掩膜混合的两张遥感图像，L为尺寸与x1、x2，元素均为0或1的矩阵。
[0026]其中，模型训练的超参数与损失函数为训练过程中学习率的变化策略如公式(1)所示：
[0027][0028]其中，base_lr＝4.2e
‑
6，热启动因子warmup_factor＝1.2，epoch为训练迭代次数，学习率1r随着时间增长学习率逐渐上升，热启动的迭代次数warm_epoch设置为30，经过热启动后，学习率达到一个较高的值，高的学习率有利于模型快速收敛，但随着时间的推移衰减学习率有利于找到性能更优的模型，当训练超过warm_epoch后，使用多项式(poly)学习率衰减策略，最大训练迭代次数maxlr设为1500，衰减指数pewer设置为(0.9，0.99)，最大学习率maxlr设置为1e
‑
3；
[0029]监督学习部分使用交叉熵损失函数，一致性学习部分使用均方误差损失函数，整体损失函数如公式(2)所示：
[0030][0031]其中，为预测结果，y
i
为标记图像，为交叉熵损失(监督损失)，e
T
为教师网络的预测结果，e
s
为辅助解码器的预测结果，p
T
为教师网络的输出结果，p
S
为学生网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于强变换下的半监督遥感图像语义分割方法，其特征在于，包括：构建遥感语义分割网络，所述遥感语义分割网络为教师网络
‑
学生网络结构的半监督学习网络；利用遥感图像数据集对所述遥感语义分割网络进行训练；将实时拍摄的遥感图像输入训练完成的遥感图像语义分割网络，输出结果即为对拍摄的遥感图像的语义分割结果。2.根据权利要求1所述的基于强变换下的半监督遥感图像语义分割方法，其特征在于，利用遥感图像数据集对所述遥感语义分割网络进行训练的步骤包括：获取遥感图像样本数据集，对数据集中遥感图像的地物类别按像素进行标记，生成对应的标签遥感图像，通过对标签遥感图像使用边缘检测算法自动生产语义边界标签；预处理后划分为训练集、验证集和测试集；构建教师网络
‑
学生网络结构的半监督学习网络，作为遥感图像语义分割网络；其中，所述教师网络和学生网络采用DeepLabV3+网络模型；将所述训练集的原始遥感图像输入所述遥感图像语义分割网络中进行训练，确定模型训练的超参数与损失函数，优化遥感图像语义分割网络的参数，至所述验证集预测结果的预测精度达到预设精度阈值；将所述测试集输入训练好的遥感图像语义分割网络，验证网络分割准确性。3.根据权利要求2所述的基于强变换下的半监督遥感图像语义分割方法，其特征在于，所述遥感语义分割网络的训练方式为：将训练集遥感图像分为标记样本与无标记样本，标记样本包含遥感图像与对应标签遥感图像，无标记样本只包含遥感图像，将标记样本与无标记样本的遥感图像均输入至学生网络，标记样本的预测结果与标签数据计算监督损失，将无标记样本输入至教师网络，学生网络与教师网络对无标记样本的预测结果求一致性损失；无标记数据输入至教师网络与学生网络，对所得结果求对比损失；学生网络的参数由监督损失、对比损失、一致性损失共同优化得到，教师网络由每轮训练得到的学生网络进行指数滑动平均得到。4.根据权利要求2所述的基于强变换下的半监督遥感图像语义分割方法，其特征在于，对遥感图像及对应的标签遥感图像进行预处理的步骤包括：对原始遥感图像与对应标签遥感图像进行随机采样，每次采样得到512
×
512大小的遥感图像与对应标签遥感图像；对随机采样后得到的遥感图像进行样本增强，包括随机旋转n
×
90
°
(n＝0，1，2，3)，随机水平方向与垂直方向90
°
翻转，随机尺度缩放，随机亮度、对比度、饱和度增强。5.根据权利要求3所述的基于强变换下的半监督遥感图像语义分割方法，其特征在于，在所述遥感语义分割网络的训练过程中，针对标记样本数据，采样两张遥感图像和对应的标签遥感图像，使用随机掩膜混合的方法得到增强的遥感图像和标签遥感图像，输入学生网络；针对无标记样本，采样两张遥感图像，使用随机掩膜混合的方法得到增强的遥感图像，输入学生网络和教师网络。6.根据权利要求5所述的基于强变换下的半监督遥感图像语义分割方法，其特征在于，所述随机掩膜混合的方法包括：取掩膜L，变换后的增强图像为：
mix(x1，x2.L)＝(1
‑
L
⊙
x1)+L
⊙
x2其中
⊙
表示按位置元素相乘，x1与x2为进行随机掩膜混合的两张遥感图像，L为尺寸与x1、x2，元素均为0或1的矩阵。7.根据权利要求2所述的基于强变换下的半监督遥感图像语义分割方法，其特征在于，所...

【专利技术属性】
技术研发人员：吕亮，杭兆峰，杨立华，孙正标，王恩民，任鑫，姚中原，王有超，王华，童彤，赵鹏程，杜静宇，李学刚，
申请(专利权)人：中国华能集团清洁能源技术研究院有限公司华能国际电力江苏能源开发有限公司华能国际电力江苏能源开发有限公司清洁能源分公司，
类型：发明
国别省市：