面向机器视觉的渐进式遥感图像多层级语义分割方法技术

本发明专利技术提供一种面向机器视觉的渐进式遥感图像多层级语义分割方法，首先对原始遥感图像中的目标物品进行识别标记，制作训练集和测试集，然后搭建面向机器视觉的渐进式遥感图像多层级语义分割模型，所述分割模型由若干个相同的处理阶段堆叠起来，每个阶段都包含相同的预处理模块、分割模块、细化模块和超分辨率模块，随着图像从最粗层级到最细层级的渐进式分割，输出逐步细化的分割结果图。本发明专利技术在保留整张遥感图像全局信息的基础上实现了对遥感图像中目标的精确分割，对遥感图像的处理速度远超传统的技术，在遥感图像的快速、精准化处理中发挥了重要的作用。理中发挥了重要的作用。

【技术实现步骤摘要】
面向机器视觉的渐进式遥感图像多层级语义分割方法


[0001]本专利技术属于计算机视觉
，具体涉及一种面向机器视觉的渐进式遥感图像多层级语义分割方法。

技术介绍

[0002]随着我国卫星数量的不断增加和遥感技术的不断发展，高分辨率遥感图像的数据量倍增，当面对这些待处理的海量数据时，遥感图像的快速、精准化处理的需求变得日益突出。近些年来，随着人工智能技术的蓬勃发展，机器视觉技术在遥感图像的处理领域中的应用越来越广泛，其中语义分割技术是将遥感图像应用机器视觉思想进行处理的一种方式，它的目的是为遥感图像中的每一个像素点都人工标记为一个特定的物种类别，赋予每个像素特定的类别意义，对遥感图像中的特定区域或目标进行分割，使得对遥感图像的处理速度远超传统的技术，在遥感图像的快速、精准化处理中发挥了重要的作用。
[0003]目前先进的遥感图像语义分割技术是基于深度学习的，利用卷积神经网络(CNN)获取输入图像然后输出分割结果图。申请号为CN202110530385.2的专利提出了一种基于超分辨率和域自适应的无监督遥感图像语义分割方法，通过特征金字塔注意力模块代替原超分辨率域自适应的无监督遥感图像语义分割方法中ASPP模块，并将残差特征金字塔注意力模块应用到判别器，为高层语义特征获取精确的像素级注意力；通过Dice系数损失函数缓解种类不均衡问题。申请号为CN202111530033.3的专利提出了一种基于深度学习的遥感图像语义分割方法，修改SegNet网络，在编码器中的前两个阶段增加两个空洞空间金字塔池化(ASPP)模块，有效提取多尺度特征，保留空间位置信息，完成两个ASPP模块的训练后，在解码器中进行相应的特征融合。申请号为CN202110623160.1的专利提出了一种特征自适应对齐的无监督域适应遥感图像语义分割方法，是一种基于对抗学习框架的深度学习无监督域适应遥感图像语义分割方法。该方法总体上包括语义分割模型(Segmentation model)和域判别器(Domain discriminator)两大模块，通过域判别器完成分割模型提取的目标域特征在输出空间向源域特征对齐，从而使得分割模型能够提升在目标域图像上的分割性能。
[0004]但是目前由于计算资源和内存资源的限制，大多数现有的技术无法处理高分辨率的输入图像。通常处理高分辨率遥感图像的方法是下采样处理，但这样可能导致输出了低分辨率的输出分割图；还有另外一种处理高分辨率遥感图像的方法是将图像切割成一个一个的小块，然后对每个图像小块分别进行语义分割，最后再进行拼接，然而这种方法没有考虑到整张遥感图像的全局信息。整个遥感图像的尺寸和局部图像块的尺寸之间存在着巨大的差距，这也将导致输出有着鲜明对比的分割结果图，并且很难通过一个层级的处理阶段来减小并调节这种差异。

技术实现思路

[0005]基于上述问题，本专利技术提出一种面向机器视觉的渐进式遥感图像多层级语义分割方法，在特定语义分割网络的基础上，通过多个层级的分割图像的不断叠加，使输出的分割
图在多层级的处理过程中不断细化，使得分割图具有全局信息的同时又有丰富的细节信息，结合全局上下文线索产生更精准的分割，将细化过后的分割图再进行不同放大因子的超分辨率重建，在满足计算资源和内存资源的条件下输出高分辨率的清晰语义分割图。
[0006]本专利技术提出一种面向机器视觉的渐进式遥感图像多层级语义分割方法，包括：
[0007]步骤1：对原始遥感图像中的目标物品进行识别标记，制作训练集和测试集；具体表述为：
[0008]步骤1.1：将原始遥感图像中的目标物品进行分类；
[0009]步骤1.2：为每种物品类别分配RGB值；
[0010]步骤1.3：根据分配的RGB值对该物品种类进行上色处理，得到遥感图像标签集；
[0011]步骤1.4：将得到的原始图像和标签集进行图像裁剪、图像的垂直与水平翻转处理，然后按照一定比例划分为训练集和测试集。
[0012]步骤2：搭建面向机器视觉的渐进式遥感图像多层级语义分割模型；所述分割模型由若干个相同的处理阶段堆叠起来，每个阶段都包含相同的预处理模块、分割模块、细化模块和超分辨率模块，随着图像从最粗层级到最细层级的渐进式分割，输出逐步细化的分割结果图；
[0013]所述预处理模块用于对原始遥感图像X进行窗口函数和下采样处理输出不同层级S所需大小的遥感图像X
wS
‑
；
[0014]所述分割模块用于对输入的遥感图像X
wS
‑
进行特征提取以及特征融合得到分割图像A
wS
‑
；
[0015]所述细化模块用于对上一个层级输出的分割图像Y
w(S
‑
1)
‑
与分割图像A
wS
‑
得到一个初始组合分割图B，计算上一个层级输出的分割图像Y
w(S
‑
1)
‑
与分割图像B之间的不确定性评分C，并根据评分值C对图像Y
w(S
‑
1)
‑
进行细化处理，得到细化图像Y
wS+
；
[0016]所述超分辨率模块用于对细化图像Y
wS+
进行超分辨处理得到超分辨率图像Y
S
；图像Y
S
作为下一层级预处理模块的输入。
[0017]所述预处理模块的搭建过程如下：
[0018]步骤A1：设置一组矩形窗口W
S
＝{w|w＝(x,y,h
S
,w
S
)}来对原始遥感图像X进行分块处理，每个窗口由窗口左上角坐标(x,y)、高度h
S
和宽度w
S
指定；
[0019]步骤A2：根据划分图像块的矩形窗口W
S
，将输入图像X分割为大小为h
S
×
w
S
的图像块X
wS
；
[0020]步骤A3：对图像块X
wS
进行下采样操作得到图像块X
wS
‑
，将图像块X
wS
‑
分别输入到网络模型中的分割模块、细化模块中；
[0021]所述分割模块的搭建过程如下：
[0022]将当前层级为S的预处理模块输出的图像块X
wS
‑
作为PSPNet网络的输入，经过第一预训练模型ResNet101提取特征，输出特征图T1；金字塔池化模块中的池化层采用1
×
1、2
×
2、3
×
3和6
×
6四种不同尺寸的池化操作得到多个尺寸的特征图T2、T3、T4、T5，并对这些尺寸的特征图进行1
×
1卷积来减少通道数得到特征图T2
′
、T3
′
、T4
′
、T5<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向机器视觉的渐进式遥感图像多层级语义分割方法，其特征在于，包括：步骤1：对原始遥感图像中的目标物品进行识别标记，制作训练集和测试集；步骤2：搭建面向机器视觉的渐进式遥感图像多层级语义分割模型；步骤3：设置训练参数，构造损失函数，对面向机器视觉的渐进式遥感图像多层级语义分割模型进行训练，更新网络参数，得到训练后的面向机器视觉的渐进式遥感图像多层级语义分割模型；步骤4：将步骤1中的遥感图像测试集输入到训练后的面向机器视觉的渐进式遥感图像多层级语义分割模型中，输出遥感图像的精确分割结果。2.根据权利要求1所述的一种面向机器视觉的渐进式遥感图像多层级语义分割方法，其特征在于，所述步骤1包括：步骤1.1：将原始遥感图像中的目标物品进行分类；步骤1.2：为每种物品类别分配RGB值；步骤1.3：根据分配的RGB值对该物品种类进行上色处理，得到遥感图像标签集；步骤1.4：将得到的原始图像和标签集进行图像裁剪、图像的垂直与水平翻转处理，然后按照一定比例划分为训练集和测试集。3.根据权利要求1所述的一种面向机器视觉的渐进式遥感图像多层级语义分割方法，其特征在于，所述步骤2分割模型由若干个相同的处理阶段堆叠起来，每个阶段都包含相同的预处理模块、分割模块、细化模块和超分辨率模块，随着图像从最粗层级到最细层级的渐进式分割，输出逐步细化的分割结果图；所述预处理模块用于对原始遥感图像X进行窗口函数和下采样处理输出不同层级S所需大小的遥感图像X
wS
‑
；所述分割模块用于对输入的遥感图像X
wS
‑
进行特征提取以及特征融合得到分割图像A
wS
‑
；所述细化模块用于对上一个层级输出的分割图像Y
w(S
‑
1)
‑
与分割图像A
wS
‑
得到一个初始组合分割图B，计算上一个层级输出的分割图像Y
w(S
‑
1)
‑
与分割图像B之间的不确定性评分C，并根据评分值C对图像Y
w(S
‑
1)
‑
进行细化处理，得到细化图像Y
wS+
；所述超分辨率模块用于对细化图像Y
wS+
进行超分辨处理得到超分辨率图像Y
S
；图像Y
S
作为下一层级预处理模块的输入。4.根据权利要求3所述的一种面向机器视觉的渐进式遥感图像多层级语义分割方法，其特征在于，所述预处理模块的搭建过程如下：步骤A1：设置一组矩形窗口W
S
＝{w|w＝(x,y,h
S
,w
S
)}来对原始遥感图像X进行分块处理，每个窗口由窗口左上角坐标(x,y)、高度h
S
和宽度w
S
指定；步骤A2：根据划分图像块的矩形窗口W
S
，将输入图像X分割为大小为h
S
×
w
S
的图像块X
wS
；步骤A3：对图像块X
wS
进行下采样操作得到图像块X
wS
‑...

【专利技术属性】
技术研发人员：雷为民，冯翔，于婷婷，张伟，叶文慧，
申请(专利权)人：东北大学，
类型：发明
国别省市：