一种语义分割图的获取方法、装置、设备及可读存储介质制造方法及图纸

本发明专利技术提供了一种语义分割图的获取方法、装置、设备及可读存储介质，所述方法包括：获取样本图像集；构建初始语义分割网络结构，所述初始语义分割网络结构包括图像输入、教师网络分支、学生网络分支和总损失函数；利用所述样本图像集对初始语义分割网络结构进行训练，得到语义分割网络模型；利用所述语义分割网络模型对待处理图像进行语义分割，得到所述待处理图像对应的语义分割图。本发明专利技术架构了一种双分支的深度语义分割网络，该网络能够进行端到端的训练，其中，教师网络分支可以将每一张图斑的超像素语义一致性知识提供给学生网络分支，以弥补多次下采样造成的分辨率损失，从而提升图像语义分割的泛化精度。图像语义分割的泛化精度。图像语义分割的泛化精度。

【技术实现步骤摘要】
一种语义分割图的获取方法、装置、设备及可读存储介质


[0001]本专利技术涉及图像及遥感影像深度语义分割
，具体而言，涉及一种语义分割图的获取方法、装置、设备及可读存储介质。

技术介绍

[0002]语义分割指的是对图像进行像素级分类，即为每一个像素预测一个类别标签。近来的深度语义分割网络如Unet、残差Unet、deeplabv3+等在图像语义分割中取得显著的成功。然而，由于这些网络在编码器中不可避免地引入多次下采样，造成不同程度的分辨率损失，导致图像分割结果常常存在语义边界误差，在解码阶段即使采用插值方法也难以恢复，如何弥补下采样造成的分辨率损失是提升图像语义分割精度的关键问题。

技术实现思路

[0003]本专利技术的目的在于提供一种语义分割图的获取方法、装置、设备及可读存储介质，以改善上述问题。
[0004]为了实现上述目的，本申请实施例提供了如下技术方案：
[0005]一方面，本申请实施例提供了一种语义分割图的获取方法，所述方法包括：
[0006]获取样本图像集；
[0007]构建初始语义分割网络结构，所述初始语义分割网络结构包括图像输入、教师网络分支、学生网络分支和总损失函数；
[0008]利用所述样本图像集对初始语义分割网络结构进行训练，得到语义分割网络模型；
[0009]利用所述语义分割网络模型对待处理图像进行语义分割，得到所述待处理图像对应的语义分割图。
[0010]第二方面，本申请实施例提供了一种语义分割图的获取装置，所述装置包括获取模块、构建模块、训练模块和分割模块。
[0011]获取模块，用于获取样本图像集；
[0012]构建模块，用于构建初始语义分割网络结构，所述初始语义分割网络结构包括图像输入、教师网络分支、学生网络分支和总损失函数；
[0013]训练模块，用于利用所述样本图像集对初始语义分割网络结构进行训练，得到语义分割网络模型；
[0014]分割模块，用于利用所述语义分割网络模型对待处理图像进行语义分割，得到所述待处理图像对应的语义分割图。
[0015]第三方面，本申请实施例提供了一种语义分割图的获取设备，所述设备包括存储器和处理器。存储器用于存储计算机程序；处理器用于执行所述计算机程序时实现上述语义分割图的获取方法的步骤。
[0016]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储有
计算机程序，所述计算机程序被处理器执行时实现上述语义分割图的获取方法的步骤。
[0017]本专利技术的有益效果为：
[0018]本专利技术利用超像素内的像素大概率具有语义一致性的知识，建立了一种新的损失函数项，称之为超像素预测标签的确定性损失；基于该损失函数，架构了一种双分支的深度语义分割网络，该网络能够进行端到端的训练，教师网络分支可以将每一张图斑的超像素语义一致性知识提供给学生网络，以弥补多次下采样造成的分辨率损失。从而提升图像语义分割的泛化精度。同时学生网络和教师网络也可以使用目前主流的分割网络，只需添加一个损失项即可。
[0019]本专利技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本专利技术实施例了解。本专利技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
[0020]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
[0021]图1是本专利技术实施例中所述的语义分割图的获取方法流程示意图；
[0022]图2是本专利技术实施例中所述的语义分割图的获取装置结构示意图；
[0023]图3是本专利技术实施例中所述的语义分割图的获取设备结构示意图；
[0024]图4是本专利技术实施例中所述的学生网络分支的结构图；
[0025]图5是本专利技术实施例中所述的人工标注的建筑物结果图；
[0026]图6是本专利技术实施例中所述的将含有建筑物的图像输入第一模型中的预测结果图；
[0027]图7是本专利技术实施例中所述的将含有建筑物的图像输入语义分割网络模型中的预测结果图。
具体实施方式
[0028]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本专利技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本专利技术的实施例的详细描述并非旨在限制要求保护的本专利技术的范围，而是仅仅表示本专利技术的选定实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0029]应注意到：相似的标号或字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本专利技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0030]实施例1
[0031]如图1所示，本实施例提供了一种语义分割图的获取方法，该方法包括步骤S1、步骤S2、步骤S3和步骤S4。
[0032]步骤S1、获取样本图像集；
[0033]在本步骤中，采用256*256大小的9000张高分辨率遥感图斑作为样本图像集；
[0034]步骤S2、构建初始语义分割网络结构，所述初始语义分割网络结构包括图像输入、教师网络分支、学生网络分支和总损失函数；
[0035]在本步骤中，构建初始语义分割网络结构具体包括步骤S21；
[0036]步骤S21、构建初始语义分割网络结构，其中，学生网络分支中包括全卷积深度语义分割网络，所述全卷积深度语义分割网络包括编码器和解码器，编码器提取图像的层次化特征，包括深层特征和浅层特征，解码器负责将提取的特征上采样并定位到每个像素，通过Softmax分类器，输出一个语义分割概率图；教师网络分支中包括预训练好的超像素下采样模型；总损失函数包括第一损失函数和第二损失函数，所述第一损失函数为语义分割损失函数，所述第二损失函数为超像素级预测标签的确定性损失函数。
[0037]在本步骤中：
[0038](1)学生网络分支中的全卷积深度语义分割网络可以是Unet、DeepLabV3+等全卷积网络；其中，学生网络分支的结构如图4所示，编码器由5个模块组成，分别是D0、D1、D2、D3、D4；所述D0模块由两个连续的3*3卷积层、一个非线性激活函数组成；所述Di(1＝<i<＝4)接受Di
‑
1的输出，依次经过池化、两个连续的3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义分割图的获取方法，其特征在于，包括：获取样本图像集；构建初始语义分割网络结构，所述初始语义分割网络结构包括图像输入、教师网络分支、学生网络分支和总损失函数；利用所述样本图像集对初始语义分割网络结构进行训练，得到语义分割网络模型；利用所述语义分割网络模型对待处理图像进行语义分割，得到所述待处理图像对应的语义分割图。2.根据权利要求1所述的语义分割图的获取方法，其特征在于，构建初始语义分割网络结构，包括：构建初始语义分割网络结构，其中，学生网络分支中包括全卷积深度语义分割网络，所述全卷积深度语义分割网络包括编码器和解码器，编码器提取图像的层次化特征，包括深层特征和浅层特征，解码器负责将提取的特征上采样并定位到每个像素，通过Softmax分类器，输出一个语义分割概率图；教师网络分支中包括预训练好的超像素下采样模型；总损失函数包括第一损失函数和第二损失函数，所述第一损失函数为语义分割损失函数，所述第二损失函数为超像素级预测标签的确定性损失函数。3.根据权利要求1所述的语义分割图的获取方法，其特征在于，利用所述样本图像集对初始语义分割网络结构进行训练，得到语义分割网络模型，包括：训练过程：将所述训练图像集中的图像随机混洗并划分为m个批次，对于每个批次的图像，通过所述初始语义分割网络结构进行前向传播，计算出总损失值，同时进行梯度反向传播，更新网络参数，所述m为正整数；不断重复所述训练过程，直到所述总损失值收敛，得到所述语义分割网络模型。4.根据权利要求1所述的语义分割图的获取方法，其特征在于，利用所述样本图像集对初始语义分割网络结构进行训练，得到语义分割网络模型，包括：在训练过程中，针对每张样本图像，将所述样本图像进行预处理，得到预处理图像；将所述预处理图像分别输入教师网络分支、学生网络分支，在学生网络分支中，经过一个全卷积深度语义分割网络，输出语义分割概率图，所述语义分割概率图表示的是每个像素的类别概率分布；在教师网络分支中，经过一个训练好的超像素下采样模型分支，输出超像素下采样关联矩阵，该关联矩阵描述的是像素与超像素之间的关联关系，再根据所述概率图和所述关联矩阵计算超像素级的类别概率分布；根据所述语义分割概率图计算第一损失函数值，根据所述语义分割概率图和所述超像素级的类别概率分布联合计算第二损失函数值，根据所述第一损失函数值、所述第二损失函数值及其各自对应的权重，计算总损失值。5.一种语义分割图的获取装置，其特征在于，包括：获取模块，用于获取样本图像集；构建模块，用于构建初始语义分割网络结构，所述初始语义分割网络结构包括图像输入、教师网络分支...

【专利技术属性】
技术研发人员：赵秋泉，李建元，孙晓波，金佳佳，
申请(专利权)人：浙大城市学院，
类型：发明
国别省市：