一种联合自监督学习和半监督学习的地外图片分割方法和系统技术方案

本发明专利技术涉及一种联合自监督学习和半监督学习的地外图片分割方法和系统。该方法对于地外图片通过掩码图片建模的方式进行自监督预训练，使得模型学习到多样鲁棒的特征空间表示，然后通过半监督方式来微调模型，充分利用地外数据中未标注部分的信息，使得模型在下游任务即语义分割上能有更好的表现。本发明专利技术通过自监督学习预训练使得网络可以在无标签数据中学习到良好的特征表示，并且提高了半监督方式下微调阶段的伪标签预测质量，同时微调阶段通过产生伪标签来利用未标注区域的监督信息，使得模型输出的预测结果更准确。本发明专利技术能够显著提升图片分割性能。著提升图片分割性能。著提升图片分割性能。

【技术实现步骤摘要】
一种联合自监督学习和半监督学习的地外图片分割方法和系统


[0001]本专利技术属于图片分割领域和自监督学习及半监督学习领域，具体涉及一种联合自监督学习和半监督学习的地外图片分割方法和系统。

技术介绍

[0002]图像分割旨在把图像分成若干个特定的、具有单独语义信息的区域，对输入图片的每一个像素点进行分类，确定每一个像素的类别，从而进行区域划分，提取出感兴趣的部分。图像分割是目前人工智能领域的一个重要分支。
[0003]现有的图像分割方法可以整体上分为如下两类。第一类是传统图像分割算法，包括：阈值法，简单地根据图像的像素值和设定的阈值的大小关系分成两类实现前景和背景的分离；像素聚类法，假设图像中有K个类别，采用迭代聚类的方式如K
‑
means聚类算法，将图像每个像素点分类；边缘分割法，根据图像边缘检测的结果，将图像中的不同区域分割出来；图切割算法，通过构建图片像素之间的赋权图，将图像分割与图的最小割问题关联等。这些算法使用传统的构造或迭代算法来进行图像分割。第二类是基于深度学习的图像分割算法，通过前馈网络为每一个像素点输出一个分类结果，典型的网络结构包括全卷积、扩张卷积等。
[0004]但是，上述方法中传统算法无法充分利用现有的数据集资源，且并不能取得很好的效果，在复杂场景的分割中精度往往不能满足要求；而已有的基于前传的深度学习方法一方面过于依赖大量标注数据的监督训练，而目前的地外图片分割数据集(例如火星图片分割数据集)无法满足实现高性能的纯监督训练下的数据需求；另一方面目前方法未充分考虑地外数据的特点，如稀疏标注、相似图片数据较多等，分割结果仍具有较大的提升空间，整体上性能无法满足实际应用的需求。

技术实现思路

[0005]针对上述技术问题，本专利技术提出了一种联合自监督学习和半监督学习的地外图片分割方法，减轻对大量标注数据的依赖，同时结合地外图片特性约束模型学习到的特征空间。
[0006]本专利技术采用的技术方案如下：
[0007]一种联合自监督学习和半监督学习的地外图片分割方法，包括以下步骤：
[0008]收集地外图片训练数据；
[0009]在自监督预训练阶段，利用地外图片训练数据进行自监督预训练，以学习图片掩码区域的颜色特征和纹理特征，得到自监督预训练阶段的神经网络模型；
[0010]在半监督微调阶段，利用地外图片中未标注部分的信息对自监督预训练阶段的神经网络模型进行微调和训练，得到半监督微调阶段的图片分割神经网络模型；
[0011]将待分割图片输入训练完成的半监督微调阶段的图片分割神经网络模型，得到语
义分割结果。
[0012]进一步地，所述收集地外图片训练数据，是收集大量地外图片及其对应的分割标签组成训练数据集。
[0013]进一步地，所述自监督预训练阶段的神经网络模型包括特征提取网络B
seg
、输出模块H
RGB
、输出模块H
LBP
；将地外图片数据进行随机掩码，输入所述特征提取网络B
seg
，所述特征提取网络B
seg
将网络的深层特征和浅层特征汇合得到图片的特征表示，该特征表示分别输入输出模块H
RGB
、输出模块H
LBP
，对原图片掩码区域的颜色特征和纹理特征进行预测，即分别在RGB色彩空间和局部二进制模式特征空间下进行预测。
[0014]进一步地，所述自监督预训练阶段采用以下损失函数进行端到端地联合优化：
[0015]L
rgb
＝||g(f(x
⊙
M)))
‑
x||2[0016]L
lbp
＝||h(f(x
⊙
M)))
‑
s||2[0017]L
pre
‑
train
＝λ1L
rgb
+λ2L
lbp
[0018]式中，L
rgb
为RGB色彩预测的损失函数项，L
lbp
为局部二进制模式特征预测的损失函数项，x为输入样本图片，s为x掩码前计算得到的局部二进制模式直方图，g、h分别代表输出模块H
RGB
和输出模块H
LBP
，f代表特征提取网络；M表示随机产生的掩码，其中1表示该区域有效；
⊙
表示元素积的运算，L
pre
‑
train
为总损失函数项，λ1与λ2为权重值。
[0019]进一步地，所述半监督微调阶段的图片分割神经网络模型包括特征提取网络f、输出模块H
seg
、判别器d；所述判别器通过学习图片中每个像素的标注不确定性来预测每个像素是否被标注，通过设定阈值将置信度高的区域选择出来作为伪标签；将伪标签与原数据已标注区域的真实标签进行融合，利用融合得到的标签对网络的语义分割预测结果进行约束，进行端到端的训练。
[0020]进一步地，所述半监督微调阶段的训练过程分为两步：
[0021]第一步即训练前期的总函数损失项为：
[0022]L＝λ
ce
L
ce
+λ
dice
L
dice
，
[0023]其中，L
ce
为分割预测交叉熵损失函数项，L
dice
为优化判别器二分类预测的损失函数项，λ
ce
和λ
dice
为权重值；
[0024]第二步即训练后期加入L
pseudo
损失，即总函数损失项为：
[0025]L＝λ
ce
L
ce
+λ
dice
L
dice
+λ
pseudo
L
pseudo
，
[0026]其中，L
pseudo
为基于伪标签的未标注区域预测交叉熵损失函数项，λ
pseudo
为权重值。
[0027]一种联合自监督学习和半监督学习的地外图片分割系统，其包括：
[0028]训练数据收集模块，用于收集地外图片训练数据；
[0029]自监督预训练模块，用于利用地外图片训练数据进行自监督预训练，以学习图片掩码区域的颜色特征和纹理特征，得到自监督预训练阶段的神经网络模型；
[0030]半监督微调模块，用于利用地外图片中未标注部分的信息对自监督预训练阶段的神经网络模型进行微调和训练，得到半监督微调阶段的图片分割神经网络模型；
[0031]语义分割模块，用于将待分割图片输入训练完成的半监督微调阶段的图片分割神经网络模型，得到语义分割结果。
[0032]本专利技术通过自监督学习预训练使得网络可以在无标签数据中学习到良好的特征表示，并且提高了半监督方式下微调阶段的伪标签预测质量，同时微调阶段通过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合自监督学习和半监督学习的地外图片分割方法，其特征在于，包括以下步骤：收集地外图片训练数据；在自监督预训练阶段，利用地外图片训练数据进行自监督预训练，以学习图片掩码区域的颜色特征和纹理特征，得到自监督预训练阶段的神经网络模型；在半监督微调阶段，利用地外图片中未标注部分的信息对自监督预训练阶段的神经网络模型进行微调和训练，得到半监督微调阶段的图片分割神经网络模型；将待分割图片输入训练完成的半监督微调阶段的图片分割神经网络模型，得到语义分割结果。2.根据权利要求1所述的方法，其特征在于，所述收集地外图片训练数据，是收集大量地外图片及其对应的分割标签组成训练数据集。3.根据权利要求1所述的方法，其特征在于，所述自监督预训练阶段的神经网络模型包括特征提取网络B
seg
、输出模块H
RGB
、输出模块H
LBP
；将地外图片数据进行随机掩码，输入所述特征提取网络B
seg
，所述特征提取网络B
seg
将网络的深层特征和浅层特征汇合得到图片的特征表示，该特征表示分别输入输出模块H
RGB
、输出模块H
LBP
，对原图片掩码区域的颜色特征和纹理特征进行预测，即分别在RGB色彩空间和局部二进制模式特征空间下进行预测。4.根据权利要求3所述的方法，其特征在于，所述自监督预训练阶段采用以下损失函数进行端到端地联合优化：L
rgb
＝||g(f(x
⊙
M)))
‑
x||2L
lbp
＝||h(f(x
⊙
M)))
‑
s||2L
pre
‑
train
＝λ1L
rgb
+λ2L
lbp
其中，L
rgb
为RGB色彩预测的损失函数项，L
lbp
为局部二进制模式特征预测的损失函数项，x为输入样本图片，s为x掩码前计算得到的局部二进制模式直方图，g、h分别代表输出模块H
RGB
和输出模块H
LBP
，f代表特征提取网络；M表示随机产生的掩码，其中1表示该区域有效；
⊙
表示元素积的运算，L
pre
‑
train
为总损失函数项，λ1与λ2为权重值。5.根据权利要求1所述的方法，其特征在于，所述半监督微调阶段的图片分割神经网络模型包括特征提取网络f、输出模块H
seg
、判别器d；所述判别器通过学习图片中每个像素的标注不确定性来预测每个像素是否被标注，通过设定阈值将置信度高的区域选择出来作为伪标签；将伪标签与原数据已标注区域的真实标签进行融合，利用融合得到的标签对网络的语义分割预测结果进行约束，进行端到端的训练。6....

【专利技术属性】
技术研发人员：刘家瑛，张佳航，林里浪，樊泽嘉，汪文靖，
申请(专利权)人：北京大学，
类型：发明
国别省市：