双级别对齐主动学习的半监督域自适应语义分割方法技术

本发明专利技术公开双级别对齐主动学习的半监督域自适应语义分割方法，包括步骤：进行基于主动学习的数据选择；初始的无标签目标域数据被输入一个预训练网络，嵌入到中间特征空间中；对特征向量进行聚类操作之后，使用主动学习的方法，即从各个聚类当中选择最具有多样性和不确定性的样本进行标注；进行域适应分割，通过一个转换器模型进行特征嵌入操作，通过特征层面以及语义层面的域对齐来实现从源域到目标域的分割操作

【技术实现步骤摘要】
双级别对齐主动学习的半监督域自适应语义分割方法


[0001]本专利技术属于语义分割
，特别是涉及双级别对齐主动学习的半监督域自适应语义分割方法
。

技术介绍

[0002]语义分割是计算机视觉中极为基础，同时也是极为重要的任务
。
其目标在于为一张给定的图片进行像素级别的标签分配
。
得益于近年来卷积神经网络
(convolution neural network
，
CNN)
的快速发展，语义分割已被应用在众多实际任务中，例如自动驾驶，医学图像诊断等
。
这些基于
CNN
的方法虽然已经取得了良好的效果，但其缺点在于需要大量昂贵且难以获得的标注数据进行训练
。
除此之外，当训练集和测试集中存在域偏移时，在训练集
(
源域
)
上进行训练的方法通常无法直接应用在测试集
(
目标域
)
上，即对模型进行跨域使用会导致其性能的严重下降
。
[0003]解决上述问题的做法之一是，将有着充足的标签数据领域的知识迁移到另一缺少标签数据的领域，即
UDA
方法
。UDA
方法已经被应用于许多计算机视觉任务当中
。
然而，此方法具有的问题在于，由于在目标域上缺少足够的标注数据，目标域数据无法为模型提供足够的强引导作用，从而导致决策边界向源域的偏移
。
虽然一些方法通过减少目标域和源域之间的差距取得了较好的结果，这一问题仍然未被完全解决
。
最近的一项研究指出，少量的带标注数据可以帮助模型理解域之间的不同，从而有效地缓解决策边界的偏移问题，也即半监督域自适应
(semi
‑
supervised domain adaptation
，
SSDA)。
不同于
UDA
仅关注在目标域上无标签数据的做法，
SSDA
致力于从目标域的一部分带标签数据中获取信息，从而实现在目标域上更好的泛化性能
。
正如前文所言，对大量数据进行标注是非常费时费力的，因此，如何选择恰当的样本进行标注便成为
SSDA
方法所面临的一个亟待解决的问题
。
选择好的样本可以为模型的训练带来尽可能多的信息，从而更好地帮助模型的训练
。
[0004]完成被选中样本的标注之后，一种常见的做法是在整体层面对齐其潜在特征，原始的
UDA
方法便采取了这种做法
。
然而，若忽略类别间的差异性，仅在特征层面上进行域对齐则很难保证特征在局部层面上的一致性
。
虽然整体上具有相同的分布，其对同一类别的表征仍然存在差异，从而导致模型域迁移性能的下降
。
并且语义级别的对齐，目前在
SSDA
场景中，为这一技术提供足够的准确信息作为监督是非常困难的
。
这进一步表明，如何选择最具有价值的目标域数据进行标注，即在有限的标签总数限制下提供尽可能多的信息，在半监督域自适应方法中有着极为重要的地位
。

技术实现思路

[0005]为了解决上述问题，本专利技术提出了双级别对齐主动学习的半监督域自适应语义分割方法，通过基于主动学习的待标注样本选择，模型可以得到更多的有利于域迁移的信息
。
本专利技术还提出两种域对齐方式：在变换器模型得到的特征上应用对抗学习的方法以实现跨域的分布一致性，即特征层面的域对齐；另外，对比学习的应用使得模型可以更好地表现语
义表征间的相似度与差异度，即语义层面的域对齐
。
[0006]为达到上述目的，本专利技术采用的技术方案是：双级别对齐主动学习的半监督域自适应语义分割方法，包括步骤：
[0007]S100,
进行基于主动学习的数据选择；初始的无标签目标域数据被输入一个预训练网络，嵌入到中间特征空间中；对特征向量进行聚类操作之后，使用主动学习的方法，即从各个聚类当中选择最具有多样性和不确定性的样本进行标注；
[0008]S200,
进行域适应分割，通过一个转换器模型进行特征嵌入操作，通过特征层面以及语义层面的域对齐来实现从源域到目标域的分割操作
。
[0009]进一步的是，基于主动学习的待标签数据选择时，首先获取目标域中特定样本的标签，之后使用这些标签中的信息来调整在模型目标域中的学习；选择主动学习方法，即选择代表目标域分布的样本进行标注，从而在降低总的标注花费的同时保持标签信息的充裕
。
[0010]进一步的是，所述进行基于主动学习的数据选择时包括步骤：
[0011]S101
，在源域的带标签数据集
D
S
上使用交叉熵损失预训练一个
CNN
分割模型；
[0012]S102
，将初始的无标签目标域数据输入到所训练
CNN
分割模型中以获取其中间特征和其分割的预测结果；
[0013]S103
，使用
K
平均算法，将中间特征分为
K
个聚类，并根据其特征的属性选择最具代表性的目标数据，以弥补源域和目标域之间的差距
。
[0014]进一步的是，选择与聚类中心最小的
L2
欧式距离的数据样本；
[0015]基于分割的预测结果，从每个聚类中选择同等数量的熵最高的
Hard
困难样本，将被分配标签以构建
D
L
。
[0016]进一步的是，在进行进行域适应分割时：通过对抗学习训练转换器模型，并使用其提取得到全局特征，在特征向量上施加分布的一致性约束，实现特征层面的域对齐；
[0017]语义层面的域对齐通过以下两个操作实现：
[0018]首先是局部层面上，通过应用对比学习方法，提高不同域间相同类别的语义表征向量的相似度和不同类别的语义表征向量的差别；
[0019]最后，利用训练得到的分割模型来为无标签目标域生成伪标签，并进一步使用生成的伪标签来扩展原带标签数据集，重新对跨域分割模型进行训练，从而提高其表现
。
[0020]进一步的是，通过特征层面的域对齐来实现从源域到目标域的分割操作，包括：
[0021]使用一个
CNN
编码器来提取局部特征，再使用一个转换器模型来构建
CNN
编码器特征中的全局依赖关系；选择只使用带标签源域数据
x
S
和带标签目标域数据
x
L
来训练模型；
CNN
输出的特征被进行位置编码，之后输入六个同样的转换器模型层；
[0022]每个转换器模型层包含一个多头注意力模块，两个残差加和层正则化层<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
双级别对齐主动学习的半监督域自适应语义分割方法，其特征在于，包括步骤：
S100,
进行基于主动学习的数据选择；初始的无标签目标域数据被输入一个预训练网络，嵌入到中间特征空间中；对特征向量进行聚类操作之后，使用主动学习的方法，即从各个聚类当中选择最具有多样性和不确定性的样本进行标注；
S200,
进行域适应分割，通过一个转换器模型进行特征嵌入操作，通过特征层面以及语义层面的域对齐来实现从源域到目标域的分割操作
。2.
根据权利要求1所述的双级别对齐主动学习的半监督域自适应语义分割方法，其特征在于，基于主动学习的待标签数据选择时，首先获取目标域中特定样本的标签，之后使用这些标签中的信息来调整在模型目标域中的学习；选择主动学习方法，即选择代表目标域分布的样本进行标注，从而在降低总的标注花费的同时保持标签信息的充裕
。3.
根据权利要求2所述的双级别对齐主动学习的半监督域自适应语义分割方法，其特征在于，所述进行基于主动学习的数据选择时包括步骤：
S101
，在源域的带标签数据集
D
S
上使用交叉熵损失预训练一个
CNN
分割模型；
S102
，将初始的无标签目标域数据输入到所训练
CNN
分割模型中以获取其中间特征和其分割的预测结果；
S103
，使用
K
平均算法，将中间特征分为
K
个聚类，并根据其特征的属性选择最具代表性的目标数据，以弥补源域和目标域之间的差距
。4.
根据权利要求3所述的双级别对齐主动学习的半监督域自适应语义分割方法，其特征在于，选择与聚类中心最小的
L2
欧式距离的数据样本；基于分割的预测结果，从每个聚类中选择同等数量的熵最高的
Hard
困难样本，将被分配标签以构建
D
L
。5.
根据权利要求1所述的双级别对齐主动学习的半监督域自适应语义分割方法，其特征在于，在进行进行域适应分割时：通过对抗学习训练转换器模型，并使用其提取得到全局特征，在特征向量上施加分布的一致性约束，实现特征层面的域对齐；语义层面的域对齐通过以下两个操作实现：首先是局部层面上，通过应用对比学习方法，提高不同域间相同类别的语义表征向量的相似度和不同类别的语义表征向量的差别；最后，利用训练得到的分割模型来为无标签目标域生成伪标签，并进一步使用生成的伪标签来扩展原带标签数据集，重新对跨域分割模型进行训练，从而提高其表现
。6.
根据权利要求1或5所述的双级别对齐主动学习的半监督域自适应语义分割方法，其特征在于，通过特征层面的域对齐来实现从源域到目标域的分割操作，包括：使用一个
CNN
编码器来提取局部特征，再使用一个转换器模型来构建
CNN
编码器特征中的全局依赖关系；选择只使用带标签源域数据
x
S
和带标签目标域数据
x
L
来训练模型；
CNN
输出的特征被进行位置编码，之后输入六个同样的转换器模型层；每个转换器模型层包含一个多头注意力模块，两个残差加和层正则化层
,
以及一个前向反馈网络；分别从输入数据
x
S
和
x
L
中得到全局特征
f
S
＝
G(x
S
)
和
f
L
＝
G(x...

【专利技术属性】
技术研发人员：侯云，王艳，陈颖，刘红伟，周激流，
申请(专利权)人：四川大学，
类型：发明
国别省市：