一种基于任务解构的无监督域自适应图像语义分割方法技术

本发明专利技术公开一种基于任务解构的无监督域自适应图像语义分割方法，建立基于任务解构的无监督域自适应图像语义分割模型，包括：从特征提取器中抽取一部分浅层的网络层作为一个浅层的目标域特征提取器，同时构建一个与目标域特征提取器同结构的孪生浅层特征提取器；特征提取器剩下的网络层作为一个共享的深层特征提取器；源域图像和目标域图像经过源域特征提取器和目标域特征提取器后，得到源域和目标域浅层特征；再经过深层特征提取器得到源域和目标域深层特征；再送入分割网络得到源域和目标域预测结果

【技术实现步骤摘要】
一种基于任务解构的无监督域自适应图像语义分割方法


[0001]本专利技术属于图像处理
，特别是涉及一种基于任务解构的无监督域自适应图像语义分割方法
。

技术介绍

[0002]图像语义分割是一项基础的计算机视觉任务
。
近年来，得益于深度学习技术的飞速发展，诸多图像语义分割相关的工作涌现出来，在自动驾驶
、
智能监控
、
医学图像分析等领域取得了巨大成功
。
然而，这些工作成功的通常依赖于大量的标注数据进行模型训练，昂贵的标注成本限制了这些方法在实际生活中的可用性
。
为了解决这一问题，研究学者们提出无监督域自适应
(Unsupervised Domain Adaptation,UDA)
算法，旨在利用一个与目标任务相关的有标注数据集
(
称之为源域
)
和一个目标任务上的无标注数据集
(
称之为目标域
)
来训练一个跨域的分割网络，从而实现在无需对目标域数据进行任何标注的情况下获得可观的分割性能
。
基于
UDA
的图像语义分割相关研究中，域对抗技术由于其强大的分布对齐能力和出色的性能表现，受到了广泛关注
。
[0003]尽管上述现有方法有效缓解了基于
UDA
的跨域图像语义分割中的域间隔问题，但仍存在两个潜在的由模型设计带来的问题，会限制跨域分割性能的提升
。
[0004]一个问题是任务之间的耦合过强
。
当前的工作基本上在同一个主干上同时执行域对齐任务和语义分割任务
。
这种结构往往会影响网络模型，尤其是特征提取部分，对于不同任务的关注程度，使其无法专注于某一个任务
。
例如，对于域对齐任务过度关注会导致特征提取器一定程度上忽略学习足够的用于语义分割的知识
。
反过来，对于语义分割任务的过度关注也会削弱特征提取器进行域对齐的能力
。
这种任务之间过于耦合的竞争关系会使得各个任务都不能得到充分学习，从而限制了网络的性能
。
[0005]第二个问题是网络对于源域的拟合过强
。
为了使网络模型具备足够的语义分割能力，通常会使用源域数据及其标签来训练模型
。
因此，模型会很好地拟合源域数据的分布
。
但由于源域和目标域数据都是通过同样的特征提取器进行特征提取的，模型对于源域的良好拟合反而会干扰对没有强监督信号的目标域的学习，使得域对齐的结果更偏向源域分布，从而影响网络在目标域上的性能
。

技术实现思路

[0006]为了解决上述问题，本专利技术提出了一种基于任务解构的无监督域自适应图像语义分割方法，利用两个孪生的浅层特征提取器来分别承担域对齐任务和语义分割任务，从而将这两个任务从单一主干网络中解构出来，同时避免目标域的语义分割受到源域监督训练的干扰
。
[0007]为达到上述目的，本专利技术采用的技术方案是：一种基于任务解构的无监督域自适应图像语义分割方法，包括步骤：
[0008]建立基于任务解构的无监督域自适应图像语义分割模型，包括：从特征提取器
E
中
抽取一部分浅层的网络层作为一个浅层的目标域特征提取器
e
tgt
，同时构建一个与
e
tgt
同结构的孪生浅层特征提取器
e
src
用于提取源域的浅层特征；特征提取器
E
剩下的网络层作为一个共享的深层特征提取器
e
share
连接着
e
tgt
与
e
src
；
[0009]基于任务解构的无监督域自适应图像语义分割模型的无监督域自适应图像语义分割方法，包括步骤：
[0010]S10
，给定源域输入图像
χ
S
和目标域输入图像
χ
T
，分别经过
e
src
和
e
tgt
后，得到源域浅层特征
ε
S
和目标域浅层特征
ε
T
；
[0011]S20
，
ε
S
和
ε
T
经过
e
share
后，分别得到源域的深层特征
f
S
和目标域的深层特征
f
T
；
[0012]S30
，
f
S
和
f
T
送入分割网络
H
后得到源域和目标域的预测结果
p
S
和
p
T
。
[0013]进一步的是，在源域的预测结果
p
S
上采用交叉熵损失
L
ce
来训练源域的分割网络来训练源域的分割网络表示模块之间的连接
。
[0014]进一步的是，将域对齐任务解构到
e
src
上，通过添加一个位于浅层的判别器
D
shall
使得源域的浅层特征分布向目标域靠近，损失计算为：
[0015][0016]其中表示判别器
D
shall
的输出在空间位置上所有元素的数目
。
[0017]进一步的是，在输出层面上添加了一个域判别器
D
out
，通过对抗损失来辅助进一步缩小源域和目标域的域间隔，计算公式为：
[0018][0019]其中，表示判别器
D
out
的输出在空间位置上所有元素的数目
。
[0020]进一步的是，建立所述判别器
D
shall
和
D
out
的判别损失分别为：
[0021][0022][0023]进一步的是，建立一致性学习模块，引入另一个结构相同但随机初始化的分割头来得到
f
T
的另一种分割预测结果并通过一致性损失约束
p
T
与的一致性
。
[0024]进一步的是，所述一致性损失采用2范数进行计算，公式为：
[0025][0026]进一步的是，在一致性损失约束中引入不确定估计来指导分割模型更加关注可靠区域的学习
。
[0027]进一步的是，在一致性损失约束中引入不确定估计来指导分割模型更加关注可靠区域的学习时：
[0028]针对预测结果
p
T
，采用信息熵的方式来计算其对应的不确定图
U
；
[0029]通过<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于任务解构的无监督域目适应图像语义分割方法，其特征在于，包括步骤：建立基于任务解构的无监督域自适应图像语义分割模型，包括：从特征提取器
E
中抽取一部分浅层的网络层作为一个浅层的目标域特征提取器
e
tgt
，同时构建一个与
e
tgt
同结构的孪生浅层特征提取器
e
src
用于提取源域的浅层特征；特征提取器
E
剩下的网络层作为一个共享的深层特征提取器
e
share
连接着
e
tgt
与
e
src
；基于任务解构的无监督域自适应图像语义分割模型的无监督域自适应图像语义分割方法，包括步骤：
S10
，给定源域输入图像
χ
S
和目标域输入图像
χ
T
，分别经过
e
src
和
e
tgt
后，得到源域浅层特征
ε
S
和目标域浅层特征
ε
T
；
S20
，
ε
S
和
ε
T
经过
e
share
后，分别得到源域的深层特征
f
S
和目标域的深层特征
f
T
；
S30
，
f
S
和
f
T
送入分割网络
H
后得到源域和目标域的预测结果
p
S
和
p
T
。2.
根据权利要求1所述的一种基于任务解构的无监督域自适应图像语义分割方法，其特征在于，在源域的预测结果
p
S
上采用交叉熵损失
L
ce
来训练源域的分割网络来训练源域的分割网络表示模块之间的连接
。3.
根据权利要求2所述的一种基于任务解构的无监督域自适应图像语义分割方法，其特征在于，将域对齐任务解构到
e
src
上，通过添加一个位于浅层的判别器
D
shall
使得源域的浅层特征分布向目标域靠近，损失计算为：其中表示判别器
D
shall
的输出在空间位置上所有元素的数目
。4.
根据权利要求3所述的一种基于任务解构的无监督域自适应图像语义分割方法，其特征在于，在输出层面上添加...

【专利技术属性】
技术研发人员：王艳，侯云，陈颖，刘红伟，周激流，
申请(专利权)人：中国电子科技集团公司第十研究所，
类型：发明
国别省市：