一种基于类别同异性引导的无监督域适应语义分割方法技术

本发明专利技术公开了一种基于类别同异性引导的无监督域适应语义分割方法，类别同异性的内涵包括同类特征聚合与异类特征推远，即在域适应过程中，既保证了不同域之间相同类别目标的特征尽可能靠近相同的聚类中心，同时使得不同类别目标之间的特征分布差异尽可能大。从同类特征聚合+异类特征推远出发，通过构建图像级—特征级—类别级—实例级的层级域适应策略，实现由粗到细、由浅至深的域适应效果。本发明专利技术所构建的模型全面考虑了源域与目标域之间的差异，并在通用街景语义数据集无监督域适应语义分割任务上实现了领先的性能表现。分割任务上实现了领先的性能表现。分割任务上实现了领先的性能表现。

【技术实现步骤摘要】
一种基于类别同异性引导的无监督域适应语义分割方法


[0001]本专利技术涉及计算机视觉与模式识别
，更具体的说是涉及一种基于类别同异性引导的无监督域适应语义分割方法。

技术介绍

[0002]语义分割是对图像中的每一个像素赋予一个语义标签。目前基于深度学习的语义分割方法需要大规模的人工精细化标注，而精细化标注的时间和人力成本极高，因此利用已有的有标注源域数据训练模型，在无标注的目标域上进行有效推理，进而在目标域上实现无监督的语义分割，此种方法称为无监督域适应语义分割，其具有理论上的研究价值与实际的应用价值。
[0003]无监督域适应语义分割任务，其核心在于缩小源域与目标域之间的域间差异，使得在源域上训练的模型在目标域上的泛化能力尽可能地强。目前主流的域适应策略可以分为基于距离优化的方法和基于对抗生成网络(Generative Adversarial Network,GAN)的方法，前者通过构建距离评价策略，通过最小化源域特征与目标域特征分布之间的距离来实现域适应；后者通过对抗生成策略来实现模型对域间差异的泛化能力。由于对抗生成网络较本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于类别同异性引导的无监督域适应语义分割方法，其特征在于，包括：第一阶段训练过程和第二阶段训练过程，所述第一阶段训练过程包括以下步骤：图像级域适应：将源域图像与目标域图像x
t
输入图到图转换网络中，利用对抗生成损失和循环一致性约束监督所述图到图转换网络训练，获取具有源域图像语义内容和目标域图像风格特征的转换后源域图像特征级域适应：将转换后源域图像转换后源域图像对应的像素级标注y
s
以及目标域图像x
t
输入至共享参数的特征提取网络中提取图像特征，并将源域图像和目标域图像的特征图送入判别器D进行判别，基于对抗学习策略，交替训练生成器G和所述判别器D，并基于生成对抗损失监督网络直至模型收敛；类别级域适应：基于两个独立的解码器{D
S
,D
T
}分别提取源域图像和目标域图像的特征图和预测概率，并根据预测概率提取相应通道的特征分布，采用余弦距离计算异类特征之间的相似度，采用曼哈顿距离优化同类特征分布，并采用类内聚合与类间推远并行机制的损失函数；实例级域适应：基于源域图像的特征图和目标域图像的特征图分别进行实例级特征表示，并结合源域图像的特征向量和目标域图像的特征向量计算类别级域适应复杂度，通过所述实例级特征表示和所述类别级域适应复杂度优化实例级域损失函数；所述第二阶段训练过程基于第一阶段训练好的模型，基于自监督学习方式生成目标域的伪标注，重新训练模型。2.根据权利要求1所述的一种基于类别同异性引导的无监督域适应语义分割方法，其特征在于，图像级域适应中对抗生成损失函数为：其中，表示生成网络和判别网络之间的对抗损失，E(
·
)表示统计期望，目标域图像域图像表示目标域中的图像样本，X
T
表示目标域样本集合，源域图像与其对应的像素级标注对应的像素级标注表示源域中的图像样本，X
S
表示源域图像样本集合，表示对应的像素级标注，Y
S
表示源域标注集合；循环一致性约束损失函数为：其中，L
cyc
(G
S
,G
T
)表示循环一致性损失，P
data
(x
s
)为源域数据分布表示，G
S
表示源域至目标域的生成网络，G
T
表示目标域至源域的生成网络，P
data
(x
t
)为目标域数据分布表示，E(
·
)表示统计期望。3.根据权利要求2所述的一种基于类别同异性引导的无监督域适应语义分割方法，其特征在于，基于生成对抗损失监督网络直至模型收敛中的损失函数为：
其中，表示生成网络G和判别网络D之间的对抗损失，S表示softmax函数，表示目标域中的图像样本。4.根据权利要求3所述的一种基于类别同异性引导的无监督域适应语义分割方法，其特征在于，判别器D的优化策略为判别输入的特征为输入源域还是目标域，其损失函数为：其中，L
D
(G,D)表示判别器D的损失，S表示softmax函数，表示目标域中的样本，表示源域中的样本。5.根据权利要求4所述的一种基于类别同异性引导的无监督域适应语义分割方法，其特征在于，基于两个独立的解码器{D
S
,D
T
}分别对源域图像和目标域图像的特征图和预测概率具体计算公式为：率具体计算公式为：其中，是经过编码网络得到的D维的语义特征，是经过编码网络得到的D维的语义特征，为预测概率，N为数据集类别数，h和w分别表示源域或目标域特征图的高度和宽度。6.根据权利要求5所述的一种基于类别同异性引导的无监督域适应语义分割方法，其特征在于，采用余弦距离计算异类特征之间的相似度，计算公式为：D
sim
(c
i
,c
j
)＝0.5+0.5
×
D
cosine
(c
i
,c
j
)
ꢀꢀꢀꢀ
(8)其中，D
sim

【专利技术属性】
技术研发人员：赵丹培，苑博，史振威，张浩鹏，姜志国，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：