基于生成对抗和类特征分布的域适应无监督图像分割方法技术

本发明专利技术公开了一种基于生成对抗和类特征分布的域适应无监督图像分割方法，其特点是采用对抗学习和基于类特征分布的自学习方法，对目标域图像的无监督语义分割，具体包括：主语义分割和辅助语义分割两个网络以及域对齐对抗和伪标签优化两个模块。本发明专利技术与现有技术相比具有分割精度高，多粒度语义一致性的优点，利用对抗学习和基于类特征分布的自学习，实现了对目标域图像的无监督语义分割，通过在全局和类别级别上对齐域来加强域之间的多粒度语义一致性，解决了传统无监督分割方法分割精度不足的问题。不足的问题。不足的问题。

【技术实现步骤摘要】
基于生成对抗和类特征分布的域适应无监督图像分割方法


[0001]本专利技术涉及图像语义分割
，具体的说是一种基于生成对抗和类特征分布的域适应无监督图像分割方法。

技术介绍

[0002]在过去十年中，特别是在全卷积神经网络提出后，卷积神经网络已经普遍被用于语义分割任务。然而，有监督的场景语义分割对数据提出了很高的要求，因为人工逐像素标注需要耗费大量的人力和时间。据统计人工标注每张实景场景图的像素级标签至少需要90分钟。因此无监督图像分割的准确度提升问题成为近几年的研究重点。计算机图形学的最新进展使得模拟器能够以较低的工作量生成有标签的合成图像，这启发了人们用带注释的合成图像作为源数据来训练模型，然后将训练好的模型用于未标记的目标数据。然而值得注意的是，合成图像和真实图像之间存在严重的域差异，直接将在源域上训练的模型使用到目标域时效果并不尽人意。为了解决这些由域差异引起的不利影响，一个比较流行的解决方案是域适应。
[0003]早期域适应工作被提出来解决回归和分类问题。传统的域适应方法侧重于最小化源域分布和目标域分布之间的距离以缓解差距本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于生成对抗和类特征分布的域适应无监督图像分割方法，其特征在于采用对抗学习和基于类特征分布的自学习方法，对目标域图像的无监督语义分割，具体包括如下步骤：S1：选择迁移学习任务的源域和目标域的数据集，两个域像素分为K个类，所述源域为D
S
＝{(x
s
,y
s
)|x
s
∈R
H
×
W
×3,y
s
∈R
H
×
W
}；所述目标域为D
T
＝{x
t
|x
t
∈R
H
×
W
×3}；S2：以源域图像作为输入，预训练主语义分割网络，并训练辅助语义分割网络，所述主语义分割网络与辅助分割网络均基于ResNet网络；S3：利用辅助分割网络获取源域图像每个类别中心的特征表示，其中：k＝1,2,
…
,K；S4：将源域和目标域的图片输入主语义分割网络，得到的分割图输入到对应的域对齐对抗模块组；S5：将所有类别中心的特征C
s
表示与目标域分割图输入伪标签优化模块，以得到目标域的伪标签；S6：通过联合所有损失训练主语义分割，并将目标域图片输入主语义分割网络，前向传播输出目标域语义预测分割结果，实现无标签目标域的无监督图像分割。2.根据权利要求1所述基于生成对抗和类特征分布的域适应无监督图像分割方法，其特征在于步骤S2采用有监督学习的方法进行训练，只输入源域图片，经完整的语义分割网络得到语义分割图，并用交叉熵损失作为分割损失进行训练，对于源域D
S
＝{(x
s
,y
s
)|x
s
∈R
H
×
W
×3,y
s
∈R
H
×
W
}中的一个样本(x
s
,y
s
)，所述监督学习使用下述a式：其中：K为类别总数；为标签y
s
在位置i属于类k的概率；为模型在样本x
s
的位置i处对类k的预测概率。3.根据权利要求1所述基于生成对抗和类特征分布的域适应无监督图像分割方法，其特征在于所述步骤S3具体为：对源域图像根据辅助语义分割网络的编码器输出求得源域每个类的特征表示向量的平均值，作为每个类中心的特征表示，所述特征由下述b式计算：其中：为源域图像中所有属于类k的像素点个数，N
s
为源域中的图像总数；为标签y
s
在图像i中像素j属于类k的概率；对于每个图像x
s
，f(x
s
)为编码器的输出结果，f...

【专利技术属性】
技术研发人员：文颖，李璐阳，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：