基于加权互学习的无监督多源域适应图像语义分割方法技术

本发明专利技术公开了一种基于加权互学习的无监督多源域适应图像语义分割方法，属于计算机视觉领域，包括以下步骤：确定目标域和多种源域数据集、构建对应的图像语义分割模型、源域有标注数据训练模型、目标域无标注数据计算模型置信度权重、进行加权互学习、判断训练收敛、多个模型联合推理和生成目标域数据集的预测结果和模型。本发明专利技术可以应用于多种源域向一个无监督目标域的域适应训练。本发明专利技术针对多源域问题中源域间的域偏移问题，提出使用加权互学习实现源域间知识融合和对齐，所应用的多源域场景更加接近现实设定，能够取得更好的域适应效果，有益于扩展图像语义分割技术的应用范围。有益于扩展图像语义分割技术的应用范围。有益于扩展图像语义分割技术的应用范围。

【技术实现步骤摘要】
基于加权互学习的无监督多源域适应图像语义分割方法


[0001]本专利技术属于计算机视觉领域，具体涉及一种基于加权互学习的无监督多源域适应图像语义分割方法。

技术介绍

[0002]图像语义分割是计算机视觉领域的重要任务之一，旨在对图像逐像素地预测其所属类别。由预测结果产生的语义分割图可以被用来精确识别图像中物体的形状、位置以及类别，并最终被用来辅助计算机理解自然场景。无论是在自动驾驶、人机交互和虚拟现实等高速发展的新兴领域，还是在遥感和医学影像识别等传统的任务上，都有着重要的意义。随着深度学习技术的发展，深度神经网络在语义分割任务上取得令人瞩目的成果。然而，深度神经网络通常依赖大规模的人工标注数据监督训练，从而获得可靠的性能。深度神经网络具有较强的数据拟合能力，因此对于任务相同，但训练数据没有覆盖的场景,模型的性能都会受到影响而下降。针对每一个新场景收集和标注大规模的数据集是非常昂贵且耗时的。
[0003]无监督域适应技术为解决新场景的标注缺失问题提供了有效的理论指导。其思想是：利用与目标场景相似的有标注数据集(称之为源域)进行有监督的训本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于加权互学习的无监督多源域适应图像语义分割方法，其特征在于，包括以下步骤：采集和构建无标注目标域数据集和多种有标注的源域数据集，所述标注是指对数据集图像中的像素类别进行的标注；针对每个源域数据集，构建对应的具有相同结构的语义分割模型；使用所述多种有标注的源域数据集通过交叉熵损失训练对应的语义分割模型，使得模型获得对应的源域数据集中的知识；使用所述无标注目标域数据集输入每个语义分割模型，利用语义分割模型输出的类别概率图计算语义分割模型的置信度权重；基于语义分割模型的置信度权重，实现语义分割模型在目标域数据集的特征和概率两个层面的加权互学习；判断语义分割模型训练是否收敛，如果不收敛，则继续训练语义分割模型；如果收敛，则针对目标域数据集，利用训练得到的多个语义分割模型进行联合推理，获得最终的预测结果。2.如权利要求1所述的方法，其特征在于，图像语义分割模型基于DeepLab模型，骨干网络采用ResNet。3.如权利要求1所述的方法，其特征在于，训练语义分割模型的方法如下：令源域数据集表示为其中i代表源域数据集的编号，源域数量为I，x
S
表示源域图像，y
S
表示源域标注，H，W分别表示图像的高度和宽度，R表示实数集，3为图像的通道数；源域的有标注数据被用来训练语义分割模型获得源域中的知识，使用的交叉熵损失函数的公式如下：式中，F代表被训练的语义分割模型，K为类别总数，F
k
(x
S
)代表预测输入属于k类的概率，为指示函数。4.如权利要求3所述的方法，其特征在于，利用语义分割模型输出的类别概率图计算模型的置信度权重的步骤包括：令目标域数据集表示为D
T
＝{x
T
|x
T
∈R
H
×
W
×3}，语义分割模型对于输入的像素，预测其概率分布的信息熵，利用该信息熵来估计语义分割模型对该像素的置信度；语义分割模型F对目标域图片x
T
的预测概率分布的信息熵由下式计算得出：式中，log的底数为e；对于多个语义分割模型，通过每个语义模型的信息熵进一步计算得到语义分割模型的置信度权重，其公式如下：式中，F
i
代表编号为i的源域数据集对应的语义分割模型，I表示源域数量，τ为温度系数，H
upper
代表预测概率分布的信息熵的上界，其值与类别数量有关，由下式计算得出：
式中，log的底数为e。5.如权利要求4所述的方法，其特征在于，利用语义分割模型的置信度权重实现概率层面的加权互学习的方法为：通过无标注的目标域图像，通过语义分割模型间的互学习实现不同源域模型间的知识融合和域对齐；在多源域域适应任务中，考虑...

【专利技术属性】
技术研发人员：王瑞，张凯，李海昌，张梦雅，
申请(专利权)人：中国科学院软件研究所，
类型：发明
国别省市：