一种无源域数据的无监督领域适应方法技术

本发明专利技术涉及一种无源域数据的无监督领域适应方法，以有标签的源域样本训练模型，得到预训练好的源域模型；以源域模型初始化目标域模型；以源域模型的BN层存储的统计信息近似源域的特征分布，与目标域样本的特征分布显式对齐，最小化分布对齐损失，尽可能拉近源域和目标域特征分布空间；基于源域模型的分类器的预测对目标域样本的特征进行模糊聚类，以聚类隶属度作为目标域样本的软标签，计算软标签与模型分类器对目标域样本的预测之间的交叉熵损失，对目标域样本计算信息最大化损失；以所有损失函数共同训练目标域模型，实现无源域数据的无监督领域适应，纠正部分最初分类器分错的目标域样本，提高分类准确度。提高分类准确度。提高分类准确度。

【技术实现步骤摘要】
一种无源域数据的无监督领域适应方法


[0001]本专利技术涉及计算；推算或计数的
，特别涉及一种机器学习领域的、基于BN层信息和软聚类的无源域数据的无监督领域适应方法。

技术介绍

[0002]近年来，深度神经网络在视觉分类领域取得了非常不错的应用效果，被广泛地运用在各个行业。神经网络表现出卓越性能的一个前提是测试数据与训练数据服从独立同分布，然而，在现实世界中这个条件难以满足，理想情况下是希望模型能在标签丰富的数据集上获得的知识可以转移或者应用到其他未标记的数据上，但即使数据集之间的差异很小，深度网络也难以应用到未知的数据域中，在训练中，影响模型泛化能力的重要因素是来自不同领域数据之间的分布偏移。因此，领域适应就是针对这类问题进行的研究。
[0003]近年来，在该技术问题上取得了巨大的进展，尤其是无监督的领域适应。当我们可以直接访问源域数据集时，可以直接对齐源域和目标域的分布偏移，现有的许多领域适应方法即使对无标签的目标域数据都非常有效。然而，传统的领域适应都是基于源域数据及其标签可用的前提，在一些实际情况下，包括但不限于数据集过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无源域数据的无监督领域适应方法，其特征在于：所述方法包括以下步骤：步骤1：以有标签的源域样本训练模型，得到预训练好的源域模型；步骤2：以源域模型初始化目标域模型，包括特征提取器和分类器；步骤3：以源域模型的BN层存储的统计信息近似源域的特征分布，与目标域样本的特征分布显式对齐，计算分布对齐损失L
BN
；步骤4：基于目标域模型的分类器的预测，对目标域样本的特征进行模糊聚类，以聚类隶属度作为目标域样本的软标签，计算软标签与模型分类器对目标域样本的预测之间的交叉熵损失L
clu
；步骤5：对目标域样本计算信息最大化损失L
IM
，信息最大化损失包括最小化熵损失和最大化平均熵损失；步骤6：以所述分布对齐损失L
BN
、交叉熵损失L
clu
和信息最大化损失L
IM
共同训练目标域模型，实现无源域数据的无监督领域适应。2.根据权利要求1所述的一种无源域数据的无监督领域适应方法，其特征在于：所述步骤1中，通过标签平滑后再计算交叉熵损失，目标函数为，其中，f
s
表示预训练好的源域模型，包括特征提取器g
s
和分类器h
s
，满足给定输入x，f
s
(x)＝h
s
(g
s
(x))；K表示类别数目，k对应任一类别，X
s
为源域样本集；给定q
k
为源域样本x
s
的标签，则是对q
k
平滑后的标签，满足α是平滑系数，0<α<1；σ(
·
)表示对某一给定向量的softmax归一化操作，假设给定向量a和温度参数T，用σ
k
表示对某个向量σ(
·
)操作后得到的第k维的值，a
k
表示向量a第k维的值，j指向量a第j维，式(1)中T为1。3.根据权利要求1所述的一种无源域数据的无监督领域适应方法，其特征在于：所述目标域模型的分类器固定不变。4.根据权利要求1所述的一种无源域数据的无监督领域适应方法，其特征在于：所述步骤3中，BN层的统计信息包括均值和方差；以源域模型的每个BN层中每个通道的均值、方差表示的高斯分布与目标域样本对应BN层的当前batch样本的每个通道的均值、方差表示的高斯分布，计算KL散度的平均值，作为衡量源域和目标域样本特征分布的距离。5.根据权利要求4所述的一种无源域数据的无监督领域适应方法，其特征在于：所述分布对齐损失L
...

【专利技术属性】
技术研发人员：梅建萍，翁烨涛，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：