一种无源无监督域适应图像分类方法技术

本发明专利技术公开了一种无源无监督域适应图像分类方法，使用源域图像及其标签训练一个源域预训练模型，并使用该预训练模型初始化一个目标模型；使用初始化的目标模型计算目标域图像的模型结构级别和数据结构级别的预测分数，将二者结合作为目标域样本的置信分数，并用于目标模型的交叉熵损失加权，引入信息最大化损失来辅助目标模型训练；将目标域样本的图像、伪标签、置信分数混合；计算双分类器的确定性差异距离用于目标模型的最大最小化训练；最后训练模型，计算相应损失并依次迭代更新优化相应的模型参数，从而明确地识别一些不确定分类的目标样本，再引入权重混合策略来充分利用目标域知识，进一步提高目标域分类准确率。进一步提高目标域分类准确率。进一步提高目标域分类准确率。

【技术实现步骤摘要】
一种无源无监督域适应图像分类方法


[0001]本专利技术涉及迁移学习中的域适应
，特别是涉及一种无源无监督域适应图像分类方法。

技术介绍

[0002]无监督域适应是利用一个有标记的源域中的知识来帮助学习一个未标记目标域的判别模型，而人们对数据隐私的日益关注给这项任务带来了新的挑战。具体来说，源域和目标域的数据通常被捕获并存储在不同的设备上，并包含私有信息，向目标域公开源数据是有风险的。正是因为无监督域适应在训练过程中需要访问源域数据，所以这也限制了主流的无监督域适应方法在许多现实场景中的应用。
[0003]无源无监督域适应的目标是在标记源域不可见的情况下将源域预先训练的模型很好地适应于未标记目标域，它在隐私保护和数据传输方面具有广泛的应用价值，吸引了国内外众多学者的关注。根据适应过程中是否生成伪源数据，又可以分为基于数据生成的无源无监督域适应和基于特征的无源无监督域适应。
[0004]现有无源无监督域适应方法大多只使用一个分类器进行决策，但是由于源域数据和目标域数据之间的分布差异，通常会有一些目标实例在决策边界附近，因此产生不确定的分类。除此之外，部分基于置信度评分机制的无源无监督域适应方法只考虑源模型对目标域样本的预测知识，而忽略了目标域样本的内在结构知识，导致目标域信息不能被完全挖掘利用。

技术实现思路

[0005]为了解决以上技术问题，本专利技术提供一种无源无监督域适应图像分类方法，包括以下步骤
[0006]S1、使用源域图像及其标签训练一个源域预训练模型，源域预训练模型包括特征提取器和双分类器，并使用该源域预训练模型初始化一个目标模型用于目标域样本的识别训练，训练过程中源域图像将不可访问；
[0007]S2、使用初始化的目标模型计算目标域样本的模型结构级别的预测分数，且计算目标域图像基于高斯混合模型的数据结构级别的预测分数，将两预测分数结合作为目标域样本的置信分数，并用于目标模型的交叉熵损失加权，引入信息最大化损失来辅助目标模型训练；
[0008]S3、对目标域样本使用Mixup技术进行权重混合；
[0009]S4、计算双分类器的确定性差异距离，并将此确定性差异距离用于目标模型的最大最小化训练；
[0010]S5、对目标模型进行总体训练，总体训练包括步骤S5.1、步骤S5.2以及步骤S5.3，并依次迭代更新优化相应的模型参数，通过步骤S5.1、步骤S5.2以及步骤S5.3不断迭代地交替进行完成目标模型的训练，最终对目标域样本进行分类。
[0011]本专利技术进一步限定的技术方案是：
[0012]进一步的，步骤S1具体包括以下分步骤
[0013]S1.1、假定(x
s
,y
s
)为源域有标签样本，x
t
为目标域无标签样本，源域样本集合目标域样本集合其中，n
s
为源域样本数量，n
t
为目标域样本数量，为源域中第i个样本，为该源域样本对应的伪标签，为目标域中第i个样本，源域和目标域具有相同的类别数目K；
[0014]S1.2、构建一个源域预训练模型F
s
，源域预训练模型F
s
包括一个特征提取器G、分类器C1以及分类器C2；利用源域有监督数据结合交叉熵损失使分类器对源域样本进行分类，由此产生的分类损失如下式所示：
[0015][0016][0017]式中，表示平滑标签，α为平滑系数；
[0018]S1.3、使用源域预训练模型F
s
初始化目标模型F
t
，且将目标模型F
t
用于目标域样本的识别训练。
[0019]前所述的一种无源无监督域适应图像分类方法，步骤S2中，计算目标域样本的置信分数包括以下步骤
[0020]S2.1、根据高斯混合模型获得目标域样本的数据结构级别预测概率，公式如下：
[0021][0022][0023]式中，π
c
、μ
c
、∑
c
分别代表类别c的混合系数、平均向量以及协方差矩阵，且c,c
′
∈{1,2,
…
,K}；
[0024]S2.2、计算目标域样本的伪标签并分别在分类器C1和分类器C2上计算目标域样本的模型结构级别的预测分数，即MP分数，
[0025][0026][0027]式中，m∈{1,2}分别代表分类器C1和分类器C2，其中和分别表示在分类器C1和分类
器C2计算得到的MP分数；
[0028]S2.3、计算出目标域样本的次伪标签：
[0029][0030]式中，a表示次伪标签为第a个类别；
[0031]S2.4、计算伪标签和次伪标签的差异：
[0032][0033]式中，为目标域样本的次伪标签；
[0034]S2.5、将伪标签和次伪标签的差异归一化为目标域样本的数据结构级别的预测分数，即DS分数，
[0035][0036]式中，i,j∈{1,2,
…
,n
t
}；
[0037]S2.6、根据目标域样本的MP分数和DS分数，分别在分类器C1和分类器C2上计算目标域样本最终的置信分数：
[0038][0039][0040]其中，和分别表示在分类器C1和分类器C2计算得到的目标域样本最终的置信分数。
[0041]前所述的一种无源无监督域适应图像分类方法，步骤S2中，使用目标域样本的置信分数对目标域样本分类的交叉熵损失进行加权：
[0042][0043]式中，是目标域样本分类的交叉熵损失。
[0044]前所述的一种无源无监督域适应图像分类方法，步骤S2中，计算信息最大化损失辅助加权的交叉熵损失训练：
[0045][0046]式中，表示所有n
t
个样本被预测为第k个类的平均预测概率，表示第j个目标域样本被预测为第k个类的预测概率。
[0047]前所述的一种无源无监督域适应图像分类方法，步骤S3中，将目标域样本的图像、伪标签、置信分数混合，混合目标域样本的过程如下：
[0048][0049][0050][0051][0052]式中，η～Beta(α,α)且α∈{0,+∞}，为加权参数；和为两个随机的目标域样本及其伪标签，样本权重混合损失计算如下：
[0053][0054]其中，L
mixup
表示样本权重混合损失。
[0055]前所述的一种无源无监督域适应图像分类方法，步骤S4中，以对抗性的方式训练分类器C1和分类器C2，以学习目标域上的可转移特征和判别决策边界，两个分类器的输出差异定义如下：
[0056][0057]式中，0(.,.)为欧氏距离。
[0058]前所述的一种无源无监督域适应图像分类方法，步骤S5中，对目标模型进行总体训练，包括以下步骤
[0059]S5.1、利用步骤S2得到的损失本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无源无监督域适应图像分类方法，其特征在于：包括以下步骤S1、使用源域图像及其标签训练一个源域预训练模型，源域预训练模型包括特征提取器和双分类器，并使用该源域预训练模型初始化一个目标模型用于目标域样本的识别训练，训练过程中源域图像将不可访问；S2、使用初始化的目标模型计算目标域样本的模型结构级别的预测分数，且计算目标域图像基于高斯混合模型的数据结构级别的预测分数，将两预测分数结合作为目标域样本的置信分数，并用于目标模型的交叉熵损失加权，引入信息最大化损失来辅助目标模型训练；S3、对目标域样本使用Mixup技术进行权重混合；S4、计算双分类器的确定性差异距离，并将此确定性差异距离用于目标模型的最大最小化训练；S5、对目标模型进行总体训练，总体训练包括步骤S5.1、步骤S5.2以及步骤S5.3，并依次迭代更新优化相应的模型参数，通过步骤S5.1、步骤S5.2以及步骤S5.3不断迭代地交替进行完成目标模型的训练，最终对目标域样本进行分类。2.根据权利要求1所述的一种无源无监督域适应图像分类方法，其特征在于：所述步骤S1具体包括以下分步骤S1.1、假定(x
s
,y
s
)为源域有标签样本，x
t
为目标域无标签样本，源域样本集合目标域样本集合其中，n
s
为源域样本数量，n
t
为目标域样本数量，为源域中第i个样本，为该源域样本对应的伪标签，为目标域中第i个样本，源域和目标域具有相同的类别数目K；S1.2、构建一个源域预训练模型F
s
，源域预训练模型F
s
包括一个特征提取器G、分类器C1以及分类器C2；利用源域有监督数据结合交叉熵损失使分类器对源域样本进行分类，由此产生的分类损失如下式所示：式中，表示平滑标签，α为平滑系数；S1.3、使用源域预训练模型F
s
初始化目标模型F
t
，且将目标模型F
t
用于目标域样本的识别训练。3.根据权利要求1所述的一种无源无监督域适应图像分类方法，其特征在于：所述步骤S2中，计算目标域样本的置信分数包括以下步骤S2.1、根据高斯混合模型获得目标域样本的数据结构级别预测概率，公式如下：
式中，π
c
、μ
c
、∑
c
分别代表类别c的混合系数、平均向量以及协方差矩阵，且c,c
′
∈{1,2,
…
,K}；S2.2、计算目标域样本的伪标签并分别在分类器C1和分类器C2上计算目标域样本的模型结构级别的预测分数，即MP分数，上计算目标域样本的模型结构级别的预测分数，即MP分数，式中，m∈{1,2}分别代表分类器C1和分类器C2，其中和分别表示在分类器C1和分类器C2计算得到的...

【专利技术属性】
技术研发人员：田青，赵梦娜，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：