一种基于类相关矩阵特征值分解的域自适应方法技术

一种基于类相关矩阵特征值分解的域自适应方法。该种域自适应方法，解决了源域和目标域之间的欠适配和不平等问题，使得对参数的选择敏感度降低，而收敛度更高分类精度更加准确。该种域自适应方法，与现有的经典分类方法相比，能够做出更准确的判断。本发明专利技术方法并没有使用过于繁杂的函数设计，使得网络的训练时间大大缩短。本发明专利技术方法使用基于对抗性的方法，使得特征提取器和分类器能够自动学习目标域和源域之间的度量区别。而不是通过人为定义，避免了可能出现的人工偏差。避免了可能出现的人工偏差。避免了可能出现的人工偏差。

【技术实现步骤摘要】
一种基于类相关矩阵特征值分解的域自适应方法


[0001]本专利技术属于计算机视觉
，具体涉及一种基于类相关矩阵特征值分解的域自适应方法。

技术介绍

[0002]在科技日益发达的今天，机器学习为我们增添了许多便利。但是机器学习的应用需要良好的标注数据，如果使用人工标注那将花费大量的时间与金钱，并且因为人与人之间的区别可能导致一些模棱两可的标注出现。为了避免这一现象，很多研究人员提出了迁移学习。迁移学习是指将一个领域学习到的知识迁移到另一个领域使用，并且能够起到良好效果。而域自适应属于迁移学习中的一个特殊情况，它要求两个领域的任务是一致的。
[0003]域自适应的问题定义为：给定两个域，分别为源域D
s
和目标域D
t
，各自的分布为P(Y
s
|X
s
)和P(Y
t
|X
t
)，源域和目标域的分布是不同的。给定有标注的源域数据(X
s
，Y
s
)和无标注的目标域数据X
t
，目标是对目标域数据进行良好分类。
[0004]如果不考虑域自适应，直接使用在源域数据上训练出的分类网络，将会导致一定程度的性能下降，这是由于源域和目标域存在一定程度的分布差异。而域自适应就是为了降低由于源域和目标域存在一定程度的分布差异而给分类网络带来的损耗。

技术实现思路

[0005]本专利技术所要解决的技术问题是克服现有技术的不足，提供一种基于类相关矩阵特征值分解的域自适应方法，使用基于对抗性的方法，使得特征提取器和分类器能够自动学习目标域和源域之间的度量区别，避免了可能出现的人工偏差。
[0006]本专利技术提供一种基于类相关矩阵特征值分解的域自适应方法，包括如下步骤，
[0007]步骤S1、设定一个源域D
s
＝(X
s
，Y
s
)和目标域D
t
＝(X
t
)；
[0008]步骤S2、基于GANs利用对抗性训练同时训练特征提取器F和域分类器D，最后通过标签分类器G对样本进行分类；
[0009]步骤S3、用Resnet50作为特征提取器，将源域样本x
s
和目标域样本x
t
输入Resnet50提取出的特征分别记为f
s
和f
t
，f
g
和f
t
再输入标签分类器G得到g
s
和g
t
；将整个网络公式化为具有两个竞争误差项的极小极大优化问题，第一，E(G)是最小化标签分类器G上的源域分类风险；第二，E(D，G)在D上最小化，但在特征提取器F和标签分类器G上最大化，则，
[0010][0011][0012]在式中，L(
·
)代表交叉熵损失函数，总的优化目标为：
[0013]min
G
E(G)
‑
λE(d，G)，
[0014]min
D
E(D，G)；
[0015]通过联合变量h＝(f，g)在标签分类器的预测g上调节域鉴别器D；
[0016]步骤S4、目标域上的分类器输出为其中B是目标数据的批量大小，|C|是源类的数量，F是特征提取器，G是标签分类器；第i个实例属于第j类的概率Y
ij
为
[0017][0018]其中Z
ij
是分类器层的logit输出，T是用于概率缩放的温度超参数。由于Y
ij
揭示了第i个实例和第j类之间的关系，将两个类第j类和第j
′
类之间的类相关性初步定义为
[0019][0020]其中，y
·
j
′
为每个批次中的B个示例来自第j类的概率，
[0021]对主对角线上的值进行加权操作，并基于信息熵对类相关性进行加权操作，则，
[0022]其中，w
ii
为量化第i个示例对类混淆建模的重要性的概率，W是对角矩阵；所以加权后的类相关矩阵为；然后对加权后的类相关矩阵进行特征值分解，得到特征值的和，以特征值的和的均值作为标签分类器损失。
[0023]作为本专利技术的进一步技术方案，还包括步骤S4、对标签分类器G加以限制，将目标域上的分类器输出表示为其中B是目标数据的批量大小，|C|是源类的数量，F是特征提取器，G是标签分类器；使用温度参数，第i个实例属于第j类的概率Y
ij
为
[0024]其中，Z
ij
为分类器层的logit输出，T为用于概率缩放的温度超参数；由于Y
ij
揭示了第i个实例和第j类之间的关系；
[0025]将两个类第j类和第j
′
类之间的类相关性初步定义为
[0026]y
·
j
′
为每个批次中的B个示例来自第j类的概率；
[0027]对主对角线上的值进行加权操作，则
[0028][0029]其中，熵是对不确定性的度量，
[0030]其中W
ii
是量化第i个示例对类混淆建模的重要性的概率，W是相应的对角矩阵。所以加权后的类相关矩阵为：
[0031]对加权后的类相关矩阵进行特征值分解，得到特征值的和，以特征值的和的均值
作为标签分类器损失。
[0032]本专利技术的优点在于，
[0033]1、解决了源域和目标域之间的欠适配和不平等问题，使得对参数的选择敏感度降低，而收敛度更高分类精度更加准确。
[0034]2、与现有的经典分类方法相比，能够做出更准确的判断。
[0035]3、该方法并没有使用过于繁杂的函数设计，使得网络的训练时间大大缩短。
[0036]4、该方法使用基于对抗性的方法，使得特征提取器和分类器能够自动学习目标域和源域之间的度量区别。而不是通过人为定义，避免了可能出现的人工偏差。
附图说明
[0037]图1为本专利技术的网络结构示意图；
具体实施方式
[0038]请参阅图1，本实施例提供本专利技术基于类相关矩阵特征值分解的域自适应方法，包括以下步骤，
[0039]S1、给定一个源域D
s
＝(X
s
，Y
s
)和目标域D
t
＝(X
t
)，本例中使用OFFICE
‑
31数据集；
[0040]S2、我们基于GANs的思想利用对抗性训练同时训练特征提取器F和域分类器D，最后通过标签分类器G对样本进行分类；
[0041]S3、我们采用Resnet50作为特征提取器，将源域样本x
s
和目标域样本x
t
输入Resnet50提取出的特征分别记为f
s
和f<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于类相关矩阵特征值分解的域自适应方法，其特征在于，包括如下步骤，步骤S1、设定一个源域D
s
＝(X
s
，Y
s
)和目标域D
t
＝(X
t
)；步骤S2、基于GANs利用对抗性训练同时训练特征提取器F和域分类器D，最后通过标签分类器G对样本进行分类；步骤S3、用Resnet50作为特征提取器，将源域样本x
g
和目标域样本x
t
输入Resnet50提取出的特征分别记为f
s
和f
t
，f
s
和f
t
再输入标签分类器G得到g
s
和g
t
；将整个网络公式化为具有两个竞争误差项的极小极大优化问题，第一，E(G)是最小化标签分类器G上的源域分类风险；第二，E(D,G)在D上最小化，但在特征提取器F和标签分类器G上最大化，则，险；第二，E(D,G)在D上最小化，但在特征提取器F和标签分类器G上最大化，则，在式中，L(
·
)代表交叉熵损失函数，总的优化目标为：min
G
E(G)
‑
λE(D，G)，min
D
E(D，G)；通过联合变量h＝(f,g)在标签分类器的预测g上调节域鉴别器D；步骤S4、目标域上的分类器输出为其中B是目标数据的批量大小，|C|是源类的数量，F是特征提取器，G是标签分类器；第i个实例属于第j类的概率Y
ij
为其中Z
ij
...

【专利技术属性】
技术研发人员：樊敏，蔡子贇，张腾飞，王保云，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：