融入分布对齐信息的非凸判别迁移子空间学习方法技术

本发明专利技术公开了一种融入分布对齐信息的非凸判别迁移子空间学习方法，包括：S1、通过截断Frobenius范数的平方来构造目标函数；S2、通过IALM算法对目标函数进行迭代求解得到投影矩阵P；S3、将源域和目标域数据通过投影矩阵P投影到一公共特征子空间中。本发明专利技术采用相比于迹范数，对秩函数近似更为紧致的一种非凸正则项作为代理模型，其通过最小化重构矩阵的前k个最小奇异值来更好的近似低秩约束，通过最小化源域和目标域之间的联合分布差异来对齐数据的类别信息，使得源域数据更好的重构目标域数据，提升分类性能。提升分类性能。提升分类性能。

【技术实现步骤摘要】
融入分布对齐信息的非凸判别迁移子空间学习方法


[0001]本专利技术涉及无监督
，更具体地说，特别涉及一种融入分布对齐信息的非凸判别迁移子空间学习方法。

技术介绍

[0002]随着大数据时代的发展，在图像识别、自然语言处理、医疗健康等领域，数据往往来自于不同域，从而分布不同。同时，海量数据通常没有标注。因此，如何对这些无标签的数据(即目标域数据)进行分类是一个非常重要的问题，也引发了许多专家学者的关注。无监督领域自适应则提供了一种很自然的方式来解决上述问题，它通过深度挖掘有标签数据(即源域数据)中的信息来促进目标分类器的学习。
[0003]无监督领域自适应中，传统的方法可分为基于分布自适应和基于迁移子空间学习两大类，第一类方法通过对齐源域和目标域的联合分布来减少两域之间的差异。而衡量两域之间的差异可以通过定义不同方式的距离实现，其中MMD准则因其简单性以及坚实的理论基础被广泛采用。基于分布自适应的方法有很多，下面介绍几种经典的方法。迁移成分分析(TCA)在解决源域和目标域分布不同问题时，将两个领域的数据一起映射到一个高维的再生核希尔伯特空间。在此空间中，最小化两者之间的边缘分布差异，同时最大程度地保留它们各自的内部属性。在此基础上，联合分布适配(JDA)同时考虑数据的边缘分布差异和类条件分布差异，实现两域分布从整体到各类更为精细的对齐。其中，类条件分布差异的计算需要用到目标域数据的标签，而这恰恰是我们的任务。针对这一问题，JDA提出伪标签的思想。同时考虑到伪标签的不可靠性，采用迭代更新机制来降低不利影响。然而JDA并没有根据应用场景对边缘分布差异和条件分布差异的权重作出适当的调整。如当数据集更加不同时，意味着边缘分布差异更大；而当数据集相似时，意味着条件分布需要更多的关注。因此，如果将两者权重设为定值，只会降低算法的性能。针对这一想法，Wang等人提出了平衡分布适配(BDA)。同时，作者还提出了一种新的加权平衡分布自适应(W
‑
BDA)算法，它通过自适应地改变各类权重来解决迁移中的类不平衡问题。此外，Zhang等人认为之前的方法都是计算两域的边缘分布差异和类条件分布差异的加权和，更自然的度量是直接计算它们的联合概率分布差异。作者也提出之前的方法只增加域之间的可迁移性，而忽略了不同类数据之间的可判别性，这可能导致模型分类性能下降，因此提出联合概率分布适配(JPDA)来解决这一问题。Wang等人则通过理论推导探寻MMD的本质，验证了最小化类条件分布差异等价于最小化源域和目标域各类的类间距离，也等价于最大化数据方差和两域各类的类间距离，这直观说明了MMD中特征可判别性下降的原因。通过理论的指导，Wang等人提出了一种新的具有两种并行策略的判别性MMD，减轻MMD对特征判别性的负面影响。
[0004]相比于第一类方法，基于迁移子空间学习的方法从数据具有的几何结构特征出发，促使表达更加简洁有效，其中又可分为两类：以测地线流采样(SGF)和测地线流式核方法(GFK)为代表的方法引入流形学习保持数据结构。它们认为域都是格拉斯曼流形中的一个点，通过两者测地线距离上的d个中间点连接起来形成一条路径。因此，找到每一步合适
的变换，即可实现源域到目标域的变换。而另一种方法考虑对齐源域和目标域数据的统计特征来实现知识迁移，如子空间对齐(SA)、子空间分布对齐(SDA)以及方差关联对齐(CORAL)等。但这些方法易受到噪声和离群点的干扰，因此Shao等人提出低秩迁移子空间学习(LTSL)。它将源域和目标域中数据迁移到统一的广义子空间中，通过源域样本实现对目标域样本的线性重构，并对重构矩阵施加低秩约束来保证数据的全局结构。考虑到迁移过程中噪声的影响，引入噪声项来提升方法的鲁棒性。Fang等人则采用最小二乘拟合标签。考虑到标签噪声对模型造成的不利影响，对源域数据的标签进行松弛，这一操作为适应标签提供更多自由的同时尽可能增大了不同类数据之间的边距。判别迁移子空间学习(DTSL)结合上述两者，认为目标样本在重构时，仅由几个相似的源域样本线性表示可以得到更好的效果，而非所有样本。因此对重构矩阵施加稀疏约束，刻画数据的局部结构。联合特征选择和结构保留方法(FSSP)和联合低秩表示和特征选择(JLRFS)方法则对投影矩阵施加结构化稀疏约束，促使模型筛选出更为关键的特征。同时引入图拉普拉斯项，更好的保留数据结构。
[0005]然而，这些方法仍然有许多局限，首先，基于迁移子空间学习的方法通常对重构矩阵施加低秩约束来保留数据的全局结构。由于秩最小化问题是NP难的，许多学者通过采用迹范数来近似秩函数。但这种近似方法会受到最大奇异值的显著影响，秩函数则不会，因此其解可能导致严重偏离最优解。其次，传统的迁移子空间学习方法只利用数据的特征信息来实现对目标样本的重构，但忽略了数据的类别信息。如果目标样本由特征相似但类别不同的源数据线性表示，则很难被分对。针对这些问题，本专利技术提出了融入分布对齐信息的非凸判别迁移子空间学习方法来解决这些问题。

技术实现思路

[0006]本专利技术的目的在于提供一种融入分布对齐信息的非凸判别迁移子空间学习方法，以克服现有技术所存在的缺陷。
[0007]为了达到上述目的，本专利技术采用的技术方案如下：
[0008]融入分布对齐信息的非凸判别迁移子空间学习方法，包括以下步骤：
[0009]S1、通过截断Frobenius范数的平方来构造目标函数；
[0010]S2、通过IALM算法对目标函数进行迭代求解得到投影矩阵P；
[0011]S3、将源域和目标域数据通过投影矩阵P投影到一公共特征子空间中。
[0012]进一步地，所述步骤S1具体包括：
[0013]S10、将目标域数据通过源域数据线性表示为：
[0014]P
T
X
t
＝P
T
X
s
Z+E
[0015]S11、施加低秩约束在Z上来维护数据的全局结构，施加l1范数在Z上促使其稀疏来保证数据的局部结构，同时对E施加稀疏约束，得到目标函数为：
[0016][0017]式中，α,β,λ为正则化参数；
[0018]S12、通过截断Frobenius范数的平方来促使前k个最小奇异值为0来近似低秩条件，使目标函数转换为：
[0019][0020]式中，k＝n
s
‑
rank(Z)，是判别子空间学习函数项，通过在子空间中拟合源域标签来加强数据的判别性，它使用松弛标签Y
°
＝Y
s
+B
⊙
M来消除标签噪声对模型的影响，Y
s
为源域数据的独热编码，M为非负矩阵，
⊙
为Hadamard算子，矩阵B为：
[0021][0022]S13、在投影矩阵上施加结构化稀疏l
2,1
范数，将步骤S12中的目标函数转换为：
[0023][0024]式中，γ为平衡因子；
[0025]S1本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.融入分布对齐信息的非凸判别迁移子空间学习方法，其特征在于，包括以下步骤：S1、通过截断Frobenius范数的平方来构造目标函数；S2、通过IALM算法对目标函数进行迭代求解得到投影矩阵P；S3、将源域和目标域数据通过投影矩阵P投影到一公共特征子空间中。2.根据权利要求1所述的融入分布对齐信息的非凸判别迁移子空间学习方法，其特征，所述步骤S1具体包括：S10、将目标域数据通过源域数据线性表示为：P
T
X
t
＝P
T
X
s
Z+ES11、施加低秩约束在Z上来维护数据的全局结构，施加l1范数在Z上促使其稀疏来保证数据的局部结构，同时对E施加稀疏约束，得到目标函数为：式中，α,β,λ为正则化参数；S12、通过截断Frobenius范数的平方来促使前k个最小奇异值为0来近似低秩条件，使目标函数转换为：式中，是判别子空间学习函数项，通过在子空间中拟合源域标签来加强数据的判别性，它使用松弛标签Y
°
＝Y
s
+B
⊙
M来消除标签噪声对模型的影响，Y
s
为源域数据的独热编码，M为非负矩阵，
⊙
为Hadamard算子，矩阵B为：S13、在投影矩阵上施加结构化稀疏l
2,1
范数，将步骤S12中的目标函数转换为：式中，γ为平衡因子；S14、通过学习P来减少子空间中的源域和目标域之间的距离，基于分布自适应方法得到以下公式：式中，ω是平衡因子，分别为源域和目标域中第c类样本的数量，X＝[X
s
,X
t
]，M0,M
c
定义如下所示：
S15、采用伪标签来计算步骤S14中的公式，对伪标签进行迭代细化，令R＝M0+ωM
c
，最终的目标函数为：3.根据权利要求1所述的融入分布对齐信息的非凸判别迁移子空间学习方法，其特征在于，所述步骤S2具体包括：S20、引入矩阵Q和J，其解可以通过最...

【专利技术属性】
技术研发人员：罗廷金，刘玥瑛，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：