一种基于双重不平衡场景下的无监督域适应方法技术

技术编号:33352464 阅读:35 留言:0更新日期:2022-05-08 10:01
本发明专利技术公开了一种基于双重不平衡场景下的无监督域适应方法,该方法在领域间迁移能容忍数据不平衡的知识,帮助无标签的不平衡数据达到较好的分类效果,其主要由三个部分组成,类对比知识迁移、类关联知识迁移和判别型的特征对齐;构建了一个端到端的网络模型,将源域数据样本和目标域数据样本输入到共同的特征提取器中,减少判别型的最大均值差异,使得跨域的相同类对齐、不同类分离;采用类对比损失来限制特定类样本的分类得分应该高于其他类样本的分类得分,减少对标签分布的依赖,减轻数据不平衡对模型的影响,从源域数据样本中学习类之间的相关性向量,将类间的关联知识也迁移到目标域中,进一步提高模型的泛化性能。进一步提高模型的泛化性能。进一步提高模型的泛化性能。

【技术实现步骤摘要】
一种基于双重不平衡场景下的无监督域适应方法


[0001]本专利技术属于机器学习
,尤其涉及一种基于双重不平衡场景下的无监督域适应方法。

技术介绍

[0002]大数据时代的来临使数据的产生速度不断加快,数据的体量发生了巨大增长,机器学习凭借强大的数据处理能力得到了越来越多的关注。数据的快速增多使得机器学习与深度学习可以依赖更多的数据,持续不断地训练和更新模型,模型的性能和适用性也越来越好,机器学习技术已经在许多实际应用中取得了巨大成功,但在某些现实场景中仍然存在一定的局限性;传统的机器学习需要利用足够多的有标记数据进行训练才能获得分类性能较好的模型,这就产生了机器学习领域的一个新问题,即如何利用有限的有标记数据获得一个较好的泛化模型,从而对无标记数据进行正确的预测。
[0003]迁移学习应运而生,迁移学习的含义是运用不同领域的数据之间存在的关联特性,将曾经在一个领域学得的信息用到一个全新的另一个不同的领域中去。两个领域之间的相似度越高,就越容易进行迁移,相反就越难进行迁移,容易起到反作用,产生负迁移的现象。迁移学习包括源域(Sour本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双重不平衡场景下的无监督域适应方法,其特征在于,所述方法的步骤为:步骤1、构造类对比损失,对于每一类,最大化该类样本和其他类样本之间的得分预测差异,使用可导的指数损失作为类对比损失的代理损失;步骤2、对于源域数据样本使用类对比损失和交叉熵损失预训练一个分类模型,分类模型由特征提取器和分类器构成,计算源域数据样本的类关联向量;步骤3、使用步骤2得到的多层的特征提取器和随机初始化的分类器构造解决双重不平衡场景的网络模型;步骤4、对源域数据样本的每一类进行采样构造训练数据,将目标域数据样本输入到步骤3得到的网络模型中得到预测的伪标签,再根据伪标签对每一类采样构造目标域的训练数据,将两组数据一起输入到步骤3得到的网络模型中,得到源域特征和目标域的特征;步骤5、使用源域特征,目标域特征,源域的真实标签和目标域的伪标签,构造判别型的最大均值差异,最小化类内的紧致性同时最大化全局距离,以加强跨域的相同类的特征对齐和不同类间的特征差异;步骤6、对于源域数据样本使用类对比损失和交叉熵损失,对于目标域数据样本选择置信度高的样本使用类对比损失并约束分类器输出和对应类的关联向量之间的一致性;步骤7、整体损失计算梯度,反向传播,迭代更新网络参数直至损失收敛,对目标域数据样本进行预测得到预测标签,与目标域数据样本的真实标签比较,对于每一类计算出该类的分类准确率,再计算所有类的平均分类准确率作为度量结果。2.根据权利要求1所述的一种基于双重不平衡场景下的无监督域适应方法,其特征在于,在步骤1中对于样本对定义了k个类的类对比标签,一组样本如果所属不同类别则类对比标签为1,否则为0,使用类对比标签构造了类对比损失,使用可导的指数损失作为类对比损失的代理损失,来拟合类对比损失进行计算优化...

【专利技术属性】
技术研发人员:汪云云陈渠川
申请(专利权)人:南京邮电大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1