一种基于元自训练的鲁棒性无监督域适应方法技术

本发明专利技术提供了一种基于元自训练的鲁棒性无监督域适应方法，第一步，基于自训练范式，通过在源标记数据和目标未标记数据上应用一般的无监督域适应方法和开发的随机掩码增强对源模型进行预训练；第二步，交替进行在伪标记的对抗目标模型训练和通过元步骤微调源模型，其中，自训练的训练机制允许将对抗训练嵌入到无监督域适应过程中，元步骤进一步有助于减轻噪声伪标签的错误传播；应用本技术方案可缓解现实场景中因缺少数据标签而造成模型难以训练的问题。练的问题。练的问题。

【技术实现步骤摘要】
一种基于元自训练的鲁棒性无监督域适应方法


[0001]本专利技术涉及无监督领域适应
，特别是一种基于元自训练的鲁棒性无监督域适应方法。

技术介绍

[0002]无监督领域适应：无监督领域适应旨在将从有标记的源数据中学习到的知识转移到无标记的目标数据中。传统的无监督域适应方法通过最小化学习到的分布差异来探索源数据和目标数据之间的域不变信息。龙等人提出了域自适应网络和联合适应网络，利用最大均值差异来最小化特征差异。最近，生成对抗网络的出现给域适应领域带来了新的启发，提出了域对抗神经网络、条件域对抗网络和最大分类器差异，其中配备了鉴别器来强制生成更具鉴别性的域不变特征。尽管这些方法是有效的，但一个缺点是来自目标域的潜在有意义的训练信息没有得到充分利用。因此，另一个研究领域探索了自训练方案，为目标域生成伪标记，然后利用伪标记的目标数据重新训练模型。为了提高伪标签的质量，人们致力于通过使用渐进生成策略、课程学习和投票方案来降低标签噪声。
[0003]对抗鲁棒性：自从有研究证明难以察觉的扰动可以很容易地欺骗深度模型，深度模型的对抗脆弱性得到了越本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于元自训练的鲁棒性无监督域适应方法，其特征在于：第一步，基于自训练范式，通过在源标记数据和目标未标记数据上应用一般的无监督域适应方法和开发的随机掩码增强对源模型进行预训练；第二步，交替进行在伪标记的对抗目标模型训练和通过元步骤微调源模型，其中，自训练的训练机制允许将对抗训练嵌入到无监督域适应过程中，元步骤进一步有助于减轻噪声伪标签的错误传播。2.根据权利要求1所述的一种基于元自训练的鲁棒性无监督域适应方法，其特征在于，所述第一步具体来说：对于给定的带标签源域数据集所述第一步具体来说：对于给定的带标签源域数据集和无标签目标域数据集应用无监督域适应方法UDA结合提出的随机掩蔽增强RMA对源模型G
s
进行预训练，其中特征提取器F：x
→
f，x为输入图像，f为输出特征，绿色部分为分类器T：f
→
z，z为模型的输出logit；无监督域适应方法用到的目标函数如下式：其中l
ce
为交...

【专利技术属性】
技术研发人员：印佳丽，朱万青，刘西蒙，
申请(专利权)人：福州大学，
类型：发明
国别省市：