【技术实现步骤摘要】
一种无源的主动领域自适应模型训练方法及装置
[0001]本申请属于深度神经网络
,特别的涉及一种无源的主动领域自适应模型训练方法及装置。
技术介绍
[0002]近年来,深度神经网络在各种计算机视觉领域取得了显著的成果,然而它们往往假设用于训练和测试的数据是从一个独立同分布(independent and identical distribution, i.i.d.)中随机抽样获得的,这与许多现实世界的场景相违背,导致良好训练的模型的性能在应用中显著下降。对于这种情况,领域自适应(Domain Adaptation, DA)发挥了作用,它能使知识从源领域转移到目标领域。
[0003]领域自适应(Domain Adaptation, DA)作为迁移学习的一个特例,能使知识从源域泛化到相关的目标域。根据源域和目标域之间类别集关系的假设不同,即语义迁移,领域自适应主要可分为闭集领域自适应、开集领域自适应、局部领域自适应和通用领域自适应。其还可根据目标数据可达性的假设被分为无监督领域自适应、半监督领域自适应、弱监督领域自适应、零样本领域自适应,单样本领域自适应,少样本领域自适应以及主动领域自适应。在这些子领域中,主动领域自适应的目标是寻找信息量最大的目标样本进行标注,使得其最益于目标域的分类。
[0004]在现有的技术中,对于主动领域自适应模型的训练方式需要源域和目标域的数据并存,以利用域间关系优化模型,而源数据可及性的假设在实际应用中可能会失效,因为源数据可能被保护或分散存储;其次,在一些应用无源无监督 ...
【技术保护点】
【技术特征摘要】
1.一种无源的主动领域自适应模型训练方法,其特征在于,包括:基于源域数据集对目标域神经网络模型进行初始化处理;其中,所述源域数据集中包括至少两种类别的样本数据;获取目标域数据集,并基于所述目标域神经网络模型从所述目标域数据集中提取出第一数据集;其中,所述目标数据集中任意一个目标数据未标注有类别,所述目标数据集包括第一数据集以及第二数据集,所述第一数据集对应的标注价值大于所述第二数据集对应的标注价值;对所述第一数据集中每个目标数据进行标注处理,并基于处理后的所述第一数据集、所述第二数据集以及所述目标域神经网络模型对处理后的所述第一数据集进行更新;根据更新后的所述第一数据集判断所述目标域神经网络模型迭代是否结束。2.根据权利要求1所述的方法,其特征在于,所述基于源域数据集对目标域神经网络模型进行初始化处理,包括:采集源域数据集;基于所述源域数据集中每个样本数据的类别进行平滑正则化处理;基于处理后的所述源域数据集对神经网络模型进行训练,并根据所述源域数据集训练的神经网络模型对目标域神经网络模型的结构和参数进行初始化处理。3.根据权利要求1所述的方法,其特征在于,所述基于所述目标域神经网络模型从所述目标域数据集中提取出第一数据集,包括:将所述目标域数据集中每个所述目标数据输入至所述目标域神经网络模型中,预测出每个所述目标数据中每种类别的概率分布;基于每个所述目标数据中每种类别的概率分布得到概率差值,并将所述概率差值作为每个所述目标数据的第一困难指标;根据每个所述目标数据的第一困难指标的大小对所述目标域数据集中所有所述目标数据进行排序,并按照预设选取方式从排序后的所述目标域数据集中提取出第一数据集。4.根据权利要求3所述的方法,其特征在于,在所述将所述概率差值作为每个所述目标数据的第一困难指标之后,在所述根据每个所述目标数据的第一困难指标的大小对所述目标域数据集中所有所述目标数据进行排序,并按照预设选取方式从排序后的所述目标域数据集中提取出第一数据集之前,还包括:基于每个所述目标数据中预测概率最大的类别,统计出每种类别在所述目标域数据集中的预测概率分布,并根据所述每种类别在所述目标域数据集中的预测概率分布确定出每种类别在所述目标域数据集中的迁移困难程度;根据所述每种类别在所述目标域数据集中的迁移困难程度确定出每个所述目标数据的第二困难指标;所述根据每个所述目标数据的第一困难指标的大小对所述目标域数据集中所有所述目标数据进行排序,并按照预设选取方式从排序后的所述目标域数据集中提取出第一数据集,包括:根据每个所述目标数据的第一困难指标以及第二困难指标,对所述目标域数据集中所有所述目标数据进行排序,并按照预设选取方式从排序后的所述目标域数据集中提取出第一数据集。
5.根据权利要求1所述的方法,其特征在于,所述基于处理后的所述第一数据集、所述第二数据集以及所述目标域神经网络模型对处理后的所述第一数据集进行更新,包括:将处理后的所述第一数据集以及所述第二数据集分别输入至所述目标域神经网络模型,并根据所述目标域神经网络模型的预测结果分别建立交叉熵损失函数、类间分离损失函数以及类内集中损失函数;基于所述交叉熵损失函数、所述类间分离损失函数以及所述类内集中损失函数对所述目标域神经网络...
【专利技术属性】
技术研发人员:吕梦遥,陈辉,赵思成,邵天予,
申请(专利权)人:杭州涿溪脑与智能研究所,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。