【技术实现步骤摘要】
小样本持续学习模型的训练方法、介质、装置和计算设备
本专利技术的实施方式涉及人工智能
,更具体地,本专利技术的实施方式涉及一种小样本持续学习模型的训练方法、介质、装置和计算设备。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。小样本学习和持续学习是科学和工程领域中存在的两个较为重要的任务。小样本学习的目标是实现从少量训练样本中学习一个新的任务,持续学习的目标是实现神经网络在学习新任务时避免灾难性遗忘已学过的旧任务,从而提升学习增量任务的能力。然而,在实践中发现,持续学习试图精确地记忆输入任务来减轻灾难性遗忘,这不可避免地过拟合所看到的任务并干扰了小样本学习所需要的泛化能力,通常会导致小样本学习的学习能力降低,可见,小样本学习和持续学习的目标很难同时实现,小样本学习和持续学习的目标同时实现可能会影响对整个任务序列的处理性能。
技术实现思路
在本上下文中,本专利技术的实施方式期望提供一种小样本持续学习模型的训 ...
【技术保护点】
1.一种小样本持续学习模型的训练方法,所述小样本持续学习模型中包含慢权重和快权重,所述方法包括:/n基于当前任务对应的训练数据集,计算所述慢权重对应的当前活动标记;/n基于所述当前活动标记与由在先任务存储的累积活动标记,计算得到映射值,所述映射值用于约束所述快权重的更新;/n将所述慢权重复制至所述快权重,通过分类损失函数对所述快权重进行更新;/n通过更新后的快权重对所述慢权重中的参数进行更新,并基于更新后的所述快权重和所述慢权重,实现对所述小样本持续学习模型的训练。/n
【技术特征摘要】
1.一种小样本持续学习模型的训练方法,所述小样本持续学习模型中包含慢权重和快权重,所述方法包括:
基于当前任务对应的训练数据集,计算所述慢权重对应的当前活动标记;
基于所述当前活动标记与由在先任务存储的累积活动标记,计算得到映射值,所述映射值用于约束所述快权重的更新;
将所述慢权重复制至所述快权重,通过分类损失函数对所述快权重进行更新;
通过更新后的快权重对所述慢权重中的参数进行更新,并基于更新后的所述快权重和所述慢权重,实现对所述小样本持续学习模型的训练。
2.根据权利要求1所述的小样本持续学习模型的训练方法,基于当前任务对应的训练数据集,计算所述慢权重对应的当前活动标记之前,所述方法还包括:
获取预先设置的支持数据集;
基于所述支持数据集进行预训练,得到慢权重。
3.根据权利要求2所述的小样本持续学习模型的训练方法,所述小样本持续学习模型包括特征嵌入层和输出层,所述慢权重由所述特征嵌入层中的参数以及所述输出层中的参数组成,所述快权重由所述特征嵌入层中的参数以及所述输出层中的参数组成。
4.根据权利要求3所述的小样本持续学习模型的训练方法,基于当前任务对应的训练数据集,计算所述慢权重对应的当前活动标记,包括:
获取当前任务对应的训练数据集;
对所述训练数据集进行计算,得到所述慢权重的特征嵌入层各层中各参数梯度期望的模长;
确定所述模长为所述慢权重对应的当前活动标记。
5.一种小样本持续学习模型的训练装置,所述小样本持续学习模型中包含慢权重和快权重,所述装置包括:
第一计算单元,用于基于当前任务对应的训练数据集,计算所述慢权重对应的当前活动标...
【专利技术属性】
技术研发人员:朱军,钟毅,王立元,李乾,
申请(专利权)人:清华大学,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。