用于持续学习的方法和装置制造方法及图纸

技术编号:41882993 阅读:14 留言:0更新日期:2024-07-02 00:37
本公开内容涉及一种用于持续学习的方法,该方法包括:由神经网络在第一训练数据集上学习第一任务,以获得用于第一任务的神经网络的参数;以及在学习第一任务之后,由神经网络在第二训练数据集上学习第二任务,其中学习第二任务包括:获得用于第二任务的神经网络的扩展参数;以及通过使用两个权重合并正则化项,选择性地与用于第一任务的参数和用于第二任务的扩展参数进行合并,以获得用于第一任务和第二任务两者的神经网络的参数。

【技术实现步骤摘要】
【国外来华专利技术】

概括地说,本公开内容的各方面涉及人工智能,具体地说,本公开内容的各方面涉及用于持续学习或终身学习的方法和装置。


技术介绍

1、人类和动物具有在其一生中不断地获取、微调和迁移知识与技能的能力。这种能力也可以称为终身学习。终身学习能力对于在现实世界中进行交互并处理连续信息流的计算学习系统和自主主体至关重要。然而,终身学习或持续学习仍然是机器学习和神经网络模型乃至人工智能(ai)系统发展的长期挑战。

2、关于持续学习的计算模型的主要问题之一是它们容易发生灾难性遗忘,即用新信息来训练模型会干扰先前学习的知识。这种现象通常会导致性能突然下降,或者在最坏的情况下,导致旧知识被新知识完全覆盖。诸如权重正则化、参数隔离和记忆重放等等之类的持续学习中的许多努力,都致力于克服灾难性遗忘的问题。

3、关于持续学习的计算模型的另一个主要问题是,持续学习旨在从动态数据分布中学习一系列的任务。由于在学习任务后,旧的训练样本通常不可用,因此很难确定从旧任务到每个新任务的知识迁移,该知识迁移可能是积极也可能是消极的。如果前向知识迁移是消极的,即从旧知识中学习新任务本文档来自技高网...

【技术保护点】

1.一种用于持续学习的方法,包括:

2.根据权利要求1所述的方法,其中,所述扩展参数是在没有所述第一任务的约束的情况下,仅针对所述第二任务来获得的。

3.根据权利要求1所述的方法,其中,所述选择性地与用于所述第一任务的所述参数和用于所述第二任务的所述扩展参数合并,还包括:

4.根据权利要求1所述的方法,其中,在所述持续学习中,不存储用于所述第二任务的所述扩展参数。

5.根据权利要求1所述的方法,其中,所述第一任务或所述第二任务中的至少一个包括回归任务、视觉分类任务或强化任务。

6.根据权利要求1所述的方法,其中,所述方法是即插即...

【技术特征摘要】
【国外来华专利技术】

1.一种用于持续学习的方法,包括:

2.根据权利要求1所述的方法,其中,所述扩展参数是在没有所述第一任务的约束的情况下,仅针对所述第二任务来获得的。

3.根据权利要求1所述的方法,其中,所述选择性地与用于所述第一任务的所述参数和用于所述第二任务的所述扩展参数合并,还包括:

4.根据权利要求1所述的方法,其中,在所述持续学习中,不存储用于所述第二任务的所述扩展参数。

5.根据权利要求1所述的方法,其中,所述第一任务...

【专利技术属性】
技术研发人员:王立元张鸣天贾仲凡李乾包承龙马恺声朱军钟毅杨昊
申请(专利权)人:罗伯特·博世有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1