一种基于门控制机制的连续学习方法技术

本发明专利技术公开了一种基于门控制机制的连续学习方法，首先基于深度神经网络模型，针对当前任务建立相应的模型；其次根据新的任务建立新的特定的深度模型，并让新模型与原来任务模型间建立层间对应的连接，使得新旧模型同层特征间能够汇聚到新模型中；然后，在同层连接构建基于门控制的机制，对新旧任务间的特征关系进行学习，筛选旧任务中对新任务有用的信息；最后，建立好上述模型后，在新任务数据上训练模型。本发明专利技术是当前面向通用的任务易发生灾难性遗忘以及难以迁移其他任务知识条件下的一种有效、高精确性的、分布式的连续学习方法。

A Continuous Learning Method Based on Gate Control Mechanism

【技术实现步骤摘要】
一种基于门控制机制的连续学习方法
本专利技术涉及一种基于门控制机制的连续学习方法，属于人工智能领域。
技术介绍
近年来，深度学习技术在很多领域取得了瞩目的成就。然而，当前的深度学习模型主要面向封闭环境，针对特定任务来设计模型，尽管多任务模型能够执行多个任务，但是其假设任务具有很强的相关性，而且要求在收集有关任务的所有数据的条件下训练模型，加入新的数据需要将之前的数据进行保存并与新数据一起训练，会导致计算量的骤增和占用大量存储空间。面对真实开放环境，往往需要执行多个任务，需要智能体拥有像人一样能够逐步学习多个任务的能力，即连续学习。连续学习主要涉及到两个问题：如何避免灾难性遗忘与如何将所学任务的知识迁移到新的学习任务中。灾难性遗忘主要是由于前面任务的参数空间在后续任务的学习中被破坏导致，分布式连续学习模型没有考虑到当前任务与前面任务的关系，简单地依靠转移矩阵将前面任务特征流引入到当前任务网络中。如果任务特征空间之间没有交叉，暴力地迁移无益于当前任务学习甚至对学习是有害的。因此，关键的问题是如何研究连续学习中任务的相关性，利用任务之间的关系对其他任务并入当前任务的特征进行过滤，从而控制不本文档来自技高网...

【技术保护点】
1.一种基于门控制机制的连续学习方法，其特征在于，包括如下步骤：(1)针对当前任务，对数据进行预处理，并根据任务搭建相应的深度神经网络模型，包括基础模型与全连接层；(2)固定前面任务模型的参数，并与当前模型在层级粒度上进行连接；(3)在模型连接上建立迁移门，以控制迁移的特征的流入，完成自适应地将前面学习到的特征迁移到当前任务模型中；(4)将数据输入到前面任务的模型和当前任务模型中，进行端到端的训练。

【技术特征摘要】
1.一种基于门控制机制的连续学习方法，其特征在于，包括如下步骤：(1)针对当前任务，对数据进行预处理，并根据任务搭建相应的深度神经网络模型，包括基础模型与全连接层；(2)固定前面任务模型的参数，并与当前模型在层级粒度上进行连接；(3)在模型连接上建立迁移门，以控制迁移的特征的流入，完成自适应地将前面学习到的特征迁移到当前任务模型中；(4)将数据输入到前面任务的模型和当前任务模型中，进行端到端的训练。2.根据权利要求1所述的方法，其特征在于，步骤(1)中所述的对当前任务数据进行预处理，并根据任务搭建相应的神经网络模型，包括以下步骤：对数据进行预处理，包括去均值和归一化，并采用翻转、随机裁剪、白化和随机旋转0-25度角的方式对数据进行扩增；然后，根据任务类型搭建深度神经网络，包括输入层、卷积层构成的基础模型模块和全连接层和输出层构成的全连接层模块。3.根据权利要求1所述的方法，其特征在于，步骤(2)中所述的固定前面任务模型的参数，并与当前模型在层级粒度上进行连接，包括以下步骤：对每个任务单独建模，设计基于神经网络的多任务连续学习框架来避免灾难性遗忘；给定两个任务，在数据DA上训练taskA后将模型参数固定，在学习新的任务时，构建新的主干模型ModelB并初始化参数，同时与枝干模型ModelA侧连构建转移矩阵U，在新的数据集DB上训练时，通过侧连将原模型在新的数据上提取的特征迁移到当前任务中，得到ModelB；具体形式如下：其中表示在学习k-1个任务后，学习第k个任务时l层隐藏层的输出；表示Modelk'中l-1层到l层的参数；表示Modelj第l-1激活值迁移到Modelk'同一层的连接。4.根据权利要求1所述的方法，其特征在于，步骤(3)中所述的在模型连接上建立迁移门，以控制迁移的特征的流入，完成自适应地将前面学习到的特征迁移到当前任务模型中，包括以下步骤：设计Gate机制来判定任务间的关联关系，防止不相关任务间的特征流入来避免对学习新任务的干扰；首先，当第...

【专利技术属性】
技术研发人员：李海峰，彭剑，蒋浩，
申请(专利权)人：中南大学，
类型：发明
国别省市：湖南,43