【技术实现步骤摘要】
基于元学习优化方法的连续学习方法及装置
本专利技术涉及连续学习/元学习/优化算法
，特别涉及一种基于元学习优化方法的连续学习方法及装置。
技术介绍
在统计机器学习系统和深度学习系统投入使用时，要求模型学习到的输入数据和输出数据的分布和要进行测试的分布是一致的，同时也要考虑输入数据、输出数据的分布随时间的变化。在单一任务的机器学习场景下，统计机器学习模型或深度神经网络模型的可行性和有效性严重取决于一个假设：输入和输出数据的分布不会随时间发生显著变化；否则会使得模型原本学习到的模式和复杂关系表现不佳或甚至完全不可用。但在真实世界中，这样的假设条件很少能够成立。以人类的认知学习为例，人类大脑在学习过程中，能够应对输入数据随时间变化的显著性和多样性，这是目前针对单一任务的机器学习模型不能够适应的。因此，神队神经网络的连续学习问题得到了越来越多的关注。连续学习场景不同于传统单一任务的机器学习场景，也不同于多任务同时学习的场景。在连续学习的场景中，任务按照时间顺序到达，当前任务的训练过程结束后，继续在同一模型上训练下一个任...
【技术保护点】
1.一种基于元学习优化方法的连续学习方法，其特征在于，包括以下步骤：/n建立初始深度学习模型；/n对于第T个新任务，利用元学习的优化方法训练所述初始深度学习模型；以及/n在每次训练任务结束后，更新记忆储存单元，储存部分训练数据以用于后续学习，且在模型训练结束后，使得最终深度学习模型根据任意输入数据执行不同的任务。/n
【技术特征摘要】
1.一种基于元学习优化方法的连续学习方法，其特征在于，包括以下步骤：
建立初始深度学习模型；
对于第T个新任务，利用元学习的优化方法训练所述初始深度学习模型；以及
在每次训练任务结束后，更新记忆储存单元，储存部分训练数据以用于后续学习，且在模型训练结束后，使得最终深度学习模型根据任意输入数据执行不同的任务。
2.根据权利要求1所述的方法，其特征在于，所述利用元学习的优化方法训练所述初始深度学习模型，包括：
利用输入数据得到当前模型的梯度，在当前梯度方向下降预设步；
获取梯度下降后的模型参数的新梯度，并根据所述新梯度更新原来的模型参数。
3.根据权利要求2所述的方法，其特征在于，所述获取梯度下降后的模型参数的新梯度，并根据所述新梯度更新原来的模型参数，进一步包括：
将所述输入数据分为训练数据和验证数据；
使用所述训练数据在当前模型参数上进行预设步梯度下降，得到所述梯度下降后的模型参数的新梯度；
根据所述验证数据得到所述新梯度的梯度下降方向，使用所述新梯度的梯度下降方向，原来的模型参数上进行一步梯度下降，以更新原来的模型参数。
4.根据权利要求1所述的方法，其特征在于，所述初始深度学习模型使用卷积神经网络模型，其中，所述卷积神经网络模型有m层，每层有预设数目的卷积核，以及归一化操作、非线性激活函数，所述卷积神经网络模型的输入数据是图片，输出是图片类别。
5.根据权利要求1所述的方法，其特征在于，在每次训练任务结束后，更新记忆储存单元，储存部分训练数据以用于后续学习，包括：
判断所述记忆储存单元的当前容量是否小于存储第T个新任务的数据所需的存储容量；
如果小于，则将记忆储存单元的容量平均分给T个任务，随机删除每个任务中多余的数据，直到储存第T个新任务的数...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。