【技术实现步骤摘要】
可区分特征的持续学习方法及装置
本专利技术涉及机器学习
，特别涉及一种可区分特征的持续学习方法及装置。
技术介绍
在现实世界中，信息流往往是连续的，智能系统需要从联系且动态的数据分布中学习和记住多个任务。例如，与环境交互的智能机器人需要从其自身经验中学习，并且必须能够持续地获取知识。通过保留先前学习的经验，同时适应新知识而不断学习的能力被称为持续学习或终身学习。终身学习的需要克服的最大问题是模型会发生灾难性遗忘，即用新信息训练模型会干扰先前学到的知识。这种现象通常会导致性能突然下降，在最坏的情况下，会导致旧知识被新的知识完全覆盖。现有的持续学习主要是在图片分类任务上进行实验。研究可分为基于正则的，基于回放的，基于增量式模型的。基于增量式模型和基于回放的方法都要求模型的体积随着任务的增多而变大。这中在实际情况下并不可取。基于正则的方法着眼于在某个任务的学习结束后，对目标函数添加一个正则项。添加该正则项的目的是保证模型在之后的学习中，对此任务依然有不错的表现。这种方法一定程度上缓解了灾难性遗忘，但是...
【技术保护点】
1.一种可区分特征的持续学习方法，其特征在于，包括以下步骤：/n确定当前分类任务，并将目标函数加入学习模型的angularloss项；/n在所述当前分类任务为新任务时，初始化学习模型的最后一层的参数，以使其相互正交，并在更新过程中暂时固定；以及/n训练预设时间后，将所述最后一层的参数参与更新，其中，所述最后一层的参数作为正交化的约束，以使不同的分类任务不会互相干扰。/n
【技术特征摘要】
1.一种可区分特征的持续学习方法，其特征在于，包括以下步骤：
确定当前分类任务，并将目标函数加入学习模型的angularloss项；
在所述当前分类任务为新任务时，初始化学习模型的最后一层的参数，以使其相互正交，并在更新过程中暂时固定；以及
训练预设时间后，将所述最后一层的参数参与更新，其中，所述最后一层的参数作为正交化的约束，以使不同的分类任务不会互相干扰。
2.根据权利要求1所述的方法，其特征在于，每个分类任务学习与对应特征表达相对应。
3.根据权利要求1所述的方法，其特征在于，所述目标函数为：
其中，N为训练样本的数量，i为样本序号，xi为第i个样本的特征，m为一系数，θj,i为Wj与xi的夹角，Wj为类别j在最后一层对应的W，y为样本类别。
4.根据权利要求1所述的方法，其特征在于，所述在所述当前分类任务为新任务时，初始化学习模型的最后一层的参数，进一步包括：
使所述新任务在特征空间中与其他任务正交，以最小化不同分类任务发生干扰的概率。
5.根据权利要求1所述的方法，其特征在于，所述训练预设时间后，将所述最后一层的参数参与更新，进一步包括：
在模型收敛或者达到预设时间后，停止最后一层参数的固定，并将所述最后一层的参数更新至模...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。