基于先天知识的持续学习方法及装置制造方法及图纸

本发明专利技术提出一种基于先天知识的持续学习方法及装置，方法包括：获取第一训练数据并对所述第一训练数据进行预处理；将预处理后的所述第一训练数据输入至预先训练的生成器，输出第二训练数据；根据所述第二训练数据和分类神经网络，训练神经网络模型的初始化参数；根据所述第一训练数据和预先构建的损失函数，对所述神经网络模型的初始化参数进行更新以得到更新后的所述神经网络模型。本发明专利技术在学习任务前引入一个生成器，提前对神经网络进行参数的初始化，在后续训练过程中，综合生成器产生的任务0与当前学习任务，进行正则化约束，使得模型可以进行快速收敛，有效减少神经网络在持续学习中面临的灾难性遗忘问题，提高模型的任务学习能力。学习能力。学习能力。

【技术实现步骤摘要】
基于先天知识的持续学习方法及装置


[0001]本专利技术属于计算机多媒体
，涉及图像分类技术。

技术介绍

[0002]现有人工智能领域已经取得了不少突破性进步。在人脸识别、语音识别、目标检测等任务中，通过在有监督学习下进行大量的输入
‑
输出训练，深度学习模型可以达到一个相当高的学习准确率，效率高于人类并且达到应用的目的。在具有1000个类别以及100多万训练样本的目标识别任务ImageNet中，训练出的深度学习网络可以达到80％以上的top
‑
1准确率，识别速度也远高于人类。在棋类游戏领域，深蓝战胜卡斯帕罗夫，阿尔法狗战胜李世石、柯洁等。
[0003]虽然人工智能取得如此多的突破进展，但是现有人工智能，尤其是深度神经网络，与人类或人脑相应模式仍存在很大差异。人类有能够将一个任务的知识用到另一个任务上，并且学习后一个任务时也不会忘记前一个任务的能力，这种能力叫持续学习能力。而对现有的人工智能，尤其是深度神经网络来说，由于其自身的设计天然存在灾难性遗忘问题。灾难性遗忘现象即在一个顺序无标注的、可能随本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于先天知识的持续学习方法，其特征在于，包括以下步骤：获取第一训练数据，并对所述第一训练数据进行预处理；将预处理后的所述第一训练数据输入至预先训练的生成器，输出第二训练数据；根据所述第二训练数据和分类神经网络，训练神经网络模型的初始化参数；根据所述第一训练数据和预先构建的损失函数，对所述神经网络模型的初始化参数进行更新，以得到更新后的所述神经网络模型。2.根据权利要求1所述的基于先天知识的持续学习方法，其特征在于，对所述第一训练数据进行预处理，包括：对输入数据进行通用处理，变换为通用行向量的形式。具体表示形式如下：其中i表示任务的序号，j表示在当前任务i下的第j个数据，n表示在当前数据下的第n个向量分量。3.根据权利要求1所述的基于先天知识的持续学习方法，其特征在于，将预处理后的所述第一训练数据输入至预先训练的生成器，输出第二训练数据，包括：根据任务以及数据构建生成器；数据的相应隐变量z服从某种分布，利用生成器学习映射X＝G(z)，实现隐变量分布z与真实数据分布P(X)的转换。将第一训练数据集合投入生成器进行训练，最终得到生成器映射为：X＝G(z)，加入一个偏差项B，使得最终产生生成器数据与第一训练数据结果存在一定差异，但是均与隐变量分布z产生关联。最终生成器映射为：X
′
＝G(z)+B(z)；根据任务1训练出的生成器，模拟产生相应第二训练数据；设定任务数据集合为A0，则任务0的数据集合为：其中代表了模拟生成任务0中的数据任务0的数据数量为t，t的数量与其余任务的数据数量j有关系，一般比较合适的关系为：t＝2j。4.根据权利要求1所述的基于先天知识的持续学习方法，其特征在于，所述损失函数通过添加了新任务与过往任务模型参数的正则项以及任务0在当前任务模型参数的正则项，限制神经网络的更新，让神经网络保存原有任务参数信息，参数不会与初始参数空间变换太多，实现较强的泛化能力与学习能力，其中，具体设计损失函数如下：其中，θ表示与标签之间的差异，L
p
(θ)表示当前任务t下求得的交叉熵函数，代表了学习当前数据后，模型参数从H
t
‑1更新未H
t
后参数的变化，代表了当前神经网络H
t
在前向传播任务t数据与任务0初始化
的数据的总差异。5.根据权利要求1所述的基于先天知识的持续学习方法，其特征在于，在得到更新后的所述神经网络模型之后，还包括，不断重复权利要求1的全部步骤，直到神经网络网络分类准确率符合要求；当一共有i个任务时，需要对不同地任务重复，对模型进行参数更新学习，在经过全部i次训练操作后，得到最终的模型...

【专利技术属性】
技术研发人员：郭雨晨，戴琼海，丁贵广，
申请(专利权)人：清华大学，
类型：发明
国别省市：