自适应模型构建方法、装置、电子设备和存储介质制造方法及图纸

本申请提出一种自适应模型构建方法和装置，涉及计算机多媒体技术领域，其中，方法包括：获取训练数据；搭建推理模型和记忆模块；对训练数据预处理后输入推理模型进行训练，并通过记忆模块获取每次任务训练的数据支撑材料和模型支撑材料，以使记忆模块根据数据支撑材料和模型支撑材料对待分类数据进行标注，已训练的推理模型对标注后的待分类数据进行处理，获取标签类别。由此，解决了在原有持续学习训练中，神经网络会因为鲁棒性不足产生的灾难性遗忘、模型收敛较慢等问题，已训练的推理模型能够自适应地针对场景对数据进行处理，提高数据处理的准确性。据处理的准确性。据处理的准确性。

【技术实现步骤摘要】
自适应模型构建方法、装置、电子设备和存储介质


[0001]本申请涉及计算机多媒体
，尤其涉及一种自适应模型构建方法、装置电子设备和存储介质。

技术介绍

[0002]随着人类对人脑以及相应机制的探究，人类希望神经网络可以应对多场景以及学习不同任务，持续学习问题受到广泛的关注和应用。现有的神经网络面对持续学习问题，会出现灾难性遗忘问题。灾难性遗忘即学习了新的知识之后，几乎彻底遗忘掉之前习得的内容。在一个已经训练好的模型中，训练新的任务，之后测试旧的任务，旧任务的准确率会比学习新任务前降低很多。随着任务数量的增加，旧任务的准确率会逐渐降低，即遗忘现象。所以，如何尽可能地在原有模型的基础上，以尽可能小的代价与成本解决灾难性遗忘问题，在学术界和工业界都是一个重要的研究课题。
[0003]为了减少灾难性遗忘问题，目前有三种常用的解决思路。第一种思路是：制作一个样本集，在后续学习其他任务时将样本集混入训练。这种思路将数据混合进后续任务中，可以取得一定的对抗遗忘效果。但是，如何挑选数据以及挑选多少数据来制作样本集是本方法面临的一个问题。当选择不同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自适应模型构建方法，其特征在于，包括以下步骤：获取训练数据；搭建推理模型和记忆模块；对所述训练数据预处理后输入所述推理模型进行训练，并通过所述记忆模块获取每次任务训练的数据支撑材料和模型支撑材料，以使所述记忆模块根据所述数据支撑材料和所述模型支撑材料对待分类数据进行标注，已训练的推理模型对标注后的待分类数据进行处理，获取标签类别。2.如权利要求1所述的自适应模型构建方法，其特征在于，对所述训练数据预处理，包括：根据所述推理模型构建的数据类型对所述训练数据预处理，获取行向量X
i
；其中，i表示第i个任务，j表示第i个任务下的第j个数据，n表示第i个任务下的第j个数据的第n个分量。3.如权利要求1所述的自适应模型构建方法，其特征在于，所述搭建推理模型，包括：构建所述推理模型为构建所述推理模型为为输入的第i个任务下的第j个数据，所述的标签类别为：其中，表示所述的标签类别。4.如权利要求3所述的自适应模型构建方法，其特征在于，还包括：构建所述推理模型的损失函数为：其中，θ表示表示与标签类别之间的差异，L
P
(θ)表示当前任务的交叉熵函数，H
i
表示海森矩阵，F
i
表示费雪信息矩阵，α与β均是给定的记忆参数。5.如权利要求1所述的自适应模型构建方法，其特征在于，所述对所述训练数据预处理后输入所述推理模型进行训练，包括：通过梯度更新公式对预处理后的训练数据进行训练，所述梯度更新公式如下：A＝X
T
(X
T
X+I)
‑1X
T
+ψI；ΔW＝λAΔW
BP
；其中，X表示经过预处理的训练数据，ψ和λ表示学习率，A表示梯度限制因子，ΔW
...

【专利技术属性】
技术研发人员：郭雨晨，张葆圣，丁贵广，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：