基于类比提示的增量学习方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种基于类比提示的增量学习方法、装置、设备及存储介质，该方法包括步骤：获取待分类数据集，其中，所述待分类数据集包括训练集数据和测试集数据；基于所述训练集数据中当前任务数据与历史任务数据，计算得到对应历史任务数据中每个类别的类比参数，并将所述类比参数和所述当前任务数据相结合，得到类比样本数据；基于所述当前任务数据，对预设分类模型进行微调，得到微调后的预设分类模型，并基于所述类比样本数据，消除所述历史任务数据的聚类中心产生的偏移，得到无偏移的聚类中心数据；基于所述微调后的预设分类模型和所述聚类中心数据，对所述测试集数据进行分类，得到分类数据。本申请降低了模型的存储成本。本。本。

【技术实现步骤摘要】
基于类比提示的增量学习方法、装置、设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种基于类比提示的增量学习方法、装置、设备及存储介质。

技术介绍

[0002]增量学习是一种机器学习方法，旨在让模型不断学习新数据的同时，不忘记之前学过的知识，然而，增量学习一直面临着“灾难性遗忘”的问题，在使用新数据更新模型后，由于神经网络会根据当前输入来调整权重，导致以前学到的知识被覆盖或丢失，因此模型对先前数据的拟合能力会急剧下降。
[0003]在相关技术中，通过重放法的方式来保存模型的历史数据，进而，防止模型忘记之前学到的知识，此方法能够有效防止模型遗忘之前学到的知识，然而，存储大量历史数据会带来高昂的存储成本。

技术实现思路

[0004]本申请的主要目的在于提供一种基于类比提示的增量学习方法、装置、设备及存储介质，旨在解决相关技术中，通过存储大量历史数据来防止模型忘记之前学到的知识，导致模型的存储成本较高的技术问题。
[0005]为实现上述目的，本申请实施例提供了一种基于类比提示的增量学习方法，所述方法包括：
[0006]获取待分类数据集，其中，所述待分类数据集包括训练集数据和测试集数据；
[0007]基于所述训练集数据中当前任务数据与历史任务数据，计算得到对应历史任务数据中每个类别的类比参数，并将所述类比参数和所述当前任务数据相结合，得到类比样本数据；
[0008]基于所述当前任务数据，对预设分类模型进行微调，得到微调后的预设分类模型，并基于所述类比样本数据和所述微调的预设分类模型，消除所述历史任务数据的聚类中心产生的偏移，得到无偏移的聚类中心数据；
[0009]基于所述微调后的预设分类模型和所述聚类中心数据，对所述测试集数据进行分类，得到分类数据。
[0010]在本申请的一种可能的实施方式中，所述基于所述训练集数据中当前任务数据与历史任务数据，计算得到对应历史任务数据中每个类别的类比参数的步骤，包括：
[0011]采样所述当前任务数据中与历史任务数据的每个类的聚类中心距离最近的数据子集；
[0012]基于所述数据子集和第一预设目标函数，计算得到对应历史任务数据中每个类的类比参数。
[0013]在本申请的一种可能的实施方式中，所述基于所述数据子集和第一预设目标函数，计算得到对应历史任务数据中每个类的类比参数的步骤，包括：
[0014]将所述数据子集输入所述第一预设目标函数；
[0015]基于所述第一预设目标函数，对所述数据子集进行训练，得到对应历史任务数据中每个类的类比参数；
[0016]其中，所述第一预设目标函数表示为
[0017]其中，L
CC
表示类别转换损失，L
PP
表示聚类中心推近损失，L
DE
表示激励多样性损失，表示输入的数据子集。
[0018]在本申请的一种可能的实施方式中，所述微调后的预设分类模型基于所述测试集数据中每个数据类别的多个聚类中心对所述测试集数据进行分类，使得不同类别数据之间的特征分布区分明显。
[0019]在本申请的一种可能的实施方式中，所述基于所述当前任务数据，对预设分类模型进行微调，得到微调后的预设分类模型的步骤，包括：
[0020]基于所述当前任务数据，训练预设分类模型的第二预设目标函数，得到微调后的预设分类模型；
[0021]其中，所述第二预设目标函数表示为：L
FT
＝L
C
+L
SC
.；
[0022]其中，L
C
表示当前任务上的交叉熵损失，L
SC
表示偏移一致性损失。
[0023]在本申请的一种可能的实施方式中，所述基于所述类比样本数据和所述微调的预设分类模型，消除所述历史任务数据的聚类中心产生的偏移，得到无偏移的聚类中心数据的步骤，包括：
[0024]基于微调后的预设分类模型，对所述类比特征数据与历史任务数据进行实例转换，确定历史任务数据的聚类中心所产生的偏移值；
[0025]将所述历史任务数据的聚类中心值与所述偏移值相加，得到无偏移的聚类中心数据。
[0026]在本申请的一种可能的实施方式中，所述基于所述微调后的预设分类模型和所述聚类中心数据，对所述测试集数据进行分类，得到分类数据的步骤，包括：
[0027]基于所述微调后的预设分类模型，提取所述测试数据集的第一数据特征；
[0028]将所述第一数据特征与所述聚类中心数据输入至分类层，计算得到分值最高的第一数据类别以及所述第一数据类别对应的分类数据。
[0029]本申请还提供一种基于类比提示的增量学习装置，所述基于类比提示的增量学习装置还包括：
[0030]获取模块，用于获取待分类数据集，其中，所述待分类数据集包括训练集数据和测试集数据；
[0031]结合模块，用于基于所述训练集数据中当前任务数据与历史任务数据，计算得到对应历史任务数据中每个类别的类比参数，并将所述类比参数和所述当前任务数据相结合，得到类比样本数据；
[0032]消除模块，用于基于所述当前任务数据，对预设分类模型进行微调，得到微调后的预设分类模型，并基于所述类比样本数据和所述微调的预设分类模型，消除所述历史任务数据的聚类中心产生的偏移，得到无偏移的聚类中心数据；
[0033]分类模块，用于基于所述微调后的预设分类模型和所述聚类中心数据，对所述测
试集数据进行分类，得到分类数据。
[0034]本申请还提供一种基于类比提示的增量学习设备，所述基于类比提示的增量学习设备为实体节点设备，所述基于类比提示的增量学习设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述基于类比提示的增量学习方法的程序，所述基于类比提示的增量学习方法的程序被处理器执行时可实现如上述所述基于类比提示的增量学习方法的步骤。
[0035]为实现上述目的，还提供一种存储介质，所述存储介质上存储有基于类比提示的增量学习程序，所述基于类比提示的增量学习程序被处理器执行时实现上述任一所述的基于类比提示的增量学习方法的步骤。
[0036]本申请提供了一种基于类比提示的增量学习方法、装置、设备及存储介质，与相关技术中，通过存储大量历史数据来防止模型忘记之前学到的知识，导致模型的存储成本较高相比，在本申请中，获取待分类数据集，其中，所述待分类数据集包括训练集数据和测试集数据；基于所述训练集数据中当前任务数据与历史任务数据，计算得到对应历史任务数据中每个类别的类比参数，并将所述类比参数和所述当前任务数据相结合，得到类比样本数据；基于所述当前任务数据，对预设分类模型进行微调，得到微调后的预设分类模型，并基于所述类比样本数据和所述微调的预设分类模型，消除所述历史任务数据的聚类中心产生的偏移，得到无偏移的聚类中心数据；基于所述微调后的预设分类模型和所述聚类中心数据，对所述测试集数据进行分类，得到分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于类比提示的增量学习方法，其特征在于，所述方法包括以下步骤：获取待分类数据集，其中，所述待分类数据集包括训练集数据和测试集数据；基于所述训练集数据中当前任务数据与历史任务数据，计算得到对应历史任务数据中每个类别的类比参数，并将所述类比参数和所述当前任务数据相结合，得到类比样本数据；基于所述当前任务数据，对预设分类模型进行微调，得到微调后的预设分类模型，并基于所述类比样本数据和所述微调的预设分类模型，消除所述历史任务数据的聚类中心产生的偏移，得到无偏移的聚类中心数据；基于所述微调后的预设分类模型和所述聚类中心数据，对所述测试集数据进行分类，得到分类数据。2.如权利要求1所述的基于类比提示的增量学习方法，其特征在于，所述基于所述训练集数据中当前任务数据与历史任务数据，计算得到对应历史任务数据中每个类别的类比参数的步骤，包括：采样所述当前任务数据中与历史任务数据的每个类的聚类中心距离最近的数据子集；基于所述数据子集和第一预设目标函数，计算得到对应历史任务数据中每个类的类比参数。3.如权利要求2所述的基于类比提示的增量学习方法，其特征在于，所述基于所述数据子集和第一预设目标函数，计算得到对应历史任务数据中每个类的类比参数的步骤，包括：将所述数据子集输入所述第一预设目标函数；基于所述第一预设目标函数，对所述数据子集进行训练，得到对应历史任务数据中每个类的类比参数；其中，所述第一预设目标函数表示为其中，L
CC
表示类别转换损失，L
PP
表示聚类中心推近损失，L
DE
表示激励多样性损失，表示输入的数据子集。4.如权利要求1所述的基于类比提示的增量学习方法，其特征在于，所述微调后的预设分类模型基于所述测试集数据中每个数据类别的多个聚类中心对所述测试集数据进行分类，使得不同类别数据之间的特征分布区分明显。5.如权利要求1所述的基于类比提示的增量学习方法，其特征在于，所述基于所述当前任务数据，对预设分类模型进行微调，得到微调后的预设分类模型的步骤，包括：基于所述当前任务数据，训练预设分类模型的第二预设目标函数，得到微调后的预设分类模型；其中，所述第二预设目标函数表示为：L
FT
＝L
C
+L
SC
...

【专利技术属性】
技术研发人员：马智恒，刘蓓楠，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：