一种基于提示分组的无复习连续学习方法技术

本发明专利技术公开了一种基于提示分组的无复习类增量学习方法，其特点是该方法包括：采样当前任务一个批次的数据结合之前所有任务的提示输入冻结的视觉预训练模型，通过反向传播得到所有提示的梯度；计算所有提示的敏感度；划分为高敏感度组和低敏感度组，并计算之前每个组的提示与这两个组的交集，选择交集最大的提示组作为与当前任务最相似的组；判断最相似的提示组所包含的提示占高敏感度组中的提示是否超过阈值，如超过则将当前任务的提示分到该组，否则当前任务单独一组；使用分类头矫正模块改善任务之间的区分度。本发明专利技术与现有技术相比具有解决了无法利用相似任务的互补知识的问题，进一步探索了连续任务间的积极知识迁移，具有良好的运用前景。

【技术实现步骤摘要】

本专利技术涉及增量学习，尤其是一种基于提示分组的无复习类增量学习方法。

技术介绍

1、在持续学习环境中，模型需要不断地学习新任务，同时保留之前学到的知识。然而，当模型学习新数据时，往往会覆盖或破坏之前学到的知识，这种现象称为灾难性遗忘。

2、现有的持续学习方法中，基于提示(prompt-based)学习显示出了减少遗忘的潜力，这些方法通过学习一小套可插入的模型嵌入(即提示，prompts)，而不是直接修改视觉编码器的参数，来减少遗忘。然而，这些方法存在以下局限性：使用任务特定的提示无法充分利用属于类似任务的其他提示中的互补知识。这意味着模型不能从之前类似的任务中学习到的知识中获益，假设过去有多个任务，包括草地上的小狗，草地上的兔子，以及当前任务马路上的汽车，在识别兔子的任务中，无法利用之前任务中学到的小狗任务中关于绿色草地和尖耳朵的知识。使用共享提示不可避免地引入了不相关信息。在学习新任务时，可能会引入与新任务无关的提示(如黑色车轮)，这会干扰之前任务的知识。

3、现有技术的任务特定或任务共享的更新范式限制了从其他类似任务的提示中探本文档来自技高网...

【技术保护点】

1.一种基于提示分组的无复习类增量学习方法，其特征在于，该方法具体包括：

【技术特征摘要】

1.一种基于提示分组的无复习类增量学...

【专利技术属性】
技术研发人员：谭鑫，龚仁春，张志忠，龚靖渝，谢源，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：