【技术实现步骤摘要】
本专利技术涉及机器学习，尤其涉及一种适用于大模型的压缩适配参数高效微调方法及系统。
技术介绍
1、随着深度学习技术的发展，预训练语言模型在大算力和大数据的双重支持下产生了革命性的突破，产生了许多百亿、千亿级参数量规模的语言模型。然而，这些超大规模的语言模型在下游任务上的微调需要消耗大量的计算资源，成本很高。同时，超大规模的语言模型的推理效率低，无法满足用户在对话问答、自动编程等日常使用的延迟需求。为了解决这个问题，参数高效微调方法、模型压缩被提出。参数高效微调方法旨在降低模型的微调成本，只训练少量的额外参数而不修改大规模预训练语言模型本身。模型压缩任务旨在通过，降低模型的推理开销，该任务是促进模型实际落地的关键。
2、已经有一些工作致力于通过参数高效微调方法来降低模型的训练成本和利用模型压缩提升模型的推理速度。然而，这些参数高效微调方法训练得到的模型仍然需要计算完整的语言模型参数，无法降低推理延迟，而已有的模型压缩方法在具体下游任务上效果不如压缩前的语言模型，虽然推理速度得以提升，但是效果仍不理想。
技术实现思路
1、本专利技术提供一种适用于大模型的压缩适配参数高效微调方法及系统，用以解决现有大模型推理速度慢、任务效果不佳的问题。
2、本专利技术提供一种适用于大模型的压缩适配参数高效微调方法，包括：
3、获取初始的大模型，通过参数高效微调获取任务知识；
4、基于所述大模型通过通用压缩方法进行压缩，获取压缩模型；
5、通过知
6、所述压缩模型获取任务知识后通过模型蒸馏进行知识恢复，在提升模型推理速度的同时保证模型的任务效果。
7、根据本专利技术提供的一种适用于大模型的压缩适配参数高效微调方法，所述获取初始的大模型，通过参数高效微调获取任务知识，具体包括：
8、获取初始的大模型，在未压缩的初始的大模型上通过参数高效微调模块进行任务知识分析；
9、基于任务知识分析的结果对任务知识进行提取。
10、根据本专利技术提供的一种适用于大模型的压缩适配参数高效微调方法，所述基于所述大模型通过通用压缩方法进行压缩，获取压缩模型，具体包括：
11、采用与任务无关的通用压缩方法对所述大模型进行压缩，
12、在压缩过程中通过模型量化、模型剪枝以及模型模块化分区生成压缩模型。
13、根据本专利技术提供的一种适用于大模型的压缩适配参数高效微调方法，所述通过知识继承算法将所述任务知识继承至所述压缩模型，具体包括：
14、在大模型中与压缩模型的相同的位置上插入相同配置的高效微调参数，使用大模型作为基座模型，在任务数据上训练大模型上的高效微调参数，得到包含高质量任务知识的高效微调参数权重；
15、基于大模型中的高效微调参数权重初始化所述压缩模型上的高效微调参数，在任务数据上进一步微调压缩模型的高效微调参数。
16、根据本专利技术提供的一种适用于大模型的压缩适配参数高效微调方法，所述压缩模型获取任务知识后通过模型蒸馏进行知识恢复，在提升模型推理速度的同时保证模型的任务效果，具体包括：
17、在所述压缩模型的每个线性层中插入具有瓶颈结构的多层感知器；
18、基于任务知识将多层感知器的计算结果与原线性层的计算结果相加，完成知识恢复。
19、根据本专利技术提供的一种适用于大模型的压缩适配参数高效微调方法，所述基于任务知识将多层感知器的计算结果与原线性层的计算结果相加，完成知识恢复，具体包括：
20、将原本经过线性变换的隐向量进行降采样变换，生成降采样变换结果；
21、基于降采样变换结果通过非线性变换后再进行升采样变换，生成升采样变换结果；
22、将升采样变换结果与原本的线性变换结果相加，完成知识恢复。
23、本专利技术还提供一种适用于大模型的压缩适配参数高效微调系统，所述系统包括：
24、任务知识获取模块，用于获取初始的大模型，通过参数高效微调获取任务知识；
25、压缩模块，用于基于所述大模型通过通用压缩方法进行压缩，获取压缩模型；
26、知识继承模块，用于通过知识继承算法将所述任务知识继承至所述压缩模型；
27、知识恢复模块，用于所述压缩模型获取任务知识后通过模型蒸馏进行知识恢复，在提升模型推理速度的同时保证模型的任务效果。
28、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述适用于大模型的压缩适配参数高效微调方法。
29、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述适用于大模型的压缩适配参数高效微调方法。
30、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述适用于大模型的压缩适配参数高效微调方法。
31、本专利技术提供的一种适用于大模型的压缩适配参数高效微调方法及系统，通过将压缩模型与参数高效微调结合起来，提升了模型运行时的推理速度，降低了计算成本，提升效率；并且多个任务可以共享同一个基座压缩模型，只有高效微调参数需要被重新训练，降低了部署多任务模型时的训练成本；通过提出知识继承，将任务知识继承至压缩模型上；通过知识恢复机制，解决了将参数高效微调适配在压缩模型上的能力退化问题。
本文档来自技高网...【技术保护点】
1.一种适用于大模型的压缩适配参数高效微调方法，其特征在于，包括：
2.根据权利要求1所述的适用于大模型的压缩适配参数高效微调方法，其特征在于，所述获取初始的大模型，通过参数高效微调获取任务知识，具体包括：
3.根据权利要求1所述的适用于大模型的压缩适配参数高效微调方法，其特征在于，所述基于所述大模型通过通用压缩方法进行压缩，获取压缩模型，具体包括：
4.根据权利要求1所述的适用于大模型的压缩适配参数高效微调方法，其特征在于，所述通过知识继承算法将所述任务知识继承至所述压缩模型，具体包括：
5.根据权利要求1所述的适用于大模型的压缩适配参数高效微调方法，其特征在于，所述压缩模型获取任务知识后通过模型蒸馏进行知识恢复，在提升模型推理速度的同时保证模型的任务效果，具体包括：
6.根据权利要求5所述的适用于大模型的压缩适配参数高效微调方法，其特征在于，所述基于任务知识将多层感知器的计算结果与原线性层的计算结果相加，完成知识恢复，具体包括：
7.一种适用于大模型的压缩适配参数高效微调系统，其特征在于，所述系统包括：<...
【技术特征摘要】
1.一种适用于大模型的压缩适配参数高效微调方法，其特征在于，包括：
2.根据权利要求1所述的适用于大模型的压缩适配参数高效微调方法，其特征在于，所述获取初始的大模型，通过参数高效微调获取任务知识，具体包括：
3.根据权利要求1所述的适用于大模型的压缩适配参数高效微调方法，其特征在于，所述基于所述大模型通过通用压缩方法进行压缩，获取压缩模型，具体包括：
4.根据权利要求1所述的适用于大模型的压缩适配参数高效微调方法，其特征在于，所述通过知识继承算法将所述任务知识继承至所述压缩模型，具体包括：
5.根据权利要求1所述的适用于大模型的压缩适配参数高效微调方法，其特征在于，所述压缩模型获取任务知识后通过模型蒸馏进行知识恢复，在提升模型推理速度的同时保证模型的任务效果，具体包括：
6.根据权利要求5所述的适用于大模型的...
【专利技术属性】
技术研发人员：刘知远，赵威霖，黄宇翔，韩旭，张正彦，孙茂松，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。