【技术实现步骤摘要】
本申请涉及自然语言处理，更具体的说，是涉及一种大模型训练方法、装置、设备及可读存储介质。
技术介绍
1、近些年，大模型(chat gpt及类似模型)引发了人工智能领域的浪潮，大模型拥有海量参数和强大的学习能力，在自然语言处理、计算机视觉等领域取得了重大的突破，显著提升了生产力。大模型的通用训练流程分为：预训练，有监督微调(supervised fine-tuning，sft)，人类反馈的强化学习(reinforcement learning from human feedback，rlhf)3个流程。在预训练阶段，大模型通过学习大量高质量的无标签文本数据来掌握语言的基本结构和语义规律。在有监督微调阶段，使用特定领域的标签数据对大模型的网络参数进行微调，使大模型更好地适应特定领域任务。但是，特定领域的标签数据存在数据敏感、数据量少等问题，使用特定领域的标签数据对预训练后的大模型直接进行有监督微调，效果有限，这将导致大模型无法更好地适应特定领域任务。
2、针对上述问题，业界采用的解决方案是对大模型的通用训练流程进行调整，在对大模型的训练过程中加入增量预训练流程，即采用增量的领域无监督数据进行预训练。但是，目前通过加入增量预训练流程实现对大模型训练的方式，训练效果并不好。
3、因此，如何提供一种采用增量预训练流程对大模型进行训练的方法，以提升大模型的训练效果，成为本领域技术人员亟待解决的技术问题。
技术实现思路
1、鉴于上述问题，本申请提出了一种大模型训练方法、装
2、一种大模型训练方法，所述方法包括：
3、获取基础大模型，所述基础大模型为预训练好的大模型；
4、冻结所述基础大模型的基础参数，基于增量的领域无监督数据，对所述基础大模型进行参数局部微调，得到第一增量参数；
5、冻结所述基础大模型的基础参数，基于通用有监督数据，对所述基础大模型进行参数局部微调，得到第二增量参数；
6、基于所述第一增量参数、所述第二增量参数以及所述基础大模型的基础参数，确定大模型的最终参数。
7、可选地，所述冻结所述基础大模型的基础参数，基于增量的领域无监督数据，对所述基础大模型进行参数局部微调，得到第一增量参数，包括：
8、冻结所述基础大模型的基础参数，基于增量的领域无监督数据，采用低秩自适应lora微调的方式对所述基础大模型进行参数局部微调，得到第一增量参数。
9、可选地，所述冻结所述基础大模型的基础参数，基于通用有监督数据，对所述基础大模型进行参数局部微调，得到第二增量参数，包括：
10、冻结所述基础大模型的基础参数，基于通用有监督数据，采用低秩自适应lora微调的方式对所述基础大模型进行参数局部微调，得到第二增量参数。
11、可选地，所述基于所述第一增量参数、所述第二增量参数以及所述基础大模型的基础参数，确定大模型的最终参数，包括：
12、将所述第一增量参数、所述第二增量参数以及所述基础大模型的基础参数进行融合处理，确定大模型的最终参数。
13、可选地，所述将所述第一增量参数、所述第二增量参数以及所述基础大模型的基础参数进行融合处理，确定大模型的最终参数，包括：
14、获取所述第一增量参数的第一预设权重，以及，所述第二增量参数的第二预设权重；
15、基于所述第一预设权重和所述第二预设权重，计算所述第一增量参数和所述第二增量参数的加权和；
16、将所述第一增量参数和所述第二增量参数的加权和，与所述基础大模型的基础参数进行融合，得到大模型的最终参数。
17、可选地，所述领域无监督数据包括多个领域的无监督数据，则所述冻结所述基础大模型的基础参数，基于增量的领域无监督数据，对所述基础大模型进行参数局部微调，得到第一增量参数，包括：
18、对各个领域并行执行如下过程：
19、冻结所述基础大模型的基础参数，基于增量的所述领域的无监督数据，对所述基础大模型进行参数局部微调，得到所述领域对应的第一增量参数；
20、则所述基于所述第一增量参数、所述第二增量参数以及所述基础大模型的基础参数，确定大模型的最终参数，包括：
21、针对每个领域，基于所述领域对应的第一增量参数、所述第二增量参数以及所述基础大模型的基础参数，确定所述领域对应的大模型的最终参数。
22、可选地，在所述将所述第一增量参数、所述第二增量参数以及所述基础大模型的基础参数进行融合处理，确定大模型的最终参数之后，所述方法还包括：
23、采用强化学习的方式对所述大模型的最终参数进行迭代更新。
24、一种大模型训练装置，所述装置包括：
25、获取单元，用于获取基础大模型，所述基础大模型为预训练好的大模型；
26、第一参数局部微调单元，用于冻结所述基础大模型的基础参数，基于增量的领域无监督数据，对所述基础大模型进行参数局部微调，得到第一增量参数；
27、第二参数局部微调单元，用于冻结所述基础大模型的基础参数，基于通用有监督数据，对所述基础大模型进行参数局部微调，得到第二增量参数；
28、最终参数确定单元，用于将所述第一增量参数、所述第二增量参数以及所述基础大模型的基础参数进行融合处理，确定大模型的最终参数。
29、可选地，所述第一参数局部微调单元，具体用于：
30、冻结所述基础大模型的基础参数，基于增量的领域无监督数据，采用低秩自适应lora微调的方式对所述基础大模型进行参数局部微调，得到第一增量参数。
31、可选地，所述第二参数局部微调单元，具体用于：
32、冻结所述基础大模型的基础参数，基于通用有监督数据，采用低秩自适应lora微调的方式对所述基础大模型进行参数局部微调，得到第二增量参数。
33、可选地，所述最终参数确定单元，包括：
34、融合处理单元，用于将所述第一增量参数、所述第二增量参数以及所述基础大模型的基础参数进行融合处理，确定大模型的最终参数。
35、可选地，所述融合处理单元，具体用于：
36、获取所述第一增量参数的第一预设权重，以及，所述第二增量参数的第二预设权重；
37、基于所述第一预设权重和所述第二预设权重，计算所述第一增量参数和所述第二增量参数的加权和；
38、将所述第一增量参数和所述第二增量参数的加权和，与所述基础大模型的基础参数进行融合，得到大模型的最终参数。
39、可选地，所述领域无监督数据包括多个领域的无监督数据，则所述第一参数局部微调单元，具体用于：
40、对各个领域并行执行如下过程：
41、冻结所述基础大模型的基础参数，基于增量的所述领域的无监督数据，对所述基础大模型进行参数局本文档来自技高网...
【技术保护点】
1.一种大模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述冻结所述基础大模型的基础参数，基于增量的领域无监督数据，对所述基础大模型进行参数局部微调，得到第一增量参数，包括：
3.根据权利要求1所述的方法，其特征在于，所述冻结所述基础大模型的基础参数，基于通用有监督数据，对所述基础大模型进行参数局部微调，得到第二增量参数，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一增量参数、所述第二增量参数以及所述基础大模型的基础参数，确定大模型的最终参数，包括：
5.根据权利要求4所述的方法，其特征在于，所述将所述第一增量参数、所述第二增量参数以及所述基础大模型的基础参数进行融合处理，确定大模型的最终参数，包括：
6.根据权利要求1所述的方法，其特征在于，所述领域无监督数据包括多个领域的无监督数据，则所述冻结所述基础大模型的基础参数，基于增量的领域无监督数据，对所述基础大模型进行参数局部微调，得到第一增量参数，包括：
7.根据权利要求1至6中任意一项所述的方法，其
8.一种大模型训练装置，其特征在于，所述装置包括：
9.一种大模型训练设备，其特征在于，包括存储器和处理器；
10.一种可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的大模型训练方法的各个步骤。
...【技术特征摘要】
1.一种大模型训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述冻结所述基础大模型的基础参数，基于增量的领域无监督数据，对所述基础大模型进行参数局部微调，得到第一增量参数，包括：
3.根据权利要求1所述的方法，其特征在于，所述冻结所述基础大模型的基础参数，基于通用有监督数据，对所述基础大模型进行参数局部微调，得到第二增量参数，包括：
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一增量参数、所述第二增量参数以及所述基础大模型的基础参数，确定大模型的最终参数，包括：
5.根据权利要求4所述的方法，其特征在于，所述将所述第一增量参数、所述第二增量参数以及所述基础大模型的基础参数进行融合处理，确定大模型的最终参数，包括：...
【专利技术属性】
技术研发人员：张宋诚，吴飞，方四安，柳林，徐承，
申请(专利权)人：合肥讯飞数码科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。