【技术实现步骤摘要】
本公开涉及自然语言处理，尤其涉及一种大语言模型的训练方法、装置、电子设备及存储介质。
技术介绍
1、在当今信息时代，大语言模型已经成为自然语言处理领域的核心技术，被广泛应用于各种商业和科研场景中。这些模型能够自动学习自然语言的语法、语义和上下文，使得它们在文本生成、翻译、问答等任务中表现出色。然而，大规模语言模型的训练需要庞大的语料库，同时也需要更多的个性化和定制化，这在许多情况下是昂贵和耗时的。
2、相关技术中，大语言模型的训练通常采用传统的预训练和微调方法。在预训练阶段，模型被暴露于大规模的语料库，以学习语言知识，然后在微调阶段，根据特定任务的数据进行微调。训练的过程可以通过固定指标检测，但是不能进行自主标签更新，这就需要大量时间、计算资源和人力资源来进行训练，而且经历长期黑盒训练之后对模型的用途带来未知性。
技术实现思路
1、本公开提供一种大语言模型的训练方法、装置、电子设备及存储介质，以至少解决相关技术中大语言模型训练效率低、浪费资源的问题。本公开的技术方案如下：>
2、根据本公本文档来自技高网...
【技术保护点】
1.一种大语言模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一分类结果，对所述前一阶段训练后的代理模型进行继续训练，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一分类结果，将所述训练文本输入所述前一阶段训练后的大语言模型，通过所述大语言模型预测所述训练文本所对应的对话输出文本，根据所述训练文本和所述对话输出文本对所述大语言模型进行当前阶段的训练，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一分类结果，将所述训练文本输入所述前一阶段训练后的大语言模型...
【技术特征摘要】
1.一种大语言模型的训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述第一分类结果，对所述前一阶段训练后的代理模型进行继续训练，包括：
3.根据权利要求1所述的方法，其特征在于，所述根据所述第一分类结果，将所述训练文本输入所述前一阶段训练后的大语言模型，通过所述大语言模型预测所述训练文本所对应的对话输出文本，根据所述训练文本和所述对话输出文本对所述大语言模型进行当前阶段的训练，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一分类结果，将所述训练文本输入所述前一阶段训练后的大语言模型，通过所述大语言模型预测所述训练文本所对应的对话输出文本，根据所述训练文本和所述对话输出文本对所述大语言模型进行当前阶段的训练，还包括：
5.根据权利要求1-4任一项所述的方法，其特征在于，所述第二分类结果包括所述训练文本与类别标签的第二对应关系，以及每个所述类别标签的分类特征；所述类别标签的分类特征是对所述第二分类结果中所述类别标签下的训练文本进行特征提取得到的；
6....
【专利技术属性】
技术研发人员：叶忻，林梓佳，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。