【技术实现步骤摘要】
本专利技术涉及基于小数据量微调的大语言模型对齐优化方法及存储介质。
技术介绍
1、当下，随着人工智能技术的迅猛发展，大语言模型(llms)如gpt、bert、chatglm等在各种自然语言处理任务中展示了卓越的性能。基于深度学习的nlp模型。通常具有数十亿甚至是千亿的参数，适用于各种语言任务。然而，独自构建这类模型通常需要大量的训练数据和计算资源，而使用商用的大语言模型，可能会造成内部私密数据泄露。这对许多应用场景，尤其是研究领域较偏或资源有限的企业或个人用户，构成了挑战。
2、在实际应用中，针对特定领域任务的大模型通常需要根据任务或领域要求进行调整，以取得更好的性能。针对上述需求，微调技术被广泛应用。微调是指在预训练模型的基础上，使用特定任务的数据对模型进行进一步训练。本方法中使用的微调方法为lora方法。lora是一种用于大语言模型微调的技术，旨在高效的调整大型预训练模型以适应特定任务，而无需对整个模型进行全面更新。lora的主要特点是通过对模型权重进行低秩分解来实现微调，从而减少计算和存储的开销。
3、大模...
【技术保护点】
1.一种基于小数据量微调的大语言模型对齐优化方法，其特征在于：所述方法具体过程为：
2.根据权利要求1所述的一种基于小数据量微调的大语言模型对齐优化方法，其特征在于：所述步骤1中构建针对特定目标任务的数据集，将针对特定目标任务的数据集划分为两部分，一部分为微调数据集，另一部分为对齐数据集；
3.根据权利要求2所述的一种基于小数据量微调的大语言模型对齐优化方法，其特征在于：所述步骤2中基于微调数据集采用LoRA对大语言模型进行微调，得到微调模型；具体过程为：
4.根据权利要求3所述的一种基于小数据量微调的大语言模型对齐优化方法，其特征...
【技术特征摘要】
1.一种基于小数据量微调的大语言模型对齐优化方法，其特征在于：所述方法具体过程为：
2.根据权利要求1所述的一种基于小数据量微调的大语言模型对齐优化方法，其特征在于：所述步骤1中构建针对特定目标任务的数据集，将针对特定目标任务的数据集划分为两部分，一部分为微调数据集，另一部分为对齐数据集；
3.根据权利要求2所述的一种基于小数据量微调的大语言模型对齐优化方法，其特征在于：所述步骤2中基于微调数据集采用lora对大语言模型进行微调，得到微调模型；具体过程为：
4.根据权利要求3所述的一种基于小数据量微调的大语言模型对齐优化方法，其特征在于：所述步骤3中基于步骤1中构建的问题数据集和步骤2获得的微调模型获取评判数据集；
5.根据权利要求4所述的一种基于小数据量微调的大语言模型对齐优化方法，其特征在于：所述步骤31中基于步骤13中构建的问题数据集和步骤2获得的微调模型获取初步的评判数据集；具体过程为：
6.根据权利要求5所述的一种基于小数据量微调的大语言模型对齐优...
【专利技术属性】
技术研发人员：谢涛，戴崑，李瑞峰，赵立军，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。