小领域垂域专家的大模型自动化微调训练方法及设备技术

本发明专利技术涉及一种小领域垂域专家的大模型自动化微调训练方法及设备，所述方法包括以下步骤：获取本地非结构化文本，对所述本地非结构化文本进行预处理，生成结构化训练集；利用大语言模型，基于所述结构化训练集，生成具有指定格式的问答对数据集；运用所述问答对数据集，对所述大语言模型进行基于

【技术实现步骤摘要】
小领域垂域专家的大模型自动化微调训练方法及设备


[0001]本专利技术涉及自然语言处理
，尤其是涉及一种小领域垂域专家的大模型自动化微调训练方法及设备
。

技术介绍

[0002]大模型是指具有大量参数和复杂结构的机器学习模型
。
这些模型可以应用于处理大规模的数据和复杂的问题
。
预训练语言大模型的优点可以归纳为：利用海量的无标注语料数据可以学习到通用的语言表示，并提升下游任务效果；更好的初始化其他模型，加快模型训练并提升效果；预训练可以减少下游任务在小数据上过拟合的风险
。
[0003]随着大模型的发布迭代，大模型变得越来越智能，在使用大模型的过程当中，遇到了极大的数据安全与隐私挑战
。
在利用大模型能力的过程中，人们通常希望自己的私密数据跟环境掌握自己的手里，完全可控，以避免任何的数据隐私泄露以及安全风险
。
随着电网规模的扩大与复杂化，电力系统的运行和发展过程积累了海量的文本数据，但目前还未有一种可行的
、
在能够避免数据隐私泄露本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种小领域垂域专家的大模型自动化微调训练方法，其特征在于，包括以下步骤：获取本地非结构化文本，对所述本地非结构化文本进行预处理，生成结构化训练集；利用大语言模型，基于所述结构化训练集，生成具有指定格式的问答对数据集；运用所述问答对数据集，对所述大语言模型进行基于
P
‑
Tuning v2
方法的微调，获得最终的小领域垂域对话语言模型
。2.
根据权利要求1所述的小领域垂域专家的大模型自动化微调训练方法，其特征在于，所述预处理
embedding
映射和向量化
。3.
根据权利要求1所述的小领域垂域专家的大模型自动化微调训练方法，其特征在于，所述大语言模型为
chatGLM
‑
6B
模型
。4.
根据权利要求1所述的小领域垂域专家的大模型自动化微调训练方法，其特征在于，基于所述结构化训练集构造大语言模型的提示
prompt
，将所述提示
prompt
输入大语言模型中，生成具有指定格式的问答对数据集
。5.
根据权利要求4所述的小领域垂域专家的大模型自动化微调训练方法，其特征在于，基于所述...

【专利技术属性】
技术研发人员：王琛，华珉，齐晓曼，罗裬，赵三珊，唐雪嵩，王煜芳，宋佳乐，
申请(专利权)人：华东电力试验研究院有限公司东华大学，
类型：发明
国别省市：