预训练语言的学习微调方法技术

本发明专利技术提供一种预训练语言的学习微调方法

【技术实现步骤摘要】
预训练语言的学习微调方法、计算机装置及计算机可读存储介质


[0001]本专利技术涉及大规模语言训练的
，具体地，是一种针对大规模预训练语言模型的强化学习微调方法，还涉及实现该方法的计算机装置及计算机可读存储介质
。

技术介绍

[0002]大规模预训练语言模型是近年来取得突破性进展的人工智能技术，其中最著名的模型是
Open AI
的
GPT
，这种模型使用无标签的大规模文本数据进行预训练，从而学习到丰富的语言表示，然后，通过微调这些预训练模型，可以使其适应特定领域的任务或问题
。
[0003]在强化学习领域，研究人员已经提出了多种方法来将预训练语言模型与强化学习相结合
。
例如，现有一种常用的方法是使用基于奖励信号的强化学习算法，通过与环境的交互来微调预训练模型，这种方法允许模型在特定任务中进行自我学习和优化
。
[0004]关于针对特定领域的微调方法，现有一些文献提出了不同的技术和策略
。
例如，
Smith
等人在其
2019
年的论文“Offline Reinforcement Learning:Tutorial,Review,and Perspectives on Open Problems”中介绍了离线强化学习的方法，该方法可以在没有实时交互的情况下进行微调
。
另外，
Li
等人在其
2020
年的论文“Train Your Own Model(TYOM):A Self
‑
Supervised Model for Speech Recognition”中介绍了一种自我监督的微调方法，该方法使用自动生成的标签来微调预训练模型，以适应特定的语音识别任务
。
[0005]尽管大规模预训练语言模型在自然语言处理领域取得了巨大成功，但它们也存在一些问题和缺点
。
首先，这些模型往往需要大量的计算资源和时间进行预训练
。
其次，预训练的通用表示可能无法直接适应特定领域的细节和特征
。
此外，微调过程中可能会面临领域特定数据不足的挑战，特别是对于某些特定的垂直领域或任务
。
这些问题和困难限制了大规模预训练语言模型在特定领域应用中的效果和性能
。
[0006]总而言之，目前的大规模预训练语言模型的核心能力来源于大量的训练数据和庞大的网络模型参数，但这种大规模效应在带来智能化的同时也使得模型难以被本地化部署和难以二次训练，在此背景下，微调训练被广泛的用于大规模预训练模型的知识增强
。
然而，目前针对微调训练并没有非常有效且具体的方式来进行
。
[0007]公开号为
CN115423118A
的专利技术专利申请公开了一种预训练语言模型微调方法，该方法针对每一类任务通过初始预训练语言模型制定文本提示模板；将训练数据整理成批次数据并进行合并；打乱合并后的批次数据顺序；通过多任务学习微调预训练语言模型的参数
。
然而，该方法没有考虑到模型出现过拟合或者欠拟合的处理方式，尤其是没有针对过拟合进行有效的测试，导致训练获得的模型会存在过拟合的情况，影响训练模型的质量
。

技术实现思路

[0008]本专利技术的第一目的是提供一种可以避免训练获得的模型过拟合或者欠拟合的预训练语言的学习微调方法
。
[0009]本专利技术的第二目的是提供一种实现上述预训练语言的学习微调方法的计算机装置
。
[0010]本专利技术的第三目的是提供一种实现上述预训练语言的学习微调方法的计算机可读存储介质
。
[0011]为实现本专利技术的第一目的，本专利技术提供的预训练语言的学习微调方法包括获取预训练模型，并制作垂直领域的垂直数据集，垂直数据集包括多组具有逻辑关系的第一训练语句，将第一训练语句进行扩充和乱序处理后，对预训练模型进行训练，获得初始训练模型；并且，应用第一训练语句对初始训练模型进行测试，根据初始训练模型对第一训练语句的答复准确率判断初始训练模型是否存在欠拟合的情况；如初始训练模型存在欠拟合的情况，则增加垂直数据集中第一训练语句的扩充倍数，对预训练模型进行重新训练；建立常识数据集，常识数据集包含有多组第二训练语句，将第二训练语句增量到垂直数据集中形成增量垂直数据集，应用增量垂直数据集对初始训练模型进行训练，获得增量训练模型，根据增量训练模型对增量垂直数据集中的训练语句的答复准确率判断初始训练模型是否存在过拟合的情况；如初始训练模型存在过拟合的情况，则减小垂直数据集中第一训练语句的扩充倍数，对预训练模型进行重新训练
。
[0012]由上述方案可见，在训练获得初始训练模型后，需要对初始训练模型是否存在过拟合以及欠拟合的情况进行测试，并且针对过拟合
、
欠拟合的情况对扩充倍数进行动态调整，从而获得更加的训练模型，提升训练获得的模型质量
。
[0013]另外，针对过拟合测试，设置了常识数据集，通过增加第二训练语句后的数据集对增量训练模型进行测试，能够有效判断出初始训练模型是否存在过拟合的情况，从而准确的对初始训练模型进行调整
。
[0014]一个优选的方案是，制作垂直领域的垂直数据集时，应用前端界面输入第一训练语句，前端界面具有提示语输入框
、
问题输入框以及答案输入框
。
[0015]由此可见，在进行训练时，用户可以快速的通过前端界面输入第一训练语句，操作简单，可以提升模型的训练效率
。
[0016]进一步的方案是，前端界面还设置有数据导入按钮
、
数据扩充按钮
、
数据乱序按钮
。
[0017]这样，用户可以通过数据导入按钮
、
数据扩充按钮
、
数据乱序按钮针对第一训练语句进行自动化的扩充
、
乱序处理，提升测试效率
。
[0018]更进一步的方案是，建立常识数据集时，应用前端界面输入第二训练语句
。
[0019]可见，应用相同的前端界面还可以输入第二训练语句，使得常识数据集的制作非常简单
、
方便
。
[0020]一个优选的方案是，前端界面还设置有欠拟合检测按钮以及过拟合检测按钮；该方法还包括：在获取欠拟合检测按钮被按下的信号时，执行欠拟合检测操作，在获取过拟合检测按钮被按下的信号时，执行过拟合检测操作
。
[0021]由此可见，进行过拟合测试以及欠拟合测试时，都是通过对前端界面的相应操作按钮进行的，通过前端界面就可以实现过拟合测试以及欠拟合测试，对初始训练模型的测试操作非常便捷
。
[0022]优选的方案是，前端界面还设置有模型导出按钮；该方法还包括：在获取模型导出
按本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
预训练语言的学习微调方法，包括：获取预训练模型，并制作垂直领域的垂直数据集，所述垂直数据集包括多组具有逻辑关系的第一训练语句，将所述第一训练语句进行扩充和乱序处理后，对所述预训练模型进行训练，获得初始训练模型；其特征在于：应用所述第一训练语句对所述初始训练模型进行测试，根据所述初始训练模型对所述第一训练语句的答复准确率判断所述初始训练模型是否存在欠拟合的情况；如所述初始训练模型存在欠拟合的情况，则增加所述垂直数据集中所述第一训练语句的扩充倍数，对所述预训练模型进行重新训练；建立常识数据集，所述常识数据集包含有多组第二训练语句，将所述第二训练语句增量到所述垂直数据集中形成增量垂直数据集，应用所述增量垂直数据集对初始训练模型进行训练，获得增量训练模型，根据所述增量训练模型对所述增量垂直数据集中的训练语句的答复准确率判断所述初始训练模型是否存在过拟合的情况；如所述初始训练模型存在过拟合的情况，则减小所述垂直数据集中所述第一训练语句的扩充倍数，对所述预训练模型进行重新训练
。2.
根据权利要求1所述的预训练语言的学习微调方法，其特征在于：制作所述垂直领域的垂直数据集时，应用前端界面输入所述第一训练语句，所述前端界面具有提示语输入框
、
问题输入框以及答案输入框
。3.
根据权利要求2所述的预训练语言的学习微调方法，其特征在于：所述前端界面还设置有数据导入按钮
、
数据扩充按钮
、
数据乱序按钮
。4.
根据权利...

【专利技术属性】
技术研发人员：王瑞平，吴士泓，王志刚，冯荣，
申请(专利权)人：远光软件股份有限公司，
类型：发明
国别省市：