【技术实现步骤摘要】
本专利技术涉及自然语言的处理分析，具体涉及一种基于ai大语言模型的上下文构造方法及系统。
技术介绍
1、大语言模型具有强大的生成能力和上下文理解能力，更适合处理真实世界中的文本任务，并且对话更为自然、更符合人类语言表达方式，能够提高系统与用户之间的交互体验，为处理不同类型的文本任务提供了更强大、更灵活的工具。
2、但大语言模型通常在大规模通用数据上进行预训练，如果直接将在通用文本数据上预训练的模型应用于特定领域任务中，由于模型在上游任务的预训练过程中获得了更为抽象笼统的理解，但对于下游的特定领域任务可能需要更细粒度或更为特殊专业的理解，导致模型无法捕捉到特定领域任务所需的上下文信息或语义关联，影响大语言模型的上下文构造效果及效率，从而影响下游特定领域任务的执行效果及效率。
技术实现思路
1、为了解决现有大语言模型预训练无法泛化到特殊领域进而使模型的上下文构造效果差的技术问题，本专利技术的目的在于提供一种基于ai大语言模型的上下文构造方法及系统，所采用的技术方案具体如下：
2、本专利技术提出一种基于ai大语言模型的上下文构造方法，所述方法包括：
3、分别获取大语言模型的上游任务及下游任务的训练集，所述训练集中包括所有用于对应任务训练的切分文本构成的句子对；
4、根据上游任务及下游任务对应所述训练集间对应文本的主题重合度，获取上游任务与下游任务的任务相关性；在上游任务的预训练过程中，根据上游任务的预测准确性及所述任务相关性获取预训练过程中
5、根据所述奖惩参考权重调整大语言模型；以调整后的大语言模型进行上游任务的预训练，获取相应预训练过程中的奖惩参考权重并调整大语言模型，不断迭代获取奖惩参考权重并调整大语言模型，直至满足预设截止条件；将满足预设截止条件的大语言模型作为预训练的最终大语言模型。
6、进一步地，所述任务相关性的获取方法包括：
7、分别获取上游任务及下游任务对应所述训练集对应文本的主题集合，以及每个主题对应的主题分布概率；根据任务相关性的计算公式获取上游任务与下游任务的任务相关性；任务相关性的计算公式为：
8、;其中，为上游任务与下游任务之间的任务相关性；为上游任务对应主题集合与下游任务对应主题集合的并集中的主题数量，为上游任务对应主题集合与下游任务对应主题集合的交集中的主题数量；为上游任务对应主题集合与下游任务对应主题集合中第个相同主题间的主题分布概率的差值，为预设正常数。
9、进一步地，所述奖惩参考权重的获取方法包括：
10、在每次预训练过程中，分别获取预测正确次数与预测错误次数，并获取所有预测正确的切分文本或句子对的注意力权重均值及所有预测错误的切分文本或句子对的注意力权重均值；根据预测正确的次数及对应注意力权重均值，结合所述任务相关性，获取奖励参数；根据预测错误的次数及对应注意力权重均值，结合所述任务相关性，获取惩罚参数；
11、根据奖惩参考权重的计算公式获取奖惩参考权重；奖惩参考权重的计算公式为：
12、；其中，为第次上游任务的预训练过程对应的奖惩参考权重；为第次上游任务的预训练过程的奖励参数；为第次上游任务的预训练过程的惩罚参数。
13、进一步地，所述奖励参数的获取方法包括：
14、根据奖励参数的计算公式获取奖励参数；奖励参数的计算公式为：
15、;其中，为第次上游任务的预训练过程的奖励参数；为预测正确的符号；为第次上游任务的预训练过程中预测正确的次数；为上游任务与下游任务之间的任务相关性；为第次上游任务的预训练过程中预测正确的切分文本或句子对对应的注意力权重均值；为自然常数。
16、进一步地，所述惩罚参数的获取方法包括：
17、根据惩罚参数的计算公式获取惩罚参数；惩罚参数的计算公式为：
18、;其中，为第次上游任务的预训练过程的惩罚参数；为预测错误的符号；为第次上游任务的预训练过程中预测错误的次数；为上游任务与下游任务之间的任务相关性；为第次上游任务的预训练过程中预测错误的切分文本或句子对对应的注意力权重均值；为自然常数。
19、进一步地，所述大语言模型的调整方法包括：
20、在上游任务的首次预训练过程中，获取上游任务在首次预训练时的初始训练损失；将所述奖惩参考权重乘以所述初始训练损失，得到奖惩训练损失，基于所述奖惩训练损失对大语言模型进行训练，并将训练后所得到的大语言模型作为调整后的大语言模型；
21、在上游任务的每次非首次预训练过程中，以上一次预训练过程获取的奖惩训练损失为本次预训练过程的初始训练损失，并将本次预训练过程的奖惩参考权重乘以本次预训练过程的初始训练损失，得到本次预训练过程的奖惩训练损失，基于本次预训练过程的奖惩训练损失对大语言模型进行训练，并将训练后所得到的大语言模型作为调整后的大语言模型。
22、进一步地，所述主题集合及对应主题分布概率的获取方法为lda算法。
23、进一步地，所述预设截止条件为所述奖惩训练损失小于等于预设常数值。
24、进一步地，所述句子对的获取方法包括：
25、将用于对应训练任务的文本数据通过bpe算法进行切分，得到切分文本；将任意两个进行文本切分后的句子作为一个句子对。
26、本专利技术还提出基于ai大语言模型的上下文构造系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现任意一项所述基于ai大语言模型的上下文构造方法的步骤。
27、本专利技术具有如下有益效果：
28、本专利技术首先根据上游任务及下游任务对应训练集间对应文本的主题重合度，获取上游任务与下游任务的任务相关性，引入任务相关性以便后续引入奖惩机制来加强模型训练与下游任务的联系，进而在上游任务的预训练过程中，根据上游任务的预测准确性及任务相关性获取预训练过程中损失的奖惩参考权重，奖惩参考权重使模型更关注执行获得奖励的行为，同时尽量避免执行导致惩罚的行为，从而调整模型的收敛速率；然后根据奖惩参考权重调整大语言模型，通过不断地迭代调整及预训练，调整模型的学习目标，进而可以将调整后的预训练模型在特殊领域任务中进行微调并保存应用。本专利技术结合上下游任务的相关性对模型的预训练引入奖惩机制，加强模型与下游任务的联系性，提高大语言模型的上下文构造准确性。
本文档来自技高网...【技术保护点】
1.一种基于AI大语言模型的上下文构造方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于AI大语言模型的上下文构造方法，其特征在于，所述奖惩参考权重的获取方法包括：
3.根据权利要求2所述的一种基于AI大语言模型的上下文构造方法，其特征在于，所述奖励参数的获取方法包括：
4.根据权利要求2所述的一种基于AI大语言模型的上下文构造方法，其特征在于，所述惩罚参数的获取方法包括：
5.根据权利要求1所述的一种基于AI大语言模型的上下文构造方法，其特征在于，所述主题集合及对应主题分布概率的获取方法为LDA算法。
6.根据权利要求1所述的一种基于AI大语言模型的上下文构造方法，其特征在于，所述句子对的获取方法包括：
7.一种基于AI大语言模型的上下文构造系统，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-6任意一项所述一种基于AI大语言模型的上下文构造方法的步骤。
【技术特征摘要】
1.一种基于ai大语言模型的上下文构造方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种基于ai大语言模型的上下文构造方法，其特征在于，所述奖惩参考权重的获取方法包括：
3.根据权利要求2所述的一种基于ai大语言模型的上下文构造方法，其特征在于，所述奖励参数的获取方法包括：
4.根据权利要求2所述的一种基于ai大语言模型的上下文构造方法，其特征在于，所述惩罚参数的获取方法包括：
5.根据权利要求1所述的一种基...
【专利技术属性】
技术研发人员：屠静，赵策，王亚，苏岳，万晶晶，李伟伟，颉彬，周勤民，张玥，雷媛媛，孙岩，潘亮亮，刘岩，
申请(专利权)人：卓世科技海南有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。