System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于大语言模型的推理计算方法、装置、设备及存储介质制造方法及图纸_技高网

基于大语言模型的推理计算方法、装置、设备及存储介质制造方法及图纸

技术编号:41249844 阅读:2 留言:0更新日期:2024-05-09 23:58
本申请公开了一种基于大语言模型的推理计算方法、装置、设备及存储介质,所述基于大语言模型的推理计算方法包括:获取题目训练样本;对所述题目训练样本进行算法分步式推理的标注处理,得到所述题目训练样本的分步计算标签;基于所述题目训练样本和所述题目训练样本的分步计算标签,对预设的待训练模型进行迭代训练,得到推理计算模型,其中,所述推理计算模型用于表征待计算题目和计算结果的关联关系。本申请通过对用于模型训练的题目训练样本进行算法分步式推理的标注处理,将复杂的大型算法计算公式拆分为多步简单的算法计算公式,以实现深度学习模型对推理计算的充分学习,提高训练完成的推理计算模型对推理计算的准确性。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种基于大语言模型的推理计算方法、装置、设备及存储介质


技术介绍

1、目前,随着深度学习的神经网络模型的发展,研究人员提出了用于识别语言文本的大语言模型。其中大语言模型是使用大量文本数据训练的深度学习模型,具备生成自然语言文本或理解语言文本含义的能力。具体地,大语言模型可以处理多种自然语言任务,如文本分类、问答以及对话,是当前深度学习模型领域的热点研究方向。

2、相关技术中,大语言模型会被应用至处理数学计算问题,例如企业税务计算,以实现税务管理人员的工作效率。但是在复杂计算的场景下推理过程涉及多算法共同计算,而大语言模型对多算法共同计算的数字推理能力差,导致大语言模型对推理计算的准确性低。


技术实现思路

1、本申请的主要目的在于提供一种基于大语言模型的推理计算方法、装置、设备及存储介质,旨在解决现有技术中大语言模型对推理计算的准确性低的技术问题。

2、为实现以上目的,本申请提供一种基于大语言模型的推理计算方法,所述基于大语言模型的推理计算方法包括:

3、获取题目训练样本;

4、对所述题目训练样本进行算法分步式推理的标注处理,得到所述题目训练样本的分步计算标签;

5、基于所述题目训练样本和所述题目训练样本的分步计算标签,对预设的待训练模型进行迭代训练,得到推理计算模型,其中,所述推理计算模型用于表征待计算题目和计算结果的关联关系。

6、可选地,所述对所述题目训练样本进行算法分步式推理的标注处理,得到所述题目训练样本的分步计算标签的步骤,包括:

7、提取所述题目训练样本的特征信息;

8、基于所述特征信息,确定各分步算法和所述分步算法对应的数据变量;

9、基于所述分步算法和所述数据变量,生成所述题目训练样本的分步计算标签。

10、可选地,所述基于所述分步算法和所述数据变量,生成所述题目训练样本的分步计算标签的步骤,包括:

11、基于所述分步算法,对所述数据变量进行算法计算,得到当前推理周期的中间结果变量;

12、基于所述分步算法,对当前推理周期的中间结果变量进行算法计算,得到下一推理周期的中间结果变量,直至所述分步算法和所述数据变量计算结束,得到目标结果变量;

13、将所述分步算法、所述数据变量、中间结果变量以及目标结果变量进行记录,得到所述题目训练样本的分步计算标签。

14、可选地,所述基于所述分步算法,对所述数据变量进行算法计算,得到当前推理周期的中间结果变量的步骤之后,所述方法包括:

15、对所述中间结果变量进行标识处理,得到标识后的中间结果变量;

16、所述基于所述分步算法,对当前推理周期的中间结果变量进行算法计算,得到下一推理周期的中间结果变量,直至所述分步算法和所述数据变量计算结束,得到目标结果变量的步骤,包括:

17、基于所述分步算法,对当前推理周期的标识后的中间结果变量进行算法计算,得到下一推理周期的中间结果变量,直至所述分步算法和所述数据变量计算结束,得到目标结果变量。

18、可选地,所述基于所述分步算法,对当前推理周期的标识后的中间结果变量进行算法计算,得到下一推理周期的中间结果变量,直至所述分步算法和所述数据变量计算结束,得到目标结果变量的步骤,包括:

19、对标识后的中间结果变量进行标识信息识别,得到所述中间结果变量对应的数值信息;

20、基于所述分步算法,对所述中间结果变量对应的数值信息进行算法计算,得到下一推理周期的中间结果变量,直至所述分步算法和所述数据变量计算结束,得到目标结果变量。

21、可选地,所述基于所述特征信息,确定各分步算法和所述分步算法对应的数据变量的步骤,包括:

22、对所述特征信息进行分类处理,得到文字类别特征和数字类别特征;

23、基于预设的筛选条件,分别对所述文字类别特征和所述数字类别特征进行筛选,得到筛选后的文字类别特征和筛选后的数字类别特征;

24、分别对筛选后的文字类别特征和筛选后的数字类别特征进行识别,得到各分步算法和所述分步算法对应的数据变量。

25、可选地,所述对所述题目训练样本进行算法分步式推理的标注处理,得到所述题目训练样本的分步计算标签的步骤之后,所述方法包括:

26、获取所述题目训练样本的目标伪标注数据;

27、所述基于所述题目训练样本和所述题目训练样本的分步计算标签,对预设的待训练模型进行迭代训练,得到推理计算模型的步骤,包括:

28、基于所述题目训练样本、所述题目训练样本的分步计算标签以及所述题目训练样本的目标伪标注数据,通过半监督学习的方式,对预设的待训练模型进行迭代训练,得到推理计算模型,其中,所述推理计算模型用于表征待计算题目和计算结果的关联关系。

29、可选地,所述获取所述题目训练样本的目标伪标注数据的步骤,包括:

30、获取所述题目训练样本的初始伪标注数据;

31、对所述初始伪标注数据进行筛选,得到筛选后的目标伪标注数据。

32、可选地,所述对所述初始伪标注数据进行筛选,得到筛选后的目标伪标注数据的步骤,包括:

33、确定所述题目训练样本的分步算法和所述分步算法对应的数据变量;

34、基于所述分步算法,对所述初始伪标注数据进行反向数据变量计算,得到待验证数据;

35、将所述待验证数据与所述数据变量数值相同的伪标注数据进行保留,得到筛选后的目标伪标注数据。

36、可选地,所述基于所述题目训练样本、所述题目训练样本的分步计算标签以及所述题目训练样本的目标伪标注数据,通过半监督学习的方式,对预设的待训练模型进行迭代训练,得到推理计算模型的步骤,包括:

37、将所述题目训练样本输入至预设的待训练模型,得到预测计算结果;

38、基于所述预测计算结果与所述题目训练样本的分步计算标签以及所述题目训练样本的目标伪标注数据,采用第一损失函数,计算得到误差值;

39、判断所述误差值是否满足预设误差阈值范围指示的误差标准;

40、若所述误差结果未满足所述误差标准,则返回将所述题目训练样本输入至预设的待训练模型,得到预测计算结果的步骤,直到所述误差结果满足所述误差标准后停止训练,得到推理计算模型,其中,所述推理计算模型用于表征待计算题目和计算结果的关联关系。

41、本申请还提供一种基于大语言模型的推理计算装置,所述基于大语言模型的推理计算装置包括:

42、获取模块,用于获取题目训练样本;

43、标注模块,用于对所述题目训练样本进行算法分步式推理的标注处理,得到所述题目训练样本的分步计算标签;

44、训练模块,用于基于所述题目训练样本和所述题目训练样本的分步计算标签,对预设的待训练模型进行迭代训练,得到推理计算本文档来自技高网...

【技术保护点】

1.一种基于大语言模型的推理计算方法,其特征在于,所述基于大语言模型的推理计算方法包括:

2.如权利要求1所述的基于大语言模型的推理计算方法,其特征在于,所述对所述题目训练样本进行算法分步式推理的标注处理,得到所述题目训练样本的分步计算标签的步骤,包括:

3.如权利要求2所述的基于大语言模型的推理计算方法,其特征在于,所述基于所述分步算法和所述数据变量,生成所述题目训练样本的分步计算标签的步骤,包括:

4.如权利要求3所述的基于大语言模型的推理计算方法,其特征在于,所述基于所述分步算法,对所述数据变量进行算法计算,得到当前推理周期的中间结果变量的步骤之后,所述方法包括:

5.如权利要求4所述的基于大语言模型的推理计算方法,其特征在于,所述基于所述分步算法,对当前推理周期的标识后的中间结果变量进行算法计算,得到下一推理周期的中间结果变量,直至所述分步算法和所述数据变量计算结束,得到目标结果变量的步骤,包括:

6.如权利要求2所述的基于大语言模型的推理计算方法,其特征在于,所述基于所述特征信息,确定各分步算法和所述分步算法对应的数据变量的步骤,包括:

7.如权利要求1所述的基于大语言模型的推理计算方法,其特征在于,所述对所述题目训练样本进行算法分步式推理的标注处理,得到所述题目训练样本的分步计算标签的步骤之后,所述方法包括:

8.一种基于大语言模型的推理计算装置,其特征在于,所述基于大语言模型的推理计算装置包括:

9.一种基于大语言模型的推理计算设备,其特征在于,所述基于大语言模型的推理计算设备包括:存储器、处理器以及存储在存储器上的用于实现所述基于大语言模型的推理计算方法的程序,

10.一种存储介质,其特征在于,所述存储介质上存储有实现基于大语言模型的推理计算方法的程序,所述实现基于大语言模型的推理计算方法的程序被处理器执行以实现如权利要求1至7中任一项所述基于大语言模型的推理计算方法的步骤。

...

【技术特征摘要】

1.一种基于大语言模型的推理计算方法,其特征在于,所述基于大语言模型的推理计算方法包括:

2.如权利要求1所述的基于大语言模型的推理计算方法,其特征在于,所述对所述题目训练样本进行算法分步式推理的标注处理,得到所述题目训练样本的分步计算标签的步骤,包括:

3.如权利要求2所述的基于大语言模型的推理计算方法,其特征在于,所述基于所述分步算法和所述数据变量,生成所述题目训练样本的分步计算标签的步骤,包括:

4.如权利要求3所述的基于大语言模型的推理计算方法,其特征在于,所述基于所述分步算法,对所述数据变量进行算法计算,得到当前推理周期的中间结果变量的步骤之后,所述方法包括:

5.如权利要求4所述的基于大语言模型的推理计算方法,其特征在于,所述基于所述分步算法,对当前推理周期的标识后的中间结果变量进行算法计算,得到下一推理周期的中间结果变量,直至所述分步算法和所述数据变量计算结束,得到目标结果变量的步骤,包括:...

【专利技术属性】
技术研发人员:胡传锐
申请(专利权)人:北京奇虎科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1