当前位置: 首页 > 专利查询>之江实验室专利>正文

一种基于公式学习的大模型微调方法、装置及存储介质制造方法及图纸

技术编号:42148910 阅读:11 留言:0更新日期:2024-07-27 00:03
本说明书公开了一种基于公式学习的大模型微调方法、装置及存储介质,获取包含公式的原始文本中的公式和公式的候选变量。针对每个公式,根据该公式的上下文内容,确定目标文本并确定目标文本中的候选变量,在该公式中确定与候选变量一致的匹配变量,根据包含候选变量的语句确定解释文本。将目标文本的解释文本和匹配变量屏蔽,得到任务文本,根据公式和解释文本确定任务文本的标注。将任务文本和任务提示输入大模型得到预测文本,根据预测文本与标注的差异微调大模型。通过屏蔽目标文本的解释文本和匹配变量,对大模型进行微调,使大模型学习到公式中的变量与其解释之间的对应关系,从而在问答任务中提高大模型对涉及公式计算问题的回答准确率。

【技术实现步骤摘要】

本说明书涉及计算机,尤其涉及一种基于公式学习的大模型微调方法、装置及存储介质


技术介绍

1、大模型(large language model,llm)指具有大规模参数和复杂计算结构的机器学习模型,具有强大的数据生成能力,在问答任务中应用广泛。

2、目前,主要通过普通文本数据对大模型进行训练,由于公式中的变量通常具有特定的含义,大模型仅仅通过普通文本数据中变量本身的字符表示,难以确定变量的含义,以至于通用的大模型对于涉及公式计算的数学、物理等理科问题,往往很难给出准确的答案。

3、基于此,本说明书提供一种基于公式学习的大模型微调方法。


技术实现思路

1、本说明书提供一种基于公式学习的大模型微调方法、装置、存储介质及电子设备,以至少部分地解决现有技术存在的上述问题。

2、本说明书采用下述技术方案:

3、本说明书提供了一种基于公式学习的大模型微调方法,包括:

4、获取包含公式的原始文本,识别所述原始文本中的公式,以及识别所述原始文本中公式的候选变量;...

【技术保护点】

1.一种基于公式学习的大模型微调方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,识别所述原始文本中的公式,以及识别所述原始文本中公式的候选变量,具体包括:

3.如权利要求1所述的方法,其特征在于,根据该公式的上下文内容,确定该公式对应的目标文本,具体包括:

4.如权利要求1所述的方法,其特征在于,确定所述目标文本中的候选变量,并在该公式中确定与所述候选变量一致的匹配变量,具体包括:

5.如权利要求1所述的方法,其特征在于,在该公式中确定与所述候选变量一致的匹配变量,具体包括:

6.如权利要求1所述的方法,其特征...

【技术特征摘要】

1.一种基于公式学习的大模型微调方法,其特征在于,包括:

2.如权利要求1所述的方法,其特征在于,识别所述原始文本中的公式,以及识别所述原始文本中公式的候选变量,具体包括:

3.如权利要求1所述的方法,其特征在于,根据该公式的上下文内容,确定该公式对应的目标文本,具体包括:

4.如权利要求1所述的方法,其特征在于,确定所述目标文本中的候选变量,并在该公式中确定与所述候选变量一致的匹配变量,具体包括:

5.如权利要求1所述的方法,其特征在于,在该公式中确定与所述候选变量一致的匹配变量,具体包括:

...

【专利技术属性】
技术研发人员:王海平高枫邹常青龙沁沁王军魏一雄
申请(专利权)人:之江实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1