训练目标模型、生成结构化语句的方法及装置制造方法及图纸

技术编号:41525117 阅读:14 留言:0更新日期:2024-06-03 22:59
本说明书实施例提供一种训练目标模型、生成结构化语句的方法及装置,在训练目标模型的方法中,先基于预设的推理库,利用参数量较大的大语言模型,构建训练样本集。该训练样本集可以包括,第一训练样本和第二训练样本,其中,第一训练样本包括第一提示文本和作为其输出标签的第一回答文本,第一提示文本包括自然语言的第一查询语句和类比推理示例,第一回答文本包括第一结构化语句。第二训练样本包括,第二提示文本和作为其输出标签的第二回答文本,第二提示文本包括第一查询语句和类比推理示例,第二回答文本包括第一推理语句。接着,利用该训练样本集来训练参数量较少的目标模型。

【技术实现步骤摘要】

本说明书一个或多个实施例涉及自然语言处理,尤其涉及一种训练目标模型、生成结构化语句的方法及装置


技术介绍

1、大语言模型(large language model,简称llm)一般是指使用多个不同领域的大量文本数据训练的机器学习模型,可以生成自然语言文本或理解自然语言文本的语义。在对llm进行预训练或微调后,其可以用于处理自然语言转换任务,比如说,将自然语言文本转换为结构化查询语言(structured query language,sql)语句(即nl2sql),或者将自然语言文本转换为一阶逻辑(first order logic,fol)语句(即nl2fol)。

2、然而,上述的sql语句和fol语句均为一些特殊语句,具有编程基础的特殊人群才能看懂,因此,需要一种改进后的方案,可以满足实际应用中的通用性需求,包括支持普通用户看懂针对自然语言文本的转换结果。


技术实现思路

1、本说明书一个或多个实施例描述了一种训练目标模型、生成结构化语句的方法及装置,可以将自然语言的查询语句转换为由条件表达式本文档来自技高网...

【技术保护点】

1.一种训练目标模型的方法,包括:

2.根据权利要求1所述的方法,其中,所述第一查询语句为圈定目标人群的需求描述,所述条件表达式限定所述目标人群的匹配条件。

3.根据权利要求1所述的方法,其中,所述类比推理示例选自预设的推理库,其中的单个示例包括:样本查询语句,样本结构化语句,以及从所述样本查询语句到所述样本结构化语句的样本推理语句。

4.根据权利要求3所述的方法,其中,所述单个示例还包括:与样本查询语句相关的样本查询标签;所述第一提示文本和第二提示文本均包括,与所述第一查询语句相关的第一查询标签。

5.根据权利要求3所述的方法,其中,所述...

【技术特征摘要】

1.一种训练目标模型的方法,包括:

2.根据权利要求1所述的方法,其中,所述第一查询语句为圈定目标人群的需求描述,所述条件表达式限定所述目标人群的匹配条件。

3.根据权利要求1所述的方法,其中,所述类比推理示例选自预设的推理库,其中的单个示例包括:样本查询语句,样本结构化语句,以及从所述样本查询语句到所述样本结构化语句的样本推理语句。

4.根据权利要求3所述的方法,其中,所述单个示例还包括:与样本查询语句相关的样本查询标签;所述第一提示文本和第二提示文本均包括,与所述第一查询语句相关的第一查询标签。

5.根据权利要求3所述的方法,其中,所述样本推理语句指示如下步骤:

6.根据权利要求5所述的方法,其中,所述条件表达式包括,键、运算符和值;所述编写各条件表达式,包括:

7.根据权利要求1所述的方法,其中,所述生成第一训练样本包括:

8.根据权利要求1所述的方法,其中,所述生成第一训练样本,包括:

9.根据权利要求8所述的方法,其中,所述第一语句模版包括,以逻辑运算符连接的若干占位符,其指示待填充的子条件;所述生成所述第一结构化语句,包括:

10.根据权利要求9所述的方法,其中,所述条件表达式包括,键、运算符和值;所述随机生成若干条件表达式,包括:

11.根据权利要求1所述的方法,其中,所述第二训练样本通过以下步骤生成:

12.根据权利要求1所述的方法,其中,所述训练目标模型包括:

【专利技术属性】
技术研发人员:杨丹汪俊杰胡斌斌申月
申请(专利权)人:支付宝杭州信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1