【技术实现步骤摘要】
本公开属于人工智能，具体地，涉及一种大语言模型的训练方法、大语言模型的训练装置、非临时性计算机可读存储介质及电子设备。
技术介绍
1、语义解析(semantic parsing)是自然语言处理技术的核心任务之一，涉及语言学、计算语言学、机器学习以及认知语言等多个学科，在近几年获得了广泛关注。nl2sql(natural language(自然语言)to structured query language(结构化查询语言))是语义解析领域的一个子任务，其目标是将用户的自然语言查询转换成计算机可以理解并可执行的sql查询语句。这种任务在许多领域中都有应用，包括智能问答系统、对话系统和自然语言查询数据库等。
2、传统的nl2sql方法由于存在多步骤误差累积、模型能力限制等问题，导致sql生成和执行的准确率普遍不高。特别在涉及多条件复杂查询、数值计算、约束查询等场景时，效果急剧下降，无法较好地在实际业务场景落地。
技术实现思路
1、为克服相关技术中存在的问题，本公开提供一种大语言模型的训练方法、大语言模型的训练装置、非临时性计算机可读存储介质及电子设备。
2、根据本公开实施例的第一方面，提供一种大语言模型的训练方法，所述方法包括：
3、获取第一提示信息和第二提示信息，所述第一提示信息指示将自然语言转换为结构化查询语言，所述第二提示信息指示按照思维链的方式将所述自然语言转换为所述结构化查询语言；
4、根据所述第一提示信息生成第一任务数据，并根据
5、获取第三任务数据，并利用所述第一任务数据、所述第二任务数据和所述第三任务数据对大语言模型进行训练得到训练好的所述大语言模型，所述大语言模型用于将所述自然语言转换为所述结构化查询语言。
6、可选地，所述第一提示信息，包括：第一目标信息，所述第一目标信息表征数据库中的表和列的信息。
7、可选地，所述第二提示信息，包括：第二目标信息和第三目标信息；
8、所述第二目标信息表征数据库中的表和列的信息，所述第三目标信息包括所述思维链的推理过程的规则信息和输出所述结构化查询语言的格式信息。
9、可选地，所述规则信息，包括：规定所述第二目标信息中包括所述数据库中的表和列的信息，与规定所述结构化查询语言的响应格式的信息，以及规定输出所述思维链的推理过程和输出与所述自然语言对应的所述结构化查询语言的信息；
10、所述格式信息，包括：输出所述思维链的推理过程和输出与所述自然语言对应的所述结构化查询语言的信息。
11、可选地，所述规则信息，包括：规定所述第二目标信息中包括所述数据库中的表和列的信息，以及规定根据所述思维链的推理过程输出语法结构和输出与所述自然语言对应的所述结构化查询语言的信息；
12、所述格式信息，包括：输出语法结构和输出与所述自然语言对应的所述结构化查询语言的信息。
13、可选地，所述利用所述第一任务数据、所述第二任务数据和所述第三任务数据对大语言模型进行训练得到训练好的所述大语言模型，包括：
14、基于所述第一任务数据、所述第二任务数据和所述第三任务数据，利用监督微调技术对大语言模型进行训练得到训练好的所述大语言模型。
15、可选地，所述第一任务数据的数量是所述第二任务数据的数量的目标倍数，所述第一任务数据的数量是所述第三任务数据的数量的所述目标倍数。
16、根据本公开实施例的第二方面，提供一种大语言模型的训练装置，包括：
17、信息获取模块，被配置为获取第一提示信息和第二提示信息，所述第一提示信息指示将自然语言转换为结构化查询语言，所述第二提示信息指示按照思维链的方式将所述自然语言转换为所述结构化查询语言；
18、数据生成模块，被配置为根据所述第一提示信息生成第一任务数据，并根据所述第二提示信息生成第二任务数据；
19、模型训练模块，被配置为获取第三任务数据，并利用所述第一任务数据、所述第二任务数据和所述第三任务数据对大语言模型进行训练得到训练好的所述大语言模型，所述大语言模型用于将所述自然语言转换为所述结构化查询语言。
20、根据本公开实施例的第三方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开第一方面中任一项所述方法的步骤。
21、根据本公开实施例的第四方面，提供一种电子设备，包括：
22、处理器；
23、用于存储处理器可执行指令的存储器；
24、其中，所述处理器被配置为：执行所述可执行指令以实现本公开第一方面中任一项所述方法的步骤。
25、本公开的实施例提供的技术方案可以包括以下有益效果：
26、在本公开的示例性实施例提供的方法及装置中，针对自然语言转换为结构化查询语言的任务，一方面，获取第一提示信息并对应生成第一任务数据，构造出实际业务场景中的问题类型适用的数据，从数据层面提升了任务的准确率；另一方面，获取按照思维链方式构造的第二提示信息并对应生成第二任务数据，构造出适应多条件查询、数值计算和约束查询等复杂场景的数据，将复杂查询分解为多个简单子任务，能够明显提升转换任务的生成准确率和执行准确率。进而，利用三部分融合数据训练大语言模型，以通过大语言模型执行自然语言转换为结构化查询语言的任务，使得第三任务数据在提升大语言模型的复杂问题推理能力和数值计算能力的方面发挥了作用，解决了因模型能力限制和多步骤误差累计带来的影响，也为自然语言转换为结构化查询语言的任务提供了通用的解决方法。
27、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
28、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
本文档来自技高网...【技术保护点】
1.一种大语言模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的大语言模型的训练方法，其特征在于，所述第一提示信息，包括：第一目标信息，所述第一目标信息表征数据库中的表和列的信息。
3.根据权利要求1所述的大语言模型的训练方法，其特征在于，所述第二提示信息，包括：第二目标信息和第三目标信息；
4.根据权利要求3所述的大语言模型的训练方法，其特征在于，所述规则信息，包括：规定所述第二目标信息中包括所述数据库中的表和列的信息，与规定所述结构化查询语言的响应格式的信息，以及规定输出所述思维链的推理过程和输出与所述自然语言对应的所述结构化查询语言的信息；
5.根据权利要求3所述的大语言模型的训练方法，其特征在于，所述规则信息，包括：规定所述第二目标信息中包括所述数据库中的表和列的信息，以及规定根据所述思维链的推理过程输出语法结构和输出与所述自然语言对应的所述结构化查询语言的信息；
6.根据权利要求1所述的大语言模型的训练方法，其特征在于，所述利用所述第一任务数据、所述第二任务数据和所述第三任务数据对大语言模型进
7.根据权利要求1所述的大语言模型的训练方法，其特征在于，所述第一任务数据的数量是所述第二任务数据的数量的目标倍数，所述第一任务数据的数量是所述第三任务数据的数量的所述目标倍数。
8.一种大语言模型的训练装置，其特征在于，包括：
9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备，其特征在于，包括：
...【技术特征摘要】
1.一种大语言模型的训练方法，其特征在于，所述方法包括：
2.根据权利要求1所述的大语言模型的训练方法，其特征在于，所述第一提示信息，包括：第一目标信息，所述第一目标信息表征数据库中的表和列的信息。
3.根据权利要求1所述的大语言模型的训练方法，其特征在于，所述第二提示信息，包括：第二目标信息和第三目标信息；
4.根据权利要求3所述的大语言模型的训练方法，其特征在于，所述规则信息，包括：规定所述第二目标信息中包括所述数据库中的表和列的信息，与规定所述结构化查询语言的响应格式的信息，以及规定输出所述思维链的推理过程和输出与所述自然语言对应的所述结构化查询语言的信息；
5.根据权利要求3所述的大语言模型的训练方法，其特征在于，所述规则信息，包括：规定所述第二目标信息中包括所述数据库中的表和列...
【专利技术属性】
技术研发人员：陈贝，
申请(专利权)人：达闼机器人股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。