一种基于微调大语言模型的自然语言语句转制造技术

本发明专利技术属于自然语言处理技术领域，涉及一种基于微调大语言模型的自然语言语句转

【技术实现步骤摘要】
一种基于微调大语言模型的自然语言语句转SQL语句方法


[0001]本专利技术属于自然语言处理
，涉及一种自然语言语句转
SQL
语句方法，尤其涉及一种基于微调大语言模型的自然语言语句转
SQL
语句方法
。

技术介绍

[0002]在将自然语言语句转
SQL
语句时，之前常采用深度学习的方法
。
但是，由于传统的深度学习方法不具备通用自然语言理解能力，所以需标注语料多，跨场景能力较弱，灵活性较低，模型部署后，不重新训练的情况下，基本没有可调整的空间
。
[0003]随着人工智能
、
大数据技术的飞速发展，以大语言模型为代表的新一代人工智能技术带来了革命性的突破，如何基于大语言模型对传统的产品和业务进行重构升级是一个火热的研究课题
。
[0004]自然语言语句转
SQL
语句是自然语言处理最热门的研究方向之一
。
人类的自然语言表达方式多样性很大，传统的方法难以很好的应对，而大语言模型具有强大的涌现能力，对于自然语言具备通用的理解能力，跨领域能力和灵活性极高
。
因此，基于大语言模型的自然语言语句转
SQL
语句方法成为热点研究方向
。
[0005]例如，专利公开号为
CN115658729A
的专利技术提出了一种基于预训练模型的自然语言转
SQL
语句的方法，其具体方案如下：
S1、
获取待转化的自然语句；
S2、
将所述自然语句输入到用于将
SQL
查询转换为获取期望输入表示并产生
SQL
输出的预训练模型中，获得对应的
SQL
语句
。
其中，在所述的预训练模型中，自然语言转
SQL
被表示为一个多任务学习问题，所述的预训练模型包括编码层
、
解码层以及输出层，所述编码层采用
RoBERTa
网络结构，所述解码层采用双向
LSTM。
该技术方案通过提出一种使用双向
LSTM
作为编码器的模型，来解决以往方法使用单一的解码器不能充分获取数据集中编码信息的问题
。
[0006]但是，自然语言语句转
SQL
语句的特点是生成的
SQL
语句错一个字符就代表整条
SQL
语句不正确，且每个业务场景数据库表信息差异较大，上述技术方案在跨场景适应灵活性，以及生成的
SQL
语句可执行性和执行结果敏感性方面有着局限性，从而使得准确率受到限制
。
[0007]因此，针对上述现有技术中存在的缺陷，需要研发一种新型的自然语言语句转
SQL
语句方法
。

技术实现思路

[0008]为了克服现有技术的缺陷，本专利技术提出一种基于微调大语言模型的自然语言语句转
SQL
语句方法，其解决了大语言模型对生成的
SQL
语句可执行性和执行结果不敏感的问题，从而提升了自然语言语句转
SQL
语句的整体效果
。
[0009]为了实现上述目的，本专利技术提供如下技术方案：
[0010]一种基于微调大语言模型的自然语言语句转
SQL
语句方法，其特征在于，包括以下步骤：
[0011]1)、
微调训练大语言模型；
[0012]2)、
获取待转化的自然语言语句；
[0013]3)、
将所述自然语言语句输入微调训练后的大语言模型，得到转化后的
SQL
语句
。
[0014]优选地，所述步骤
1)
具体包括：
[0015]1.1)、
创建自然语言语句转
SQL
语句训练数据集；
[0016]1.2)、
使用所述训练数据集对大语言模型进行领域适应微调；
[0017]1.3)、
使用所述训练数据集对领域适应微调后的大语言模型进行执行结果反馈对齐微调
。
[0018]优选地，所述步骤
1.3)
中，在进行执行结果反馈对齐微调时，引入
SQL
可执行性和
SQL
执行结果这2个监督信息约束，这2个监督信息的标签通过执行
SQL
语句获得，标签值为0或1，其中，
SQL
可执行性的标签值为0表示
SQL
执行失败，为1表示
SQL
执行成功；
SQL
执行结果的标签值为0表示
SQL
执行结果错误，为1表示
SQL
执行结果正确，由此，将领域适应微调后的大语言模型的损失函数记为
L
final
，则，
[0019]L
final
＝
α1‑
label_execute
*
β1‑
label_result
*L
original
[0020]式中，
α1‑
label_execute
表示
SQL
可执行性反馈对齐项，
label_execute
表示
SQL
可执行性的标签值，
β1‑
label_result
表示
SQL
执行结果反馈对齐项，
label_result
表示
SQL
执行结果的标签值，
α
、
β
分别表示
SQL
可执行性反馈对齐项和
SQL
执行结果反馈对齐项的可调整参数，
L
original
为大语言模型原有的损失函数
。
[0021]优选地，
α
＝2，
β
＝
1.5。
[0022]优选地，所述步骤
1.2)
中，在进行领域适应微调时，采用全参数微调方法或
LoRA
微调方法
。
[0023]优选地，所述步骤
1.1)
中，所述自然语言语句转
SQL
语句训练数据集来源于开源数据集，并将不同的开源数据集处理成统一格式，以获得所述训练数据集
。
[0024]优选地，微调训练后的大语言模型部署在云服务器上
。
[0025]优选地，所述大语言模型为
ChatGLM、ChatGPT
或
GPT
‑
4。
[0026]与现有技术相比，本专利技术的基于微调大语言模型的自然语言语句转
...

【技术保护点】

【技术特征摘要】
1.
一种基于微调大语言模型的自然语言语句转
SQL
语句方法，其特征在于，包括以下步骤：
1)、
微调训练大语言模型；
2)、
获取待转化的自然语言语句；
3)、
将所述自然语言语句输入微调训练后的大语言模型，得到转化后的
SQL
语句
。2.
根据权利要求1所述的基于微调大语言模型的自然语言语句转
SQL
语句方法，其特征在于，所述步骤
1)
具体包括：
1.1)、
创建自然语言语句转
SQL
语句训练数据集；
1.2)、
使用所述训练数据集对大语言模型进行领域适应微调；
1.3)、
使用所述训练数据集对领域适应微调后的大语言模型进行执行结果反馈对齐微调
。3.
根据权利要求2所述的基于微调大语言模型的自然语言语句转
SQL
语句方法，其特征在于，所述步骤
1.3)
中，在进行执行结果反馈对齐微调时，引入
SQL
可执行性和
SQL
执行结果这2个监督信息约束，这2个监督信息的标签通过执行
SQL
语句获得，标签值为0或1，其中，
SQL
可执行性的标签值为0表示
SQL
执行失败，为1表示
SQL
执行成功；
SQL
执行结果的标签值为0表示
SQL
执行结果错误，为1表示
SQL
执行结果正确，由此，将领域适应微调后的大语言模型的损失函数记为
L
final
，则，
L
final
＝
α1‑
label_execute
*
β1‑
label_result
*L
original
式中，
α1‑
label_...

【专利技术属性】
技术研发人员：刘海波，陈昊，王仿，
申请(专利权)人：北京智谱华章科技有限公司，
类型：发明
国别省市：