结构化查询语言语句处理方法和系统、设备和介质技术方案

本公开提供一种结构化查询语言语句处理方法和系统、设备和介质，所述结构化查询语言语句处理方法包括：获取表格信息，将表格信息输入至结构化查询语言语句处理模型，输出结构化查询语言语句，其中，将第一训练样本分别输入第一老师模型和第一学生模型中进行蒸馏训练，得到第二学生模型；将第二训练样本分别输入第二老师模型和第二学生模型中进行蒸馏训练，得到训练好的第二学生模型；结构化查询语言语句处理模型是基于训练好的第二学生模型、表格样本以及预先确定的语言标签进行训练后得到，从而可以实现在保证结构化查询语言语句的准确率和精度的基础上，克服了线上部署时内存不足和推理时间过慢的缺陷。存不足和推理时间过慢的缺陷。存不足和推理时间过慢的缺陷。

【技术实现步骤摘要】
结构化查询语言语句处理方法和系统、设备和介质


[0001]本公开涉及自然语言处理业务
，尤其涉及一种结构化查询语言语句处理方法和系统、电子设备和存储介质。

技术介绍

[0002]表格问答是根据表格信息把人类的自然语言转换成机器能理解的结构化查询语言语句，从数据库查询到客户想要的答案。目前生成结构化查询语言语句的做法可以采用使用规则生成的办法，这种方式首先设置字段及表的描述表项；填充与所述描述表项对应的描述信息，生成数据字典；根据数据字典及结构化查询语言语句生成规则，生成结构化查询语言语句，该方法准确率较低。另外一种是模型生成，一般是通过预训练模型生成结构化查询语言语句。基于预训练模型的表格问答在准确率上有一定优势，然而基于预训练的做法是需要使用预训练模型，不仅模型大而且推理速度慢，在计算资源有限的线上部署会面临内存不足和推理时间过慢等问题。

技术实现思路

[0003]本公开提供一种结构化查询语言语句处理方法和系统、电子设备和存储介质，用以解决现有技术中存在的技术缺陷。
[0004]本公开提供一种结构化查询语言语句处理方法，包括：
[0005]获取表格信息，将所述表格信息输入至所述结构化查询语言语句处理模型，输出结构化查询语言语句；
[0006]其中，将第一训练样本分别输入第一老师模型和第一学生模型中进行蒸馏训练，得到第二学生模型，所述第一老师模型为基于所述第一训练样本经过预先训练获得的；
[0007]将第二训练样本分别输入第二老师模型和所述第二学生模型中进行蒸馏训练，得到训练好的第二学生模型，所述第二老师模型为基于所述第二训练样本经过预先训练获得的；
[0008]所述结构化查询语言语句处理模型是基于训练好的第二学生模型、表格样本以及预先确定的语言标签进行训练后得到。
[0009]根据本公开提供的结构化查询语言语句处理方法，其中，所述第一训练样本包括未标记的中文训练语料样本以及预先确定的句子表征标签，所述第一学生模型在训练过程中采用的损失函数为：
[0010][0011]其中，表示预先确定的句子表征标签，表示第一学生模型训练时的输出结果，n1表示第一学生模型输出结果的分类数。
[0012]根据本公开提供的结构化查询语言语句处理方法，其中，所述第二训练样本包括
带标记的文本和结构化查询语言语句样本以及预先确定的表征配对标签，所述第一学生模型、第二学生模型在训练过程中采用的损失函数为：
[0013][0014]其中，表示预先确定的表征配对标签，表示第二学生模型训练时的输出结果，n2表示第二学生模型输出结果的分类数。
[0015]根据本公开提供的结构化查询语言语句处理方法，其中，所述第二训练样本的构造方法包括：
[0016]获取带标记的文本；
[0017]基于所述带标记的文本，构造包含数据集表中的表头、运算和表值的第一范式，将所述第一范式改写成正结构化查询语言语句样本；
[0018]将所述带标记的文本与正结构化查询语言语句样本相匹配的标签作为表征配对成功标签；
[0019]将所述数据集表中的其他表头和表值以及所述运算构造成第二范式，将所述第二范式改写成负结构化查询语言语句样本；
[0020]将所述带标记的文本与负结构化查询语言语句样本不匹配的标签作为表征配对失败标签。
[0021]根据本公开提供的结构化查询语言语句处理方法，其中，所述获取表格信息，将所述表格信息输入至所述结构化查询语言语句处理模型，输出结构化查询语言语句，包括：
[0022]将所述表格信息输入至所述结构化查询语言语句处理模型，输出若干个子任务对应的结构化查询语言语句；
[0023]所述将所述表格信息输入至所述结构化查询语言语句处理模型，输出若干个子任务对应的结构化查询语言语句之后，包括：
[0024]将若干个子任务对应的结构化查询语言语句进行拼接，形成目标结构化查询语言语句。
[0025]根据本公开提供的结构化查询语言语句处理方法，其中，所述结构化查询语言语句处理模型在训练过程中采用的损失函数为：
[0026][0027]其中，y
i
表示预先确定的语言标签，表示输出的结构化查询语言语句，n表示输出的结构化查询语言语句的类别数。
[0028]本公开还提供了一种结构化查询语言语句处理系统，包括：
[0029]结构化查询语言语句处理模块，用于获取表格信息，将所述表格信息输入至所述结构化查询语言语句处理模型，输出结构化查询语言语句；
[0030]其中，所述系统还包括：第一蒸馏训练模块，用于将第一训练样本分别输入第一老师模型和第一学生模型中进行蒸馏训练，得到第二学生模型，所述第一老师模型为基于所述第一训练样本经过预先训练获得的；
[0031]第二蒸馏训练模块，用于将第二训练样本分别输入第二老师模型和所述第二学生模型中进行蒸馏训练，得到训练好的第二学生模型，所述第二老师模型为基于所述第二训练样本经过预先训练获得的；
[0032]所述结构化查询语言语句处理模型是基于训练好的第二学生模型、表格样本以及预先确定的语言标签进行训练后得到。
[0033]根据本公开提供的结构化查询语言语句处理系统，其中，所述结构化查询语言语句处理模块还用于：
[0034]将所述表格信息输入至所述结构化查询语言语句处理模型，输出若干个子任务对应的结构化查询语言语句；
[0035]所述系统还包括：拼接模块，用于在输出若干个子任务对应的结构化查询语言语句之后，将若干个子任务对应的结构化查询语言语句进行拼接，形成目标结构化查询语言语句。
[0036]本公开还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述结构化查询语言语句处理方法的步骤。
[0037]本公开还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述结构化查询语言语句处理方法的步骤。
[0038]本公开提供的结构化查询语言语句处理方法，通过将第一训练样本分别输入第一老师模型和第一学生模型中进行蒸馏训练，得到初步训练后的第二学生模型，再将第二训练样本分别输入第二老师模型和第二学生模型中进行蒸馏训练，得到训练好的第二学生模型，然后再基于训练好的第二学生模型训练得到结构化查询语言语句处理模型，由于第二学生模型为经过蒸馏训练得到的模型，与传统的基于表格问答的语句处理模型相比，极大地减少表格问答的模型计算量和所需的内存容量；另外通过蒸馏训练后的第二学生模型训练生成结构化查询语言语句处理模型，使训练后的模型尽可能保留表格问答数据集的一些语义信息，从而在保证结构化查询语言语句的准确率和精度的基础上，克服了线上部署时内存不足和推理时间过慢的缺陷。
附图说明
[0039]为了更清楚地说明本公开或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种结构化查询语言语句处理方法，其特征在于，包括：获取表格信息，将所述表格信息输入至所述结构化查询语言语句处理模型，输出结构化查询语言语句；其中，将第一训练样本分别输入第一老师模型和第一学生模型中进行蒸馏训练，得到第二学生模型，所述第一老师模型为基于所述第一训练样本经过预先训练获得的；将第二训练样本分别输入第二老师模型和所述第二学生模型中进行蒸馏训练，得到训练好的第二学生模型，所述第二老师模型为基于所述第二训练样本经过预先训练获得的；所述结构化查询语言语句处理模型是基于训练好的第二学生模型、表格样本以及预先确定的语言标签进行训练后得到。2.根据权利要求1所述的结构化查询语言语句处理方法，其特征在于，所述第一训练样本包括未标记的中文训练语料样本以及预先确定的句子表征标签，所述第一学生模型在训练过程中采用的损失函数为：其中，表示预先确定的句子表征标签，表示第一学生模型训练时的输出结果，n1表示第一学生模型输出结果的分类数。3.根据权利要求1所述的结构化查询语言语句处理方法，其特征在于，所述第二训练样本包括带标记的文本和结构化查询语言语句样本以及预先确定的表征配对标签，所述第二学生模型在训练过程中采用的损失函数为：其中，表示预先确定的表征配对标签，表示第二学生模型训练时的输出结果，n2表示第二学生模型输出结果的分类数。4.根据权利要求1所述的结构化查询语言语句处理方法，其特征在于，所述第二训练样本的构造方法包括：获取带标记的文本；基于所述带标记的文本，构造包含数据集表中的表头、运算和表值的第一范式，将所述第一范式改写成正结构化查询语言语句样本；将所述带标记的文本与正结构化查询语言语句样本相匹配的标签作为表征配对成功标签；将所述数据集表中的其他表头和表值以及所述运算构造成第二范式，将所述第二范式改写成负结构化查询语言语句样本；将所述带标记的文本与负结构化查询语言语句样本不匹配的标签作为表征配对失败标签。5.根据权利要求1所述的结构化查询语言语句处理方法，其特征在于，所述获取表格信息，将所述表格信息输入至所述结构化查询语言语句处理模型，输出结构化查询语言语句，
包括：将所述表格信息...

【专利技术属性】
技术研发人员：袁韶祖，陈蒙，祝天刚，
申请(专利权)人：京东科技信息技术有限公司，
类型：发明
国别省市：