一种NLU任务的处理方法、系统、电子设备及存储介质技术方案

本申请公开了一种NLU任务的处理方法，所述方法包括：获取预训练语言模型；其中，所述预训练语言模型为生成类语言模型；接收NLU任务，并对所述NLU任务对应的数据内容进行格式转换，得到目标文本；其中，所述目标文本包括文本内容语句和标签语句，所述标签语句为所述目标文本的最后一个句子，所述标签语句为待填写所述文本内容语句的标签词的句子；将所述目标文本输入所述预训练语言模型得到所述文本内容语句的标签词，根据所述文本内容语句的标签词生成所述NLU任务的处理结果。本申请能够提高生成类语言模型执对NLU任务的处理精准度。本申请还公开了一种NLU任务的处理系统、一种电子设备及一种存储介质，具有以上有益效果。具有以上有益效果。具有以上有益效果。

【技术实现步骤摘要】
一种NLU任务的处理方法、系统、电子设备及存储介质


[0001]本申请涉及自然语言处理
，特别涉及一种NLU任务的处理方法、系统、电子设备及存储介质。

技术介绍

[0002]自然语言处理技术的迅速发展催生了预训练语言模型(PLM，Pre
‑
trained Language Model)的诞生，其中比较具有代表性的模型结构是GPT和Bert。预训练语言模型的产生从某种意义上降低了自然语言处理模型的使用门槛，因为人们只要针对自己需要的下游任务对已有的预训练模型进行微调，而不需要从头开始训练模型，进而大大降低了自然语言模型的使用成本。由于预训练语言模型的开发者并不知道模型会被用来做什么样的下游任务，因此往往会使用大量语料、训练一个规模较大的模型，以确保模型获得执行不同任务的能力。
[0003]生成类语言模型(如GPT模型)为用于执行自然语言生成任务的预训练语言模型，生成类语言模型可以不改变参数，进行零样本学习(zero
‑
shot learning)和小样本学习(few
‑
shot learning)，但是在使用生成类语言模型处理NLU任务的精准度较差。
[0004]因此，如何提高生成类语言模型执对NLU任务的处理精准度是本领域技术人员目前需要解决的技术问题。

技术实现思路

[0005]本申请的目的是提供一种NLU任务的处理方法、系统、一种电子设备及一种存储介质，能够提高生成类语言模型执对NLU任务的处理精准度。
[0006]为解决上述技术问题，本申请提供一种NLU任务的处理方法，该NLU任务的处理方法包括：
[0007]获取预训练语言模型；其中，所述预训练语言模型为生成类语言模型；
[0008]接收NLU任务，并对所述NLU任务对应的数据内容进行格式转换，得到目标文本；其中，所述目标文本包括文本内容语句和标签语句，所述标签语句为所述目标文本的最后一个句子，所述标签语句为待填写所述文本内容语句的标签词的句子；
[0009]将所述目标文本输入所述预训练语言模型得到所述文本内容语句的标签词，根据所述文本内容语句的标签词生成所述NLU任务的处理结果。
[0010]可选的，将所述目标文本输入所述预训练语言模型得到所述文本内容语句的标签词，包括：
[0011]将所述目标文本输入所述预训练语言模型，得到所述预训练语言模型在所述标签语句中填写的预测标签词token；
[0012]判断所述预测标签词token是否为所述文本内容语句的标准标签词；
[0013]若是，则将所述预测标签词token设置为所述文本内容语句的标签词。
[0014]可选的，在判断所述预测标签词token是否为所述文本内容语句的标准标签词之
后，还包括：
[0015]若所述预测标签词token不为所述文本内容语句的标准标签词，则利用所述预训练语言模型计算标签词集合中每一备选标签词出现在所述标签语句的概率；
[0016]将概率最高的备选标签词设置为所述文本内容语句的标签词。
[0017]可选的，所述对NLU任务对应的数据内容进行格式转换，得到目标文本，包括：
[0018]确定所述数据内容中的文本内容语句和标准标签词；
[0019]构建包括所述标准标签词的目标语句，并删除所述目标语句中的所述标准标签词得到所述标签语句；
[0020]构建包括所述文本内容语句和所述标签语句的所述目标文本。
[0021]可选的，所述构建包括所述标准标签词的目标语句，包括：
[0022]构建包括所述标准标签词且所述标准标签词处于句子尾部的所述目标语句。
[0023]可选的，所述预训练语言模型具体为GPT结构的预训练语言模型。
[0024]可选的，在根据所述文本内容语句的标签词生成所述NLU任务的处理结果之后，还包括：
[0025]将所述NLU任务的处理结果传递至下游任务。
[0026]本申请还提供了一种NLU任务的处理系统，该系统包括：
[0027]模型获取模块，用于获取预训练语言模型；其中，所述预训练语言模型为生成类语言模型；
[0028]格式转换模块，用于接收NLU任务，并对所述NLU任务对应的数据内容进行格式转换，得到目标文本；其中，所述目标文本包括文本内容语句和标签语句，所述标签语句为所述目标文本的最后一个句子，所述标签语句为待填写所述文本内容语句的标签词的句子；
[0029]处理模块，用于将所述目标文本输入所述预训练语言模型得到所述文本内容语句的标签词，根据所述文本内容语句的标签词生成所述NLU任务的处理结果。
[0030]本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序执行时实现上述NLU任务的处理方法执行的步骤。
[0031]本申请还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器调用所述存储器中的计算机程序时实现上述NLU任务的处理方法执行的步骤。
[0032]本申请提供了一种NLU任务的处理方法，包括：获取预训练语言模型；其中，所述预训练语言模型为生成类语言模型；接收NLU任务，并对所述NLU任务对应的数据内容进行格式转换，得到目标文本；其中，所述目标文本包括文本内容语句和标签语句，所述标签语句为所述目标文本的最后一个句子，所述标签语句为待填写所述文本内容语句的标签词的句子；将所述目标文本输入所述预训练语言模型得到所述文本内容语句的标签词，根据所述文本内容语句的标签词生成所述NLU任务的处理结果。
[0033]本申请在接收到NLU任务后，对NLU任务对应的数据内容进行格式转换，得到目标文本。目标文本包括文本内容语句和标签语句，所述标签语句为所述目标文本的最后一个句子，所述标签语句为待填写所述文本内容语句的标签词的句子。在将目标文本输入到预训练语言模型后，相当于将NLU任务转化为生成类语言模型擅长处理的自然语言生成任务。因此，本申请能够提高生成类语言模型执对NLU任务的处理精准度。本申请同时还提供了一
种NLU任务的处理系统、一种电子设备和一种存储介质，具有上述有益效果，在此不再赘述。
附图说明
[0034]为了更清楚地说明本申请实施例，下面将对实施例中所需要使用的附图做简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]图1为本申请实施例所提供的一种NLU任务的处理方法的流程图；
[0036]图2为本申请实施例所提供的一种NLU任务的处理系统的结构示意图。
具体实施方式
[0037]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种NLU任务的处理方法，其特征在于，包括：获取预训练语言模型；其中，所述预训练语言模型为生成类语言模型；接收NLU任务，并对所述NLU任务对应的数据内容进行格式转换，得到目标文本；其中，所述目标文本包括文本内容语句和标签语句，所述标签语句为所述目标文本的最后一个句子，所述标签语句为待填写所述文本内容语句的标签词的句子；将所述目标文本输入所述预训练语言模型得到所述文本内容语句的标签词，根据所述文本内容语句的标签词生成所述NLU任务的处理结果。2.根据权利要求1所述NLU任务的处理方法，其特征在于，将所述目标文本输入所述预训练语言模型得到所述文本内容语句的标签词，包括：将所述目标文本输入所述预训练语言模型，得到所述预训练语言模型在所述标签语句中填写的预测标签词token；判断所述预测标签词token是否为所述文本内容语句的标准标签词；若是，则将所述预测标签词token设置为所述文本内容语句的标签词。3.根据权利要求2所述NLU任务的处理方法，其特征在于，在判断所述预测标签词token是否为所述文本内容语句的标准标签词之后，还包括：若所述预测标签词token不为所述文本内容语句的标准标签词，则利用所述预训练语言模型计算标签词集合中每一备选标签词出现在所述标签语句的概率；将概率最高的备选标签词设置为所述文本内容语句的标签词。4.根据权利要求1所述NLU任务的处理方法，其特征在于，所述对NLU任务对应的数据内容进行格式转换，得到目标文本，包括：确定所述数据内容中的文本内容语句和标准标签词；构建包括所述标准标签词的目标语句，并删除所述目标语句中的所述标准标签词得到所述标签...

【专利技术属性】
技术研发人员：于彤，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：