一种基于提示的高效率小样本对话语义理解方法技术

本发明专利技术提供了一种基于提示的高效率小样本对话语义理解方法，包括：收集槽位标签的中文名称及描述语句，得到预训练数据集，构造提示模板，搭建小样本微调语言模型，将提示模板及预训练数据集输入小样本微调语言模型，对小样本微调语言模型进行训练，输入需要预测的语句，进行小样本对话语义理解预测。本发明专利技术提供的基于提示的高效率小样本对话语义理解方法，通过在提示中陈述槽类型来预测槽值，减少了解码和预测的所需要的模型前向传播次数，在不损失模型表现的同时，大大提高了模型的效率。大大提高了模型的效率。大大提高了模型的效率。

【技术实现步骤摘要】
一种基于提示的高效率小样本对话语义理解方法


[0001]本专利技术涉及语义识别
，特别是涉及一种基于提示的高效率小样本对话语义理解方法。

技术介绍

[0002]基于模板（template）或者提示（prompting）的方法最近在对话系统的小样本语义理解任务（Natural language understanding， NLU）中取得了进展，这对工业界的对话系统快速扩充业务面有重大意义。这些方法使用模板来修改输入样本，并解码标签tokens以将输入中的某个span映射到相应的槽标签。然而，如图4所示，这样的基于提示的方法对于NLU中槽标记任务来说是非常低效的，因为一个句子中有多个n
‑
gram，模型必须对这些n
‑
gram都进行标签解码，才能得到一个句子的完整槽填充结果，这大大减慢了预测速度。但是对话系统对模型效率有着严格的要求。所以目前基于提示的方法在工业界的应用受到了很大限制。因此，设计一种基于提示的高效率小样本对话语义理解方法是十分有必要的。

技术实现思路

[0003]本专利技术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于提示的高效率小样本对话语义理解方法，其特征在于，包括如下步骤：步骤1：收集槽位标签的中文名称及描述语句，得到预训练数据集；步骤2：构造提示模板；步骤3：搭建小样本微调语言模型；步骤4：将提示模板及预训练数据集输入小样本微调语言模型，对小样本微调语言模型进行训练；步骤5：输入需要预测的语句，进行小样本对话语义理解预测。2.根据权利要求1所述的基于提示的高效率小样本对话语义理解方法，其特征在于，步骤1中，收集槽位标签的中文名称及描述语句，得到预训练数据集，具体为：收集槽位标签的中文名称，根据槽位标签的中文名称将其转换为小样本微调语言模型容易理解的单词或短语形式，得到槽位标签的描述语句，将槽位标签的中文名称及描述语句作为预训练数据集。3.根据权利要求2所述的基于提示的高效率小样本对话语义理解方法，其特征在于，步骤2中，构造提示模板，具体为：构建面向槽填充的提示模板及面向意图识别的提示模板，其中，面向槽填充的提示模板包括输入句子及预定义的槽位标签的描述语句，输出为预定义的槽位标签的描述语句；面向意图识别的提示模板包括输入句子，输出为识别的意图。4.根据权利要求3所述的基于提示的高效率小样本对话语义理解方法，其特征在于，面向槽填充的提示模板为：<s> s...

【专利技术属性】
技术研发人员：游世学，王丙栋，郭锐，张晓东，乔亚飞，
申请(专利权)人：北京中科汇联科技股份有限公司，
类型：发明
国别省市：