一种基于S-LSTM模型与槽值门的说话人意图识别系统及方法技术方案

本发明专利技术提出了一种基于S‑LSTM模型与槽值门的说话人意图识别系统及方法，系统包括词语嵌入模块：用于对用户提供的文本信息进行嵌入，将其转化为对应的词汇向量；特征提取模块：将得到的词汇嵌入进行处理，提取出其中蕴含的语义信息，以及一个句子整体的语义信息；意图判别模块：根据提取出的语义信息，对用户意图做出识别，并完成槽填充，为之后的行为提供保障。基于上述系统的说话人意图识别方法通过步骤S1‑S4更好的挖掘了意图与其所对应槽值之间的关系，从而得到更好的准确率效果。

A speech recognition system and method based on s-lstm model and slot gate

【技术实现步骤摘要】
一种基于S-LSTM模型与槽值门的说话人意图识别系统及方法
本专利技术属于自动问答领域，具体涉及一种基于S-LSTM模型与槽值门的意图识别方法。
技术介绍
在自然语言的问答系统中，SLU(SpokenLanguageUnderstanding)是必不可少的一环，它指引着后续对话的内容。SLU的目的是形成一个语义框架，以获取用户话语或查询的语义，它通常包括两个任务：意图检测(Intentiondetection)以及槽填充(Slotfilling)。在问答系统，尤其是任务型问答系统中，当用户提出要求时，系统首先需要分辨出用户想要做什么，这便是意图检测的目的。意图检测任务可以被看作是一种分类任务，将一句话按照它包含的语义将其分类到不同的意图类别中。之后，系统需要分辨出完成用户要求所必须的要素，例如当用户需要预定机票时，系统需要分辨出所要预定的航班的行程以及具体的时间，这就是槽填充任务所要解决的问题。槽填充任务可以被看作是一种序列标记任务，它将单词的嵌入表示映射为与之对应的输出向量，据此为每一个单词打上不同的标签，这个标签取决于当前单词是否包含上述完成用户要求的要素以及是哪一种要素。学者们常常将意图检测和槽填充单独考虑，而没有将两者间的联系进行探究。但随着研究的推进，人们发现同时实现意图检测以及槽填充的联合模型往往能够取得更好的效果，这一现象预示着说话人的意图与槽值之间的相关性对意图识别结果的提升有着至关重要的效用。但这些工作都没有清晰地建模意图与槽值之间的关系，而S-LSTM模型为这种建模提供了可能，它很好地将句子中每个单词的信息与句子整体的信息进行融合。但将S-LSTM模型同时运用在槽填充和意图检测任务时，能够最详尽且最清晰地呈现句子所蕴含时序语义信息的最新时刻句子状态信息并没有得到充分利用，这造成了严重的资源浪费也对结果的准确性造成了影响。对说话人意图的识别极大地推进了自然语言理解任务的发展。之前的工作大多采用Bi-LSTM即双向LSTM模型进行词汇特征与词汇之间语义关系的提取，但这并不能很好地使句子整体和构成句子的词汇个体之间的信息进行交流。而S-LSTM(Sentence-stateLSTM)模型即句子状态LSTM模型可以很好地将自然语言中句子整体与词汇个体的信息相结合，以便于我们挖掘与利用意图检测与槽值填充之间的关系成立联合模型来更好地理解应答系统中蕴含的语义。
技术实现思路
为了解决现有技术的不足，本专利技术提供了一种基于S-LSTM模型与槽值门的意图识别方法，为了解决这一问题本专利技术开创式地引入了‘槽值门’机制，在进行槽填充任务时，将最新迭代时刻的句子状态信息作为监督信息加以运用。本专利技术的目的通过以下技术方案来实现：一种基于S-LSTM模型与槽值门的意图识别系统，包括词语嵌入模块：用于对用户提供的文本信息进行嵌入，将其转化为对应的词汇向量；特征提取模块：将得到的词汇嵌入进行处理，提取出其中蕴含的语义信息，以及一个句子整体的语义信息；意图判别模块：根据提取出的语义信息，对用户意图做出识别，并完成槽填充，为之后的行为提供保障。一种基于S-LSTM模型与槽值门的意图识别方法，包括如下步骤：S1、在接受到用户发出的文本请求或查询后，对其中的每一个单词通过查询预训练单词库得到其对应的词语嵌入，根据不同的文本需求，可以加入模型中的词语训练系统，使得所得的嵌入更加符合具体文本的特征；S2、将词语嵌入输入S-LSTM加槽值门的模型中获取富有价值的语义信息，将所得的词语嵌入输入到S-LSTM模型中得到初步的特征提取结果，再输入到槽值门当中，槽值门将句子整体信息作为一种监督信息，为一个单词信息赋予不同的权值，从而得到更加全面的单词信息；S3、将所得的单词信息输入到条件随机场中之后再输入到softmax中进行分类，从而将每个单词分到其所属于的槽值种类中，而对于意图识别的结果则是将每个单词的单词信息进行加权平均之后作为句子的整体信息直接输入到softmax分类器中从而得到对应的分类结果；S4、若意图分类的结果所对应的槽值在槽填充中并没有全部得到填充，则意图识别所服务的对话系统应当做出信息缺失的指示，提示对话系统通过询问用户等方式，补齐所需的槽值。优选地，所述S1中对于英文的对话系统，我们采用Glove预训练单词集中300维的单词向量作为我们的初始词语嵌入。对于中文则采用百度百科的300维中文预训练词向量。优选地，所述S1中可能加入的词语嵌入训练方法是word2vec方法。优选地，所述S2中S-LSTM模型的参数包括但不限于循环次数，单词窗口长度，句子状态个数。优选地，所述循环次数为6次，句子状态个数为1个，单词窗口长度为2。本专利技术的有益效果体现在：1、本专利技术将S-LSTM作为信息提取的方式引入到意图检测与槽填充的任务之上，更好的挖掘了意图与其所对应槽值之间的关系，从而得到更好的准确率效果。2、本专利技术在使用S-LSTM模型的过程中引入了槽值门机制作为解决S-LSTM模型中最后一个时刻句子整体状态信息浪费的问题，既解决了资源浪费的问题，也进一步地提高了准确率。本专利技术引入了‘槽值门’机制解决S-LSTM应用于说话人意图检测与槽填充的联合任务时最新迭代时刻的句子状态信息没有得到充分利用问题。在说话人意图检测中取得了很好的效果。附图说明图1为基于S-LSTM模型与槽值门的意图识别系统的意图识别方法流程简图；图2为S-LSTM模型结构图；图3为槽值门机制结构图。具体实施方式本专利技术揭示了一种基于S-LSTM模型与槽值门的意图识别系统，结合图1-图3所示，所述意图识别方法包括用于将用户的文本输入转化为嵌入表达的词语嵌入模块，与所述词语嵌入模块直接连接的特征提取模块，以及在所述特征提取模块基础上进行意图检测和槽填充的意图判别模块。所述特征提取模块将蕴含在文本表示之间的信息提取出来，同时兼顾单词个体与句子整体之间的信息交流。如图1所示的说话人意图识别方法流程，基于以上所述的一种基于S-LSTM模型与槽值门的意图识别系统的说话人意图识别方法，包括如下步骤：S1、词语嵌入，在接受到用户发出的文本请求或查询后，对其中的每一个单词通过查询预训练单词库得到其对应的词语嵌入，根据不同的文本需求，可以加入模型中的词语训练系统，使得所得的嵌入更加符合具体文本的特征。在进行英文文本处理时，我们选择Glove预训练数据集预训练单词库，对于正文文本我们选择百度百科中文预训练词库作为预训练词库。S2、将词语嵌入输入S-LSTM加槽值门的模型中获取富有价值的语义信息，将所得的词语嵌入输入到S-LSTM模型中得到初步的特征提取结果，再输入到槽值门当中，槽值门将句子整体信息作为一种监督信息，为一个单词信息赋予不同的权值，从而得到更加全面的单词信息。将所得的词语嵌入输入到S-LSTM模型中得到初步的特征提取结果，再输入到槽值门当中，将句子整体信息作为一种监督信本文档来自技高网...

【技术保护点】
1.一种基于S-LSTM模型与槽值门的说话人意图识别系统，其特征在于，包括：/n词语嵌入模块：用于对用户提供的文本信息进行嵌入，将其转化为对应的词汇向量；/n特征提取模块：将得到的词汇嵌入进行处理，提取出其中蕴含的语义信息，以及一个句子整体的语义信息；/n意图判别模块：根据提取出的语义信息，对用户意图做出识别，并完成槽填充，为之后的行为提供保障。/n

【技术特征摘要】
1.一种基于S-LSTM模型与槽值门的说话人意图识别系统，其特征在于，包括：
词语嵌入模块：用于对用户提供的文本信息进行嵌入，将其转化为对应的词汇向量；
特征提取模块：将得到的词汇嵌入进行处理，提取出其中蕴含的语义信息，以及一个句子整体的语义信息；
意图判别模块：根据提取出的语义信息，对用户意图做出识别，并完成槽填充，为之后的行为提供保障。


2.基于权利要求1的说话人意图识别系统的意图识别方法，其特征在于：包括如下步骤：
S1、词语嵌入，在接受到用户发出的文本请求或查询后，对其中的每一个单词通过查询预训练单词库得到其对应的词语嵌入，根据不同的文本需求，可以加入模型中的词语训练系统，使得所得的嵌入更加符合具体文本的特征；
S2、将词语嵌入输入S-LSTM加槽值门的模型中获取富有价值的语义信息，将所得的词语嵌入输入到S-LSTM模型中得到初步的特征提取结果，再输入到槽值门当中，槽值门将句子整体信息作为一种监督信息，为一个单词信息赋予不同的权值，从而得到更加全面的单词信息；
S3、将提取出的语义信息经过处理得出最终的分类结果，将所得的单词信息经过槽值门处理得到对应的分类结果，将所得的单词信息输入到条件随机场中之后再输入到softmax中进行分类，从而将每个单词分到其所属于的槽值种类中；然而对于意图识别的结果则是将每个...

【专利技术属性】
技术研发人员：邵曦，王子岳，袁梦奇，
申请(专利权)人：南京南邮信息产业技术研究院有限公司，南京邮电大学，
类型：发明
国别省市：江苏;32