基于语境向量反馈的槽填充和意图检测联合建模方法技术

本发明专利技术公开了一种基于语境向量反馈的槽填充和意图检测联合建模方法。该方法包括如下步骤：将语句输入到语言模型预训练的词表征生成网络得到当前语句的词表征矩阵；将词表征矩阵输入到双向长短期记忆网络并利用注意力机制获得槽特征矩阵和意图特征向量；将槽特征矩阵和意图特征向量进行处理获得语境向量；将语境向量分别和槽特征矩阵和意图特征向量拼接后输入全连接网络得到槽标注矩阵和意图权重向量，进而获得语句的意图和槽信息。利用本发明专利技术实施例，可以在意图识别和槽填充任务中增加全局的语境信息辅助判断，提升任务的准确性，使得模型效果明显优于其他语言理解模型，具有很大的实用价值。

Joint modeling method of slot filling and intention detection based on context vector feedback

【技术实现步骤摘要】
基于语境向量反馈的槽填充和意图检测联合建模方法
本专利技术涉及自然语言理解领域，特别是指一种基于语境向量反馈的槽填充和意图检测联合建模方法。
技术介绍
人机对话系统经历了50多年的发展，取得了不少的进展，目前更是面临巨大的发展机遇。传统的人机对话系统中自然语言理解(NatureLanguageUnderstanding，简称NLU)的主要目标是识别输入话语的意图，获得任务相关的语义信息(也称为语义槽填充)。目前最通用的方法是使用序列标注的方法进行槽填充、使用分类的方法如支持向量机进行意图的识别。长期以来，槽填充和意图识别都被作为自然语言理解任务的两个独立得子任务进行处理，或者通过一个联合的损失函数隐式的做联合建模，这样无法充分利用二者之间的关联。实际场景下，用户输入的意图和语句中的槽信息是有关联的。如在一个订票场景的对话中，用户意图是告知出行信息的语句往往会带有出发地目的地的槽值；相反，一个语句中如果提到了出发地目的地，那么这句话的意图是告知出发信息的可能性更高。传统的深度网络结构对于意图分类任务，最终会生成一个用于句子意图分类本文档来自技高网...

【技术保护点】
1.一种基于语境向量反馈的槽填充和意图检测联合建模方法，其特征在于，包括以下步骤：/n(1)将语句输入到语言模型预训练的词表征生成网络得到当前语句的词表征矩阵；/n(2)将词表征矩阵输入到双向长短期记忆网络获得隐层状态矩阵；/n(3)利用注意力机制对隐层状态矩阵处理后获得槽特征矩阵和意图特征向量；/n(4)将槽特征矩阵和意图特征向量进行处理获得语境向量；/n(5)将语境向量和槽特征矩阵拼接后输入全连接网络，得到槽标注矩阵；/n(6)将语境向量和意图特征向量拼接后输入全连接网络，得到意图权重向量；/n(7)根据槽标注矩阵和意图权重向量获得输入语句的槽信息和意图。/n

【技术特征摘要】
1.一种基于语境向量反馈的槽填充和意图检测联合建模方法，其特征在于，包括以下步骤：
(1)将语句输入到语言模型预训练的词表征生成网络得到当前语句的词表征矩阵；
(2)将词表征矩阵输入到双向长短期记忆网络获得隐层状态矩阵；
(3)利用注意力机制对隐层状态矩阵处理后获得槽特征矩阵和意图特征向量；
(4)将槽特征矩阵和意图特征向量进行处理获得语境向量；
(5)将语境向量和槽特征矩阵拼接后输入全连接网络，得到槽标注矩阵；
(6)将语境向量和意图特征向量拼接后输入全连接网络，得到意图权重向量；
(7)根据槽标注矩阵和意图权重向量获得输入语句的槽信息和意图。


2.如权利要求1所述的一种基于语境向量反馈的槽填充和意图检测联合建模方法，其特征在于，所述步骤(3)具体包括：
(31)对隐层状态矩阵的每个行向量，计算与其他行向量的相似度；
(32)将相似度使用softmax归一化，获得相似度权重向量；
(33)将隐层状态矩阵与相似度权重向量相乘，获得(31)所指行向量的槽特征向量；
(34)将每个槽语境向量按行合并为槽语境矩阵；
(35)对隐层状态矩阵的最后一行的行向量，使用单层的前...

【专利技术属性】
技术研发人员：蔡剑锋，孙忆南，陈晓碧，
申请(专利权)人：深圳市傲立科技有限公司，
类型：发明
国别省市：广东;44