一种多意图口语理解方法、电子设备和存储介质技术

本发明专利技术公开了一种多意图口语理解方法、电子设备和存储介质，本发明专利技术对多意图信息进行细化拆分，进行层级化解码，来预测每个意图对应的槽位标签；并且使用注意力机制建模各层解码输出之间的关系，即根据前一层解码序列的全局信息指导当前层解码，一定程度上也缓解了解码t时刻不具备t+1等未来信息的情况。

【技术实现步骤摘要】
一种多意图口语理解方法、电子设备和存储介质
本专利技术涉及人机对话系统
，具体涉及一种多意图口语理解方法、电子设备和存储介质。
技术介绍
口语理解主要包括两个子任务：意图识别(IntentDetection)和槽位填充(SlotFilling)。意图识别和槽位填充两个任务不是相互独立的，槽位填充高度依赖于意图识别的结果，同时槽位填充也可以促进意图的识别。现有技术将两个任务联合建模来充分利用两个任务共有的知识信息，通常采用多任务(Multi-task)框架，两个子任务共享编码层，然后将两部分的损失函数相加来建模。现有的使用多任务框架，采用共享编码层、损失函数相加是一种隐式联合建模的方法，该方法没有显式地建模意图识别和槽位填充两个子任务之间的相互作用关系；虽然目前也有研究关注如何有效利用多意图信息来引导槽位预测，但是很多方法只是把意图的上下文向量当做多意图信息，简单粗略的模拟意图和槽之间的关系，而这是远远不足够的，所以本专利技术提出层级解码的方式来解决该问题。
技术实现思路
为了解决上述问题，本专利技术对多意图信息进行细化拆分，进行层级化解码，来预测每个意图对应的槽位标签；并且使用注意力机制建模各层解码输出之间的关系，即根据前一层解码序列的全局信息指导当前层解码，一定程度上也缓解了解码t时刻不具备t+1等未来信息的情况。根据本专利技术实施例的一个方面，提供一种多意图口语理解方法，包括，S100基于输入序列得到预训练语言模型BERT的语义向量序列，以所述输入序列的第一个标记为分类标记；S200根据所述分类标记得到对应的最终隐藏状态，基于所述最终隐藏状态使用全连接神经网络和sigmoid函数进行多意图预测，得到多意图信息；S300根据所述多意图信息进行层级解码预测槽位标签；S400将各层级解码对应的负对数似然损失加和作为整体损失函数，进而训练模型，优化模型参数；S500在预测阶段使用阈值确定多意图识别结果，根据各层级解码序列的最后一层的解码输出槽填充结果，使用贪婪搜索进行采样得到槽位预测结果。优选地，所述层级解码使用表示第i层解码得到的槽位标签序列，其中，T表示解码序列的长度；第i层解码器对应的隐藏状态为优选地，所述解码器为单向LSTM，表示为fi，且每一层的所述解码器参数不共享。优选地，所述第i层解码实施为基于所述第i层的某一步意图标签嵌入向量和所述某一步的上一步解码得到的槽位标签嵌入向量得到所述某一步的解码器对应的隐藏状态，并基于所述某一步的解码器对应的隐藏状态解码得到的所述某一步的槽位标签，以将标签映射到高维嵌入空间显式地对分类类别进行了区分和语义表示。优选地，S310第一层解码的方法为：其中表示第一层第t步解码得到的槽位标签，表示意图标签I1的嵌入向量，是槽标签的嵌入向量表示，Wy是可训练的参数，使用所述意图标签I1的嵌入信息来指导每个时刻的解码预测。优选地，S321第i层解码的方法包括：其中表示针对第i-1层的解码结果使用注意力机制得到的上下文向量，所述上下文向量是前一层解码向量序列的权重加和，2≤i≤n。优选地，所述上下文向量构成为：其中，Wa，Ua，都是可训练参数。优选地，S322所述第i层解码的方法还包括：基于所述隐藏状态预测所述第i层第t时刻的槽位标签为优选地，在所述预测阶段，使用阈值vt来预测多意图标签I＝(I1,I2,...,In)，其中，Ii表示其中0＜vth＜1，所述阈值vt为一个需要使用验证集调试的参数。根据本专利技术实施例的另一个方面，提供一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现前述方法。根据本专利技术实施例的又一个方面，提供一种非临时性计算机可读存储介质，其上存储有可执行指令，所述可执行指令在处理器上运行时，实现前述方法。附图说明为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
得能涵盖的范围内。图1为本专利技术提出的层级解码多意图口语理解框架示意图(以两个意图为例)。具体实施方式以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提出的层级解码的多意图口语理解的模型如图1所示，模型使用预训练语言模型BERT(BidirectionalEncoderRepresentationsfromTransformers)作为编码器，根据BERT输出的语义信息进行多意图识别和槽位预测。本专利技术对多意图信息进行细化拆分，进行层级化解码，来预测每个意图对应的槽位标签；并且使用注意力机制建模各层解码输出之间的关系，即根据前一层解码序列的全局信息指导当前层解码，一定程度上也缓解了解码t时刻不具备t+1等未来信息的情况。具体方法流程如下：第1步，得到预训练语言模型BERT的语义向量序列编码表示：BERT模型结构是一个基于多层双向的Transformer编码器，它的输入包括词嵌入、句子嵌入和位置嵌入三部分。输入序列的第一个标记始终是特殊分类标记[CLS]，该特殊标记对应的最终隐藏状态被用于分类任务；并且使用特殊标记[SEP]作为序列的最后一个标记。本专利技术输入表示为x＝([cls],x1,x2,x3,x4,...,xn)，BERT得到的语义向量序列编码表示为e＝(e[cls],e1,e2,e3,e4,...,en)。第2步，进行多意图识别：根据BERT特殊符号[CLS]对应的最终隐藏状态，使用全连接神经网络(FCN,FullConnectedNetwork)和sigmoid函数进行多意图预测，最终得到多意图信息y[cls]＝sigmoid(FCN(e[cls]))，ni表示全部意图的个数。其中，全连接神经网络FCN解析：对n-1层和n层而言，n-1层的任意一个节点，都和第n层所有节点有连接。即第n层的每个节点在进行计算的时候，激活函数的输入是n-1层所有节点的加权，从而获得全连本文档来自技高网...

【技术保护点】
1.一种多意图口语理解方法，其特征在于，包括，/nS100基于输入序列得到预训练语言模型BERT的语义向量序列，以所述输入序列的第一个标记为分类标记；/nS200根据所述分类标记得到对应的最终隐藏状态，基于所述最终隐藏状态使用全连接神经网络和sigmoid函数进行多意图预测，得到多意图信息；/nS300根据所述多意图信息进行层级解码预测槽位标签；/nS400将各层级解码对应的负对数似然损失加和作为整体损失函数，进而训练模型，优化模型参数；/nS500在预测阶段使用阈值确定多意图识别结果，根据各层级解码序列的最后一层的解码输出槽填充结果，使用贪婪搜索进行采样得到槽位预测结果。/n

【技术特征摘要】
1.一种多意图口语理解方法，其特征在于，包括，
S100基于输入序列得到预训练语言模型BERT的语义向量序列，以所述输入序列的第一个标记为分类标记；
S200根据所述分类标记得到对应的最终隐藏状态，基于所述最终隐藏状态使用全连接神经网络和sigmoid函数进行多意图预测，得到多意图信息；
S300根据所述多意图信息进行层级解码预测槽位标签；
S400将各层级解码对应的负对数似然损失加和作为整体损失函数，进而训练模型，优化模型参数；
S500在预测阶段使用阈值确定多意图识别结果，根据各层级解码序列的最后一层的解码输出槽填充结果，使用贪婪搜索进行采样得到槽位预测结果。


2.如权利要求1所述的多意图口语理解方法，其特征在于，
所述层级解码使用表示第i层解码得到的槽位标签序列，其中，T表示解码序列的长度；
第i层解码器对应的隐藏状态为


3.如权利要求2所述的多意图口语理解方法，其特征在于，
所述解码器为单向LSTM，表示为fi，且每一层的所述解码器参数不共享。


4.如权利要求2所述的多意图口语理解方法，其特征在于，
所述第i层解码实施为基于所述第i层的某一步意图标签嵌入向量和所述某一步的上一步解码得到的槽位标签嵌入向量得到所述某一步的解码器对应的隐藏状态，并基于所述某一步的解码器对应的隐藏状态解码得到的所述某一步的槽位标签，以将标签映射到高维嵌入空间显式地对分类类别进行了区分和语义表示。


5.如权利要求2所述的多意图口语理解方法，其特征在于，
S310第一层解码的方法为：





...

【专利技术属性】
技术研发人员：刘广灿，
申请(专利权)人：云知声智能科技股份有限公司，厦门云知芯智能科技有限公司，
类型：发明
国别省市：北京;11