一种基于交替解码的口语理解方法、电子设备和存储介质技术

本发明专利技术公开了一种基于交替解码的口语理解方法、电子设备和存储介质，本发明专利技术提出将词级别的意图识别和词级别的槽填充进行交替解码，并且使用句子级别的意图识别结果初始化整个解码状态，通过如此方式可以从全局和局部两个角度实现意图识别和槽位填充相互贡献，从而提升口语理解任务的效果。

【技术实现步骤摘要】
一种基于交替解码的口语理解方法、电子设备和存储介质
本专利技术涉及人机对话系统
，具体涉及一种基于交替解码的口语理解方法、电子设备和存储介质。
技术介绍
口语理解主要包括两个子任务：意图识别(IntentDetection)和槽位填充(SlotFilling)。意图识别和槽位填充两个任务不是相互独立的，槽位填充高度依赖于意图识别的结果，同时槽位填充也可以促进意图的识别。现有技术将两个任务联合建模来充分利用两个任务共有的知识信息，通常采用多任务(Multi-task)框架，两个子任务共享编码层，然后将两部分的损失函数相加来建模。现有的使用多任务框架，采用共享编码层、损失函数相加是一种隐式联合建模的方法，该方法没有显式地建模意图识别和槽位填充两个子任务之间的相互作用关系；也有研究提出Slot-Gated方法和SF-ID方法进行初步探索，但现有的模型还是不能充分利用槽与意图之间的共现关系，限制了它们的潜在性能。
技术实现思路
为了解决上述问题，本专利技术提出将词级别的意图识别和词级别的槽填充进行交替解码，并且使用句子级别的意图识别结果初始化整个解码状态，通过如此方式可以从全局和局部两个角度实现意图识别和槽位填充相互贡献，从而提升口语理解任务的效果。根据本专利技术实施例的一个方面，提供一种基于交替解码的口语理解方法，包括：S100基于输入序列得到预训练语言模型BERT的语义向量序列，以所述输入序列的第一个标记为分类标记；S200根据所述分类标记得到对应的最终隐藏状态，基于所述最终隐藏状态使用全连接神经网络和Softmax函数进行句子级别意图识别，得到句子级别全局意图信息；S300基于所述语义向量序列和所述句子级别全局意图信息进行词级别意图识别和槽位填充交替解码；S400基于所述交替解码的结果获取意图识别和槽位填充的结果。优选地，所述交替解码包括：基于所述语义向量序列和所述句子级别全局意图信息得到对应的解码器隐藏状态，对所述解码器隐藏状态解码得到输出序列，所述输出序列长度为2n，基于所述输出序列得到词级别意图识别序列和词级别槽位填充序列，其中，所述解码器为单向的LSTM。优选地，所述解码实施为将意图标签和槽标签映射到高维嵌入空间，显式地对分类类别进行区分和语义表示，以促进对分类标签的理解。优选地，还包括：S310当解码到第i步，且i为奇数时，在预测第([i/2]+1)个词的意图时，基于所述语义向量序列、解析前一个词的意图和前一个词对应的槽位信息，其中，i∈[0,2n]。优选地，解码方法如下：y[i/2]+1＝argmax(softmax(Wyi))，其中，Wy和Wo都是可训练参数，符号[]表示取整操作，表示意图标签y[i/2]的嵌入向量，表示槽标签o[i/2]的嵌入表示，所述语义向量序列表示为e＝(e[cls],e1,e2,e3,e4,...,en)，所述输出序列表示为y＝(y1,o1,y2,o2,y3,o3,...,yn,on)，所述词级别意图识别序列为yi＝(y1,y2,y3,...,yn)，所述词级别槽位填充序列为ys＝(o1,o2,o3,...,on)。优选地，还包括：S320当解码到第i步，且i为偶数时，在预测第[i/2]词的槽位时，解析当前词的意图信息和前一个词的槽位信息，其中，i∈[0,2n]。优选地，解码方法如下：o[i/2]＝argmax(softmax(Woi))，其中，Wy和Wo都是可训练参数，符号[]表示取整操作，表示意图标签y[i/2]的嵌入向量，表示槽标签o[i/2]的嵌入表示，所述语义向量序列表示为e＝(e[cls],e1,e2,e3,e4,...,en)，所述输出序列表示为y＝(y1,o1,y2,o2,y3,o3,...,yn,on)，所述词级别意图识别序列为yi＝(y1,y2,y3,...,yn)，所述词级别槽位填充序列为ys＝(o1,o2,o3,...,on)。优选地，还包括：S330词级别交替解码的损失函数计算：使用负对数似然作为损失函数，来优化模型参数。优选地，使用计划采样机制对所述解码器进行训练。优选地，在所述预测阶段中，对整句话的意图结果采用所有词意图的投票结果进行决定，并使用贪婪搜索进行采样得到槽位预测结果。根据本专利技术实施例的另一个方面，提供一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现前述方法。根据本专利技术实施例的又一个方面，提供一种非临时性计算机可读存储介质，其上存储有可执行指令，所述可执行指令在处理器上运行时，实现前述方法。附图说明为了更清楚地说明本专利技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本专利技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本专利技术所能产生的功效及所能达成的目的下，均应仍落在本专利技术所揭示的
技术实现思路
得能涵盖的范围内。图1为本专利技术提出的口语理解的模型示意图。具体实施方式以下由特定的具体实施例说明本专利技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本专利技术的其他优点及功效，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提出的口语理解的模型如图1所示，模型使用预训练语言模型BERT(BidirectionalEncoderRepresentationsfromTransformers)作为编码层，使用BERT得到的语义向量序列表示进行词级别的序列解码。其中本专利技术提出将词级别的意图识别和词级别的槽填充进行交替解码，并且使用句子级别的意图识别结果初始化整个解码状态，通过如此方式可以从全局和局部两个角度实现意图识别和槽位填充相互贡献，从而提升口语理解任务的效果。具体方法流程如下：第1步，得到预训练语言模型BERT的语义向量序列编码表示：BERT模型结构是一个基于多层双向的Transformer编码器，它的输入包括词嵌入、句子嵌入和位置嵌入三部分。输入序列的第一个标记始终是特殊分类标记[CLS]，该特殊标记对应的最终隐藏状态被用于分类任务；并且使用特殊标记[SEP]作为序列的最后一个标记。本专利技术输入表示为x＝([cls],x1,x2,x3本文档来自技高网...

【技术保护点】
1.一种基于交替解码的口语理解方法，其特征在于，包括：/nS100基于输入序列得到预训练语言模型BERT的语义向量序列，以所述输入序列的第一个标记为分类标记；/nS200根据所述分类标记得到对应的最终隐藏状态，基于所述最终隐藏状态使用全连接神经网络和Softmax函数进行句子级别意图识别，得到句子级别全局意图信息；/nS300基于所述语义向量序列和所述句子级别全局意图信息进行词级别意图识别和槽位填充交替解码；/nS400基于所述交替解码的结果获取意图识别和槽位填充的结果。/n

【技术特征摘要】
1.一种基于交替解码的口语理解方法，其特征在于，包括：
S100基于输入序列得到预训练语言模型BERT的语义向量序列，以所述输入序列的第一个标记为分类标记；
S200根据所述分类标记得到对应的最终隐藏状态，基于所述最终隐藏状态使用全连接神经网络和Softmax函数进行句子级别意图识别，得到句子级别全局意图信息；
S300基于所述语义向量序列和所述句子级别全局意图信息进行词级别意图识别和槽位填充交替解码；
S400基于所述交替解码的结果获取意图识别和槽位填充的结果。


2.如权利要求1所述的基于交替解码的口语理解方法，其特征在于，所述交替解码包括：
基于所述语义向量序列和所述句子级别全局意图信息得到对应的解码器隐藏状态，
对所述解码器隐藏状态解码得到输出序列，所述输出序列长度为2n，基于所述输出序列得到词级别意图识别序列和词级别槽位填充序列，其中，所述解码器为单向的LSTM。


3.如权利要求2所述的基于交替解码的口语理解方法，其特征在于，
所述解码实施为将意图标签和槽标签映射到高维嵌入空间，显式地对分类类别进行区分和语义表示，以促进对分类标签的理解。


4.如权利要求2所述的基于交替解码的口语理解方法，其特征在于，还包括：
S310当解码到第i步，且i为奇数时，在预测第([i/2]+1)个词的意图时，基于所述语义向量序列、解析前一个词的意图和前一个词对应的槽位信息，其中，i∈[0，2n]。


5.如权利要求4所述的基于交替解码的口语理解方法，其特征在于，解码方法如下：



y[i/2]+1＝argmax(softmax(Wyi))，
其中，Wy和Wo都是可训练参数，符号[]表示取整操作，表示意图标签y[i/2]的嵌入向量，表示槽标签o[i/2]的嵌入表示，
所述语义向量序列表示为e＝(e[cls]，e1，e2，e3，e4，...，en)，
所述输出序列表示为y＝(y1，o1，y2，o2，y3，o3，...，yn，on)，
所述词级别意图识别序列为yi＝(y1，y2，y3，...，y...

【专利技术属性】
技术研发人员：刘广灿，
申请(专利权)人：云知声智能科技股份有限公司，厦门云知芯智能科技有限公司，
类型：发明
国别省市：北京;11