【技术实现步骤摘要】
本专利技术涉及人工智能，特别地，涉及一种基于对偶异构图交互的多意图口语理解方法。
技术介绍
1、由于apple siri和microsoft cortana等智能语音助手的广泛使用，任务型对话系统获得了广泛关注。作为用户和机器之间的中介接口，口语理解在任务型对话系统中起着至关重要的作用。通常，口语理解任务主要包括两个子任务：意图识别和槽位填充。意图识别任务实现用户对话意图的预测，槽位填充任务则对对话文本中的关键信息进行提取，其实质是一个序列标记任务，以bio格式预测每个标记的槽(与意图对应的关键信息)。
2、在复杂的现实场景中，用户通常在单句话语中表达多个意图。为此，[1]首先研究多任务网络来联合建模多意图识别和槽位填充；[2,3]进一步探索图交互网络，为每个用户话语单独地建模意图嵌入和槽位标记之间的隐式关系。然而，他们忽略整个语料库的全局统计知识(图2a)。受此启发，[4]为所有话语构建了一个全局图，通过利用训练语料库中意图槽共现的先验频率来建模显式间标签统计依赖性图2中(b)，并且取得了最先进的性能。
3、尽管取得了可喜的表现，现有多意图理解方法仍然存在两个问题：(1)它只强调探索意图和槽位之间的统计频率以增强多意图口语理解，这是不完整且有噪声的。具体地，出现在测试集中但未出现在训练集中的标签共现可能会被忽略，而统计相关性中一些罕见的标签共现可能是噪声。其次，标签共现图是全局构建的，这对于罕见的标签相关性可能会有偏差。再次，统计标签相关性可能形成长尾分布，即某些类别非常常见，而大多数类别的话语很少。这
4、解决以上问题及缺陷的意义为：通过引入语料库的多级标签(包含标签类型内，例如意图-意图以及标签类型间，例如意图-槽位)统计频率作为先验知识增强标签隐藏状态表示；通过为用户的每句语句动态自适应地修正标签隐藏状态表示作为后验知识，从而加强标签隐藏状态表示以促进意图识别和槽位填充任务的性能；此外，设计异构图来表示语义节点和标签节点之间的关系，以利于更好的交互。
技术实现思路
1、本专利技术提供了一种基于对偶异构图交互的多意图口语理解方法，以更准确地探索多意图口语理解的完整和自适应交互。
2、本专利技术的技术方案如下：
3、本专利技术的技基于对偶异构图交互的多意图口语理解方法，包括以下步骤：s1.对于输入话语，获得用于意图识别任务和槽位填充特定任务的隐藏状态表示；s2.对于输入话语，获得意图和槽位标签的隐藏状态表示；以及s3.使用对偶异构图交互层捕获训练语料库中标签内和标签间的统计依赖性以及增强每个话语的标签之间的交互。
4、可选地，在上述基于对偶异构图交互的多意图口语理解方法中，在步骤s1中，首先采用自注意力编码器获得两个子任务的共享话语表示，其中输入u被顺序送入到一个双向长短期记忆网络和一个自注意力机制模块；然后将两个单词表示流连接起来作为任务共享话语表示e；之后，在e上利用两个不同的双向长短期记忆网络来获得意图识别任务的隐藏状态表示和槽位填充任务的隐藏状态表示其中n为话语长度，d为隐藏状态维度。
5、可选地，在上述基于对偶异构图交互的多意图口语理解方法中，步骤s2包括：s2.1使用话语自注意力机制从话语中捕获与标签相关的上下文信息作为意图和槽位标签的表示：
6、
7、其中和是可学习的参数；δ∈{i，s}中i代表意图的简写、s代表槽位的简写；|δ|代表预定义的意图或者槽位标签的数量；和是从句子中得到的意图标签表征和槽位标签表征；s2.2使用标签交叉自注意力机制来捕获话语共享标签特征作为标签表示的补充：首先随机初始化意图和槽位标签矩阵然后，通过结合标签-词对的兼容性和标签感知隐藏表示eδ来更新最终，通过自适应融合和将意图和槽位标签嵌入到标签表示hδ中。
8、可选地，在上述基于对偶异构图交互的多意图口语理解方法中，对偶异构图交互层包括：静态全局异构图交互层以及动态局部异构图交互层，步骤s3包括：s3.1通过静态全局异构图交互层捕获训练语料库中标签内和标签间的统计依赖性，以建模标签表示；s3.2通过动态局部异构图交互层增强每个话语的标签之间的交互，以更新标签表示。
9、可选地，在上述基于对偶异构图交互的多意图口语理解方法中，在步骤s4中，首先利用口语理解解码器的注意力机制从话语中获取相应的意图和槽位信息：
10、
11、然后，意图和槽位信息通过串联组合起来其中表示拼接操作；对于每个词条，进一步合并其单词级邻居特征，具体的公式为：
12、
13、整合标签信息和上下文特征并将其添加到eδ以获得增强标签信息：
14、
15、
16、其中，是可训练的参数；最终，i被用于多意图识别：
17、
18、预测的句子级意图oi是通过投票机制获得的；类似的，s被用于槽位填充：
19、
20、输出os＝argmax(s)是u的预测槽序列。
21、可选地，在上述基于对偶异构图交互的多意图口语理解方法中，在步骤s5中，多意图识别的损失函数被定义为：
22、
23、其中是真实意图标签，槽位填充的损失函数被定义为：
24、
25、其中是真实槽位标签，ni和ns是意图和槽位标签的数量，最终的损失函数是两者的加和：
26、
27、其中θ代表所有可训练的参数，λ是一个权衡超参数。
28、根据本专利技术的技术方案，产生的有益效果是：
29、本专利技术方法具备可扩展性以及可迁移性，可以迁移运用于对话系统的其他多任务，例如联合动作识别和情感分析；方法所使用的图结构可以由基础的gcn替换为其他更有力的图神经网络以进一步提升性能；本专利技术推动了任务型对话系统部署的准确性；本专利技术填补了国内外业内技术空白；解决了先前两种主流方法的偏见性，是有机完整的统一。
30、为了更好地理解和说明本专利技术的构思、工作原理和专利技术效果，下面结合附图，通过具体实施例，对本专利技术进行详细说明如下：
本文档来自技高网...【技术保护点】
1.一种基于对偶异构图交互的多意图口语理解方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于对偶异构图交互的多意图口语理解方法，其特征在于，在步骤S1中，首先采用自注意力编码器获得两个子任务的共享话语表示，其中输入U被顺序送入到一个双向长短期记忆网络和一个自注意力机制模块；然后将两个单词表示流连接起来作为任务共享话语表示E；之后，在所述任务共享话语表示E上利用两个不同的双向长短期记忆网络来获得所述意图识别任务的隐藏状态表示和所述槽位填充任务的隐藏状态表示其中n为话语长度，d为隐藏状态维度。
3.根据权利要求1所述的基于对偶异构图交互的多意图口语理解方法，其特征在于，步骤S2包括：S2.1使用话语自注意力机制从话语中捕获与标签相关的上下文信息作为意图和槽位标签的表示：
4.根据权利要求1所述的基于对偶异构图交互的多意图口语理解方法，其特征在于，所述对偶异构图交互层包括静态全局异构图交互层以及动态局部异构图交互层，以及步骤S3包括：
5.根据权利要求1所述的基于对偶异构图交互的多意图口语理解方法，其特征在于，在步骤S4中，首
6.根据权利要求1所述的基于对偶异构图交互的多意图口语理解方法，其特征在于，在步骤S5中，多意图识别的损失函数被定义为：
...【技术特征摘要】
1.一种基于对偶异构图交互的多意图口语理解方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于对偶异构图交互的多意图口语理解方法，其特征在于，在步骤s1中，首先采用自注意力编码器获得两个子任务的共享话语表示，其中输入u被顺序送入到一个双向长短期记忆网络和一个自注意力机制模块；然后将两个单词表示流连接起来作为任务共享话语表示e；之后，在所述任务共享话语表示e上利用两个不同的双向长短期记忆网络来获得所述意图识别任务的隐藏状态表示和所述槽位填充任务的隐藏状态表示其中n为话语长度，d为隐藏状态维度。
3.根据权利要求1所述的基于对偶异构图交互的多意图口语理解方法，其...
【专利技术属性】
技术研发人员：朱志宏，程旭欣，邹月娴，
申请(专利权)人：北京大学深圳研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。