一种基于知识表示与推理的端到端任务型对话系统技术方案

本发明专利技术涉及一种基于知识表示与推理的端到端任务型对话系统，利用神经网络模型以端到端的方式构建与训练，包括对话历史编码模块、知识库编码模块、图记忆模块和回复解码模块，系统的输入为对话历史与知识库，系统的输出为对当前对话生成的系统回复，所述知识库包含与对话任务相关的领域知识，存储为结构化数据表的形式。的形式。的形式。

【技术实现步骤摘要】
一种基于知识表示与推理的端到端任务型对话系统


[0001]本专利技术涉及自然语言处理
，尤其涉及一种用于基于知识表示与推理的端到端任务型对话系统。

技术介绍

[0002]对话系统是人机交互的重要途经，一直以来都是人工智能领域的重要研究对象。根据应用场景的不同，对话系统可分为开放域对话系统与任务型对话系统。开放域对话系统是指在不限定领域下进行通用聊天，目标是最大限度地提高用户在聊天过程的参与度。与开放域对话系统不同，任务型对话系统旨在通过自然语言对话帮助用户完成特定领域的任务，例如订票、导航、查询天气等，通常建立在特定领域的结构化知识之上。传统的管道式方法将任务型对话系统分为自然语言处理、对话状态追踪、对话策略优化以及自然语言生成等多个独立的模块，存在系统复杂度高、训练数据难以收集、模型优化困难以及领域扩展性差等缺点。随着深度学习技术的快速发展，以端到端方法构建的任务型对话系统在性能表现与可扩展性上超越了管道式方法，成为了任务型对话系统的研究热点。端到端方法将任务型对话系统的各个模块进行联合优化，使模型构建与训练优化变得简单，并且容易扩展到不同的领域。尽管现有的端到端任务型对话系统取得了不错的效果，但仍面临以下问题：(1)现有方法依赖标注的对话状态等数据训练模型，缺少对领域知识库的建模，数据利用效率低；(2)现有方法未能充分表示知识库实体的语义信息，缺乏根据对话上下文对知识进行动态地表示与推理的能力。

技术实现思路

[0003]本专利技术的目的在于克服现有技术中的不足，提供一种基于知识表示与推理的端到端任务型对话系统，通过对话历史编码模块充分表示对话历史的语义信息，通过知识库编码模块学习上下文感知的、融合知识的知识库实体表示，通过图记忆模块对知识库实体进行多级记忆，并通过回复解码模块进行对话上下文感知的记忆查询与知识推理，从而生成蕴含知识库实体的系统回复。本专利技术根据对话上下文对知识库进行表示与推理，生成的系统回复质量高于现有方法，同时充分对知识库数据建模，降低了对标注数据的依赖，从而可以应用到更多的任务与领域。本专利技术提出的技术方案如下：
[0004]一种基于知识表示与推理的端到端任务型对话系统，利用神经网络模型以端到端的方式构建与训练，包括对话历史编码模块、知识库编码模块、图记忆模块和回复解码模块，系统的输入为对话历史与知识库，系统的输出为对当前对话生成的系统回复，所述知识库包含与对话任务相关的领域知识，存储为结构化数据表的形式，包括以下步骤：
[0005]步骤S1，所述对话历史编码模块将输入的对话历史编码，捕捉对话历史的单词级别和句子级别的语义信息，获得单词向量、单词语义表示和对话历史语义表示；
[0006]步骤S2，所述知识库编码模块将输入的知识库编码，将知识库实体与对话上下文进行语义对齐，实现对话上下文感知的实体特征表示，然后根据知识库实体之间的关系构
建知识图谱，并使用多通道图注意力网络对知识图谱建模，实现融合知识的实体特征表示，获得对话上下文感知的、融合知识的实体特征表示，方法如下：
[0007]步骤S21：对于所述知识库中的实体，经过词嵌入网络得到实体嵌入向量，利用注意力机制计算实体对每个对话语句的嵌入注意力向量，并将实体嵌入向量与嵌入注意力向量拼接后输入到第一GRU网络中，获得实体的嵌入对齐向量；
[0008]步骤S22：利用注意力机制计算实体对每个对话语句的语义注意力向量，并将嵌入对齐向量与语义注意力向量拼接后输入到第二GRU网络中，实现实体与对话历史更深层次的语义对齐，并将第二GRU网络的最后一个隐藏状态作为对话上下文感知的实体特征表示；
[0009]步骤S23：根据所述知识库实体之间的关系信息构建知识图谱，并将对话上下文感知的实体特征表示作为知识图谱中实体的特征表示，将经过词嵌入网络得到的关系嵌入向量作为知识图谱中关系的特征表示；
[0010]步骤S24：使用多通道图注意力网络对知识图谱建模，对于知识图谱中的实体，利用注意力机制计算其邻居实体的注意力得分，并结合实体之间的关系特征对实体特征加权求和来更新实体特征表示，通过在多个子空间学习实体多方面的语义信息，并通过多层多通道图注意力网络的堆叠来更新实体特征表示，使得实体特征表示包含丰富的知识信息，最终得到对话上下文感知的、融合知识的实体特征表示；
[0011]步骤S3，所述图记忆模块将知识图谱中的实体特征表示存储为多级记忆，通过对多级记忆的查询实现对知识的动态检索与隐式推理，方法如下：
[0012]步骤S31：所述图记忆模块由多层图记忆网络堆叠组成，每层图记忆网络将知识图谱中的实体一一对应地存储为记忆单元，利用注意力机制根据查询向量读取图记忆，获得记忆读出表示，其中第一层图记忆网络的查询向量为所述对话历史编码模块得到的对话历史语义表示，第一层图记忆网络的记忆单元初始化为所述知识库编码模块得到的对话上下文感知的、融合知识的实体特征表示；
[0013]步骤S32：利用所述步骤S31得到的记忆读出表示更新查询向量与记忆单元，并分别作为下一层图记忆网络的查询向量和记忆单元，其中更新后的查询向量由查询向量和记忆读出表示经过非线性转换得到，更新的记忆单元由更新后的查询向量、记忆读出表示和记忆单元的邻居聚合特征经过非线性转换得到，并且对更新前后的记忆单元进行跳跃连接，实现对记忆的选择性遗忘，提高长短期记忆能力；
[0014]步骤S33：对于多层图记忆网络，重复所述步骤S31与步骤S32，得到每层图记忆网络的记忆单元与记忆读出表示，记忆单元将被用于解码阶段对知识库的记忆查询操作，将最后一层图记忆网络的记忆读出表示作为知识图谱的图记忆表示；
[0015]步骤S4，所述回复解码模块根据对话历史编码结果与多层图记忆逐词生成系统回复，在解码的每个时间步计算词汇表分布与知识库实体分布，根据词汇表分布生成模板回复，再根据知识库实体分布将模板回复中的实体标签替换为具体实体，得到最终的系统回复。
[0016]进一步地，步骤S1的方法如下：
[0017]步骤S11：所述输入的对话历史是由用户与系统之间的多轮对话语句组成的序列，每个对话语句是一个单词序列，对于对话历史中的每个单词，使用词嵌入网络将其嵌入表示为单词向量；
[0018]步骤S12：将每个对话语句的单词向量组成的序列输入到BiGRU网络中，提取单词之间的语义关系，获得每个单词的单词语义表示；
[0019]步骤S13：对于每个对话语句，利用自注意力机制捕捉其单词语义表示的上下文信息，获得可解释的对话语句语义表示；
[0020]步骤S14：将可解释的对话语句语义表示组成的序列输入到句级GRU网络中，捕捉对话历史的语义变化信息，并将句级GRU网络的最后一个隐藏状态作为对话历史语义表示。
[0021]进一步地，S4的方法如下：
[0022]步骤S41：使用解码GRU网络作为解码器生成系统回复，在解码的每个时间步，将上一时间步输出的单词经过词嵌入网络得到的单词向量作为解码GRU网络的输入，得到当本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于知识表示与推理的端到端任务型对话系统，利用神经网络模型以端到端的方式构建与训练，包括对话历史编码模块、知识库编码模块、图记忆模块和回复解码模块，系统的输入为对话历史与知识库，系统的输出为对当前对话生成的系统回复，所述知识库包含与对话任务相关的领域知识，存储为结构化数据表的形式，包括以下步骤：步骤S1，所述对话历史编码模块将输入的对话历史编码，捕捉对话历史的单词级别和句子级别的语义信息，获得单词向量、单词语义表示和对话历史语义表示；步骤S2，所述知识库编码模块将输入的知识库编码，将知识库实体与对话上下文进行语义对齐，实现对话上下文感知的实体特征表示，然后根据知识库实体之间的关系构建知识图谱，并使用多通道图注意力网络对知识图谱建模，实现融合知识的实体特征表示，获得对话上下文感知的、融合知识的实体特征表示，方法如下：步骤S21：对于所述知识库中的实体，经过词嵌入网络得到实体嵌入向量，利用注意力机制计算实体对每个对话语句的嵌入注意力向量，并将实体嵌入向量与嵌入注意力向量拼接后输入到第一GRU网络中，获得实体的嵌入对齐向量；步骤S22：利用注意力机制计算实体对每个对话语句的语义注意力向量，并将嵌入对齐向量与语义注意力向量拼接后输入到第二GRU网络中，实现实体与对话历史更深层次的语义对齐，并将第二GRU网络的最后一个隐藏状态作为对话上下文感知的实体特征表示；步骤S23：根据所述知识库实体之间的关系信息构建知识图谱，并将对话上下文感知的实体特征表示作为知识图谱中实体的特征表示，将经过词嵌入网络得到的关系嵌入向量作为知识图谱中关系的特征表示；步骤S24：使用多通道图注意力网络对知识图谱建模，对于知识图谱中的实体，利用注意力机制计算其邻居实体的注意力得分，并结合实体之间的关系特征对实体特征加权求和来更新实体特征表示，通过在多个子空间学习实体多方面的语义信息，并通过多层多通道图注意力网络的堆叠来更新实体特征表示，使得实体特征表示包含丰富的知识信息，最终得到对话上下文感知的、融合知识的实体特征表示；步骤S3，所述图记忆模块将知识图谱中的实体特征表示存储为多级记忆，通过对多级记忆的查询实现对知识的动态检索与隐式推理，方法如下：步骤S31：所述图记忆模块由多层图记忆网络堆叠组成，每层图记忆网络将知识图谱中的实体一一对应地存储为记忆单元，利用注意力机制根据查询向量读取图记忆，获得记忆读出表示，其中第一层图记忆网络的查询向量为所述对话历史编码模块得到的对话历史语义表示，第一层图记忆网络的记忆单元初始化为所述知识库编码模块得到的对话上下文感知的、融合知识的实体特征表示；步骤S32：利用所述步骤S31得到的记忆读出表示更新查询向量与记忆单元，并分别作为下一层图记忆网络的查询向量和记忆单元，其中更新后的查询向量由查询向量和记忆读出表示经过非线性转换得到，更新的记忆单元由更新后的查询向量、记忆读出表示和记忆单元的邻居聚合特征经过非线性转换得到，并且...

【专利技术属性】
技术研发人员：侯庆志，韩廷祥，于娜娜，魏建国，
申请(专利权)人：天津大学，
类型：发明
国别省市：