完全并行化具有领域扩展性的端到端多轮对话系统及方法技术方案

本发明专利技术公开了一种完全并行化具有领域扩展性的端到端多轮对话系统及方法，其中，系统包括：输入嵌入层，用于在用户输入信息输入至输入嵌入层后，生成向量表示形式的输入信息；编码器，用于对输入信息进行编码，得到用户输入的抽象表示；对话状态解码器，用于根据抽象表示得到对话状态表示；数据库，用于根据对话状态表示查询得到查询结果；机器响应解码器，用于在查询结果和对话状态共同输入至机器响应解码器后，生成机器回答。该系统实现了各模块之间的一体化，可以实现真正意义上的端到端训练，且在提升了模型的训练速度的同时简化了模型的结构，并具有领域可扩展性，简单易实现。

Fully Parallelized End-to-End Multi-Round Dialogue System and Method with Domain Expansibility

【技术实现步骤摘要】
完全并行化具有领域扩展性的端到端多轮对话系统及方法
本专利技术涉及信息技术及数据业务
，特别涉及一种完全并行化具有领域扩展性的端到端多轮对话系统及方法。
技术介绍
目前工业界主流的任务驱动型多轮对话系统主要是基于传统的流水线方式设计的，这种方式的结构复杂，涉及到多模块之间的相互协调，但最终用户的反馈很难传递到上游模块，一个组件调整需要大量人工成本对所有组件进行相应更改。这样各个模块高度相互依赖的结构影响了对话系统的性能和效率，带给用户不佳的体验。相关技术中，一种多轮对话的方法和系统，是基于这种流水线架构设计的，主要分为自然语言理解、对话状态跟踪、策略学习、自然语言生成四个模块。基于这种现状，越来越多的研究开始投入到端到端的任务型多轮对话系统中，但这些系统大多基于复杂的循环神经网络结构，加剧了模型的复杂性，且基于循环神经网络的模型遇到时间依赖和序列依赖的问题，无法实现完全并行化的架构，充分发挥GPU(GraphicsProcessingUnit，图像处理器)的性能。相关技术中，一种端到端层次解码任务型对话系统，但系统仅仅依赖于数据库检索，并没有完整的划分对话状态跟踪和自然语言生成本文档来自技高网...

【技术保护点】
1.一种完全并行化具有领域扩展性的端到端多轮对话系统，其特征在于，包括：输入嵌入层，用于在用户输入信息输入至所述输入嵌入层后，生成向量表示形式的输入信息；编码器，用于对所述输入信息进行编码，得到用户输入的抽象表示；对话状态解码器，用于根据所述抽象表示得到对话状态表示；数据库，用于根据所述对话状态表示查询得到查询结果；以及机器响应解码器，用于在所述查询结果和所述对话状态共同输入至机器响应解码器后，生成机器回答。

【技术特征摘要】
1.一种完全并行化具有领域扩展性的端到端多轮对话系统，其特征在于，包括：输入嵌入层，用于在用户输入信息输入至所述输入嵌入层后，生成向量表示形式的输入信息；编码器，用于对所述输入信息进行编码，得到用户输入的抽象表示；对话状态解码器，用于根据所述抽象表示得到对话状态表示；数据库，用于根据所述对话状态表示查询得到查询结果；以及机器响应解码器，用于在所述查询结果和所述对话状态共同输入至机器响应解码器后，生成机器回答。2.根据权利要求1所述的系统，其特征在于，所述编码器由第一多层卷积神经网络和自注意力网络组成，其中，在每一层卷积神经网络之后，添加一个GLU网络，并在所述多层卷积神经网络之间应用残差网络，以提取用户输入的局部特征，并且使用所述自注意力网络捕获句子的全局依赖。3.根据权利要求2所述的系统，其特征在于，所述编码器的输出为：Yenc＝Enc(InputEmb(utrt-1))，其中，Enc表示编码器，InputEmb表示输入嵌入层，ut表示当前轮的用户输入，rt-1表示上一轮的机器响应。4.根据权利要求1所述的系统，其特征在于，所述对话状态解码器由第二多层卷积神经网络和多跳注意力机制组成，所述第二多层卷积神经网络用于提取局部特征，所述多跳注意...

【专利技术属性】
技术研发人员：鄂海红，宋美娜，陈忠富，牛佩晴，周筱松，程瑞，肖思琪，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11