一种基于自由文本知识的对话方法及系统技术方案

本公开公开了一种基于自由文本知识的对话方法及系统，该方法包括：接收自由文本知识和对话上下文；分别通过知识编码器和语境编码器将自由文本知识和对话上下文编码成隐状态表示；通过混合解码器将二者的隐状态表示解码；在解码的每个时间步，通过模式转换器确定混合解码器执行模式；经过一定数量的解码时间步，直至得到由不同执行模式结果共同按序合成最终的回复序列。本公开融合了生成式与抽取式对话系统的精华，同时具备逐词生成与从文本知识中抽取相关语义单元的能力，对于系统输出的回复，信息性显著增强，同时流利性与自然性得到保障，最大化用户体验。

A Dialogue Method and System Based on Free Text Knowledge

【技术实现步骤摘要】
一种基于自由文本知识的对话方法及系统
本公开属于智能人机对话的
，涉及一种基于自由文本知识的对话方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。人机对话是研究让人可以通过人类语言(即自然语言)与计算机进行交互的一门技术。在人工智能狂潮席卷全球的今天，人机对话已经成为衡量机器智能程度的重要标杆，其重要程度不言而喻，被学术界与工业级共同聚焦。此外，人机对话的相关产品在当今也被广泛应用，已经给人类生活带来了巨大便利，主要产品应用包括虚拟助手(苹果siri、微软小娜、阿里小蜜)、闲聊软件(微软小冰)和智能音箱(亚马逊Echo、百度小度、阿里天猫精灵、GoogleHome)。人机对话作为人工智能领域的终极难题之一，如何使生成的回复包含更多对用户有意义的信息是一大挑战。如果对话系统不依赖于外界知识信息，则很倾向于生成信息匮乏的无意义回复。因此，通过对人机对话系统引入自由文本形式的外界知识(例如与特定对话内容相关的一段文本)，它由许多表达完整语义的单元组成(后文简称语义单元，例如实体、词组、短语)。对话系统可以实现从外界文本知识中查找、利用与对话情景相关的内容，以辅助生成更富有信息的回复，从而更好地造福于用户。然而，专利技术人在研发过程中发现，当前的基于自由文本知识的对话系统存在较为严重的问题。首先，主流的采用生成式方法的对话系统缺乏有效利用自由文本知识的能力，系统只能按序列逐词生成回复，每个词可以从预先给定的词表中预测，也可以从文本知识中“拷贝”；但是这种“逐词生成”的方法经常“打碎”完整的语义单元，造成“语义失真”，丢失大量有意义的信息，这样的回复并不能给用户带来实质性的帮助。其次，有些对话系统使用抽取式方法从自由文本知识中直接抽取完整的相关语义单元作为回复；虽然这种方法可以一定程度上保障回复的信息性，但是抽取的内容与真人的回复相比，往往会让人感觉“生硬”，即缺乏流利性与自然性，这势必会降低用户体验。
技术实现思路
针对现有技术中存在的不足，解决当前基于自由文本知识的对话系统回复易失信息性与自然性的问题，本公开的一个或多个实施例提供了一种基于自由文本知识的对话方法及系统,有效融合生成式与抽取式对话系统，同时具备逐词生成与从文本知识中抽取相关语义单元的能力。对于系统输出的回复，信息性显著增强，同时流利性与自然性得到保障，从而最大化用户体验。根据本公开的一个或多个实施例的一个方面，提供一种基于自由文本知识的对话方法。一种基于自由文本知识的对话方法，该方法包括：接收自由文本知识和对话上下文；分别通过知识编码器和语境编码器将自由文本知识和对话上下文编码成隐状态表示；通过混合解码器将二者的隐状态表示解码；在解码的每个时间步，通过模式转换器确定混合解码器执行模式；经过一定数量的解码时间步，直至得到由不同执行模式结果共同按序合成最终的回复序列。进一步地，在该方法中，所述对话上下文为用户给定的输入和存储的对话历史。进一步地，在该方法中，所述知识编码器采用双向循环神经网络构成；所述语境编码器采用双向循环神经网络构成；所述知识编码器和所述语境编码器不共享参数。进一步地，在该方法中，所述混合解码器采用单向循环神经网络构成；所述通过混合解码器将二者的隐状态表示解码前将自由文本知识和对话上下文的隐状态表示输入线性变换层得到所述混合解码器的初始隐状态向量。进一步地，在该方法中，所述执行模式包括抽取模式和生成模式；所述抽取模式为在自由文本知识中抽取完整语义单元；所述生成模式为生成一个词并确定执行的解码方式。进一步地，在该方法中，所述解码方式包括预测解码和拷贝解码；所述预测解码为从预先定义的词表中预测一个词；所述拷贝解码为从自由文本知识中拷贝一个词。进一步地，该方法还包括：根据训练集采用反向传播算法训练所述知识编码器、语境编码器、混合解码器和模式转换器的网络参数；使得由生成损失、抽取损失、转换器损失共同组成的损失函数最小。根据本公开的一个或多个实施例的一个方面，提供一种计算机可读存储介质。一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的一种基于自由文本知识的对话方法。根据本公开的一个或多个实施例的一个方面，提供一种终端设备。一种终端设备，其包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的一种基于自由文本知识的对话方法。根据本公开的一个或多个实施例的一个方面，提供一种基于自由文本知识的对话装置。一种基于自由文本知识的对话装置，基于所述的一种基于自由文本知识的对话方法，包括：对话接收模块，被配置为接收自由文本知识和对话上下文；对话编码模块，被配置为分别通过知识编码器和语境编码器将自由文本知识和对话上下文编码成隐状态表示；对话解码模块，被配置为通过混合解码器将二者的隐状态表示解码；经过一定数量的解码时间步，直至得到由不同执行模式结果共同按序合成最终的回复序列；解码模式确定模块，被配置为在解码的每个时间步，通过模式转换器确定混合解码器执行模式。本公开的有益效果：本公开提供的一种基于自由文本知识的对话方法及系统，创新地使用抽取与生成结合的方式来增强基于自由文本知识的对话系统所产生回复的流利性、自然性与信息性。相比于当前主流的生成式方法，本公开提升了系统回复所包含的信息量，从而可以为用户提供更多有价值的内容；相比于当前的抽取式方法，本公开提升了系统回复的流利性与自然性，从而显著改善了用户体验，增强了用户粘性，让用户真正感觉是在与真人对话。附图说明构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。图1是根据一个或多个实施例的一种基于自由文本知识的对话方法流程图；图2是根据一个或多个实施例的EGNet的工作流程图；图3是根据一个或多个实施例的EGNet的知识编码器示意图；图4是根据一个或多个实施例的EGNet的混合解码器与模式转换器示意图。具体实施方式：下面将结合本公开的一个或多个实施例中的附图，对本公开的一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开的一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本实施例使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码本文档来自技高网...

【技术保护点】
1.一种基于自由文本知识的对话方法，其特征在于，该方法包括：接收自由文本知识和对话上下文；分别通过知识编码器和语境编码器将自由文本知识和对话上下文编码成隐状态表示；通过混合解码器将二者的隐状态表示解码；在解码的每个时间步，通过模式转换器确定混合解码器执行模式；经过一定数量的解码时间步，直至得到由不同执行模式结果共同按序合成最终的回复序列。

【技术特征摘要】
1.一种基于自由文本知识的对话方法，其特征在于，该方法包括：接收自由文本知识和对话上下文；分别通过知识编码器和语境编码器将自由文本知识和对话上下文编码成隐状态表示；通过混合解码器将二者的隐状态表示解码；在解码的每个时间步，通过模式转换器确定混合解码器执行模式；经过一定数量的解码时间步，直至得到由不同执行模式结果共同按序合成最终的回复序列。2.如权利要求1所述的一种基于自由文本知识的对话方法，其特征在于，在该方法中，所述对话上下文为用户给定的输入和存储的对话历史。3.如权利要求1所述的一种基于自由文本知识的对话方法，其特征在于，在该方法中，所述知识编码器采用双向循环神经网络构成；所述语境编码器采用双向循环神经网络构成；所述知识编码器和所述语境编码器不共享参数。4.如权利要求1所述的一种基于自由文本知识的对话方法，其特征在于，在该方法中，所述混合解码器采用单向循环神经网络构成；所述通过混合解码器将二者的隐状态表示解码前将自由文本知识和对话上下文的隐状态表示输入线性变换层得到所述混合解码器的初始隐状态向量。5.如权利要求1所述的一种基于自由文本知识的对话方法，其特征在于，在该方法中，所述执行模式包括抽取模式和生成模式；所述抽取模式为在自由文本知识中抽取完整语义单元；所述生成模式为生成一个词并确定执行的解码方式。6.如权利要求5所述的一种基于自由文本知识的对话方法，其特征在于，在该方法中，所述解码...

【专利技术属性】
技术研发人员：陈竹敏，孟川，任鹏杰，任昭春，马军，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37