对话状态生成方法和装置制造方法及图纸

本发明专利技术公开一种对话状态生成方法和装置，其中，方法包括：构建插槽、领域和<领域，插槽>元组之间的模式图；对历史对话状态和对话文本分别进行编码；将模式图、编码后的历史对话状态和编码后的对话文本输入至融合网络；分别获取融合网络输出的对应于模式图的领域隐藏向量、插槽隐藏向量和<领域，插槽>元组隐藏向量，对应于编码后的历史对话状态的隐藏向量，及对应于编码后的对话文本的隐藏向量；将领域隐藏向量、插槽隐藏向量和<领域，插槽>元组隐藏向量输入至插槽门分类器，获取分类器的第一输出；将历史对话状态隐藏向量和对话文本隐藏向量输入至取值解码器，获取解码器的第二输出；将第一输出和第二输出进行结合生成当前轮的对话状态。

【技术实现步骤摘要】
对话状态生成方法和装置
本专利技术属于智能对话
，尤其涉及对话状态生成方法和装置。
技术介绍
现有技术中，FJST：FlatJointStateTracker单调联合状态追踪器，使用一个双向LSTM网络去编码对话历史，并且用一个单独的FFN(FeedForwardNetwork，前馈神经网络)来预测每个插槽的取值。HJST：HierarchicalJointStateTracker层级联合状态追踪器，像FJST一样使用一个LSTM来编码对话历史，不同点在于使用的是一个分级结构。SUMBT：Slot-UtteranceMatchingBeliefTracker插槽-对话对应信念追踪器，使用BERT作文编码器来编码对话文本和<插槽,取值>元组，之后根据对话文本与备选的<插槽,取值>元组之间的距离来为每个取值打分，最后选取得分最高的取值赋给对应的插槽。HyST：HybridStateTracker混合状态追踪器，使用了层级化的RNN，针对“本体集合固定”和“本体集合可扩展”两种不同的设定做了融合。DST-Reader：DialogueStateTracking-Reader对话状态追踪阅读器，从阅读理解任务的角度建模了对话状态追踪任务，在文本中找到对应取值在对话文本中的起始位置。DST-Span：DialogueStateTracking-Span对话状态追踪跨度，像DST-Reader一样，将所有的<领域，插槽>元组看成扩展后的插槽，不同的地方在于使用了预训练过的BERT作为编码器。DST-Picklist：DialogueStateTracking-Picklist对话状态追踪选择表，类似于SUMBT，预先定义了一个基于选择列表的插槽，用于分类哪些插槽出现过，并且使用了预训练的BERT进行编码，此方法依赖于预先定义好的本体集合。DS-DST：Dual-StrategyDialogueStateTracker双策略对话状态追踪器，与HyST类似，是一个融合了DST-Span和DST-Picklist的系统。DSTQA：将多领域对话状态追踪任务使用问答任务进行建模，针对每一个<领域，插槽>元组生成一个询问取值的问题。TRADE：TransferableDialogueStateGenerator可转移对话状态生成器，使用了一个插槽门模型对每个插槽进行分类，并且使用一个使用了指针的生成器去生成对话状态。COMER：ConditionalMemoryRelationNetwork条件性记忆关系网络。使用了一个层级化的解码器去生成当前的对话状态，将对话状态作为目标序列。专利技术人在实现本申请的过程中发现，上述技术依靠自然语言理解技术提取的语义来预测当前的对话状态，或是通过端到端的方式共同学习。但严重依赖于手工制作的特征和复杂的领域特定词汇来进行去词表化，很难扩展到新的领域。同时，之前的技术并没有明确地考虑插槽间的关系，而是独立地预测每个插槽的取值，忽略了数据稀疏性的问题。
技术实现思路
本专利技术实施例提供一种对话状态生成方法及装置，用于至少解决上述技术问题之一。第一方面，本专利技术实施例提供一种对话状态生成方法，包括：构建插槽、领域和<领域，插槽>元组之间的模式图；对历史对话状态和对话文本分别进行编码，其中，所述历史对话状态有多个<领域，插槽，取值>三元组构成；将所述模式图、编码后的历史对话状态和编码后的对话文本输入至融合网络；分别获取所述融合网络输出的对应于所述模式图的领域隐藏向量、插槽隐藏向量和<领域，插槽>元组隐藏向量，对应于所述编码后的历史对话状态的历史对话状态隐藏向量，以及对应于所述编码后的对话文本的对话文本隐藏向量；将所述领域隐藏向量、所述插槽隐藏向量和所述<领域，插槽>元组隐藏向量输入至插槽门分类器，获取所述插槽门分类器的第一输出；将所述历史对话状态隐藏向量和所述对话文本隐藏向量输入至取值解码器，获取所述取值解码器的第二输出；以及将所述第一输出和所述第二输出进行结合生成当前轮的对话状态。第四方面，本专利技术实施例提供一种对话状态生成装置，包括：模式图构建单元，配置为构建插槽、领域和<领域，插槽>元组之间的模式图；编码单元，配置为对历史对话状态和对话文本分别进行编码，其中，所述历史对话状态有多个<领域，插槽，取值>三元组构成；输入融合单元，配置为将所述模式图、编码后的历史对话状态和编码后的对话文本输入至融合网络；输出单元，配置为分别获取所述融合网络输出的对应于所述模式图的领域隐藏向量、插槽隐藏向量和<领域，插槽>元组隐藏向量，对应于所述编码后的历史对话状态的历史对话状态隐藏向量，以及对应于所述编码后的对话文本的对话文本隐藏向量；插槽门分类单元，配置为将所述领域隐藏向量、所述插槽隐藏向量和所述<领域，插槽>元组隐藏向量输入至插槽门分类器，获取所述插槽门分类器的第一输出；取值解码单元，配置为将所述历史对话状态隐藏向量和所述对话文本隐藏向量输入至取值解码器，获取所述取值解码器的第二输出；以及结合单元，配置为将所述第一输出和所述第二输出进行结合生成当前轮的对话状态。第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术任一实施例的对话状态生成方法的步骤。第四方面，本专利技术实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行本专利技术任一实施例的对话状态生成方法的步骤。本申请的方法和装置提供的方案，直观上，在对话状态追踪任务的公认性能评判准则下达到了目前最好的效果。进一步的，本申请实施例提出的使用模式图嵌入知识的方法对这一任务的性能提升起了关键且具有创新意义的作用。最后，我们这一方法在保证性能最佳的同时，将计算损耗降到了最低。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术一实施例提供的一种对话状态生成方法的流程图；图2为本专利技术一实施例提供的一种对话状态生成方法的一具体实施例的流程图；图3为本专利技术一实施例提供的一具体实施例的模式图；图4为本专利技术一实施例提供的一具体实施例的结构图；图5为本专利技术一实施例提供的一种对话状态生成装置的框图；图6是本专利技术一实施例提供的电子设备的结构示意图。具体实施方式为使本专利技术实施例的目本文档来自技高网...

【技术保护点】
1.一种对话状态生成方法，包括：/n构建插槽、领域和<领域，插槽>元组之间的模式图；/n对历史对话状态和对话文本分别进行编码，其中，所述历史对话状态有多个<领域，插槽，取值>三元组构成；/n将所述模式图、编码后的历史对话状态和编码后的对话文本输入至融合网络；/n分别获取所述融合网络输出的对应于所述模式图的领域隐藏向量、插槽隐藏向量和<领域，插槽>元组隐藏向量，对应于所述编码后的历史对话状态的历史对话状态隐藏向量，以及对应于所述编码后的对话文本的对话文本隐藏向量；/n将所述领域隐藏向量、所述插槽隐藏向量和所述<领域，插槽>元组隐藏向量输入至插槽门分类器，获取所述插槽门分类器的第一输出；/n将所述历史对话状态隐藏向量和所述对话文本隐藏向量输入至取值解码器，获取所述取值解码器的第二输出；/n将所述第一输出和所述第二输出进行结合生成当前轮的对话状态。/n

【技术特征摘要】
1.一种对话状态生成方法，包括：
构建插槽、领域和<领域，插槽>元组之间的模式图；
对历史对话状态和对话文本分别进行编码，其中，所述历史对话状态有多个<领域，插槽，取值>三元组构成；
将所述模式图、编码后的历史对话状态和编码后的对话文本输入至融合网络；
分别获取所述融合网络输出的对应于所述模式图的领域隐藏向量、插槽隐藏向量和<领域，插槽>元组隐藏向量，对应于所述编码后的历史对话状态的历史对话状态隐藏向量，以及对应于所述编码后的对话文本的对话文本隐藏向量；
将所述领域隐藏向量、所述插槽隐藏向量和所述<领域，插槽>元组隐藏向量输入至插槽门分类器，获取所述插槽门分类器的第一输出；
将所述历史对话状态隐藏向量和所述对话文本隐藏向量输入至取值解码器，获取所述取值解码器的第二输出；
将所述第一输出和所述第二输出进行结合生成当前轮的对话状态。


2.根据权利要求1所述的方法，其中，所述构建插槽、领域和<领域，插槽>元组之间的模式图包括：
将每一领域与其他领域之间互连；
将每一领域与所述每一领域下的所有插槽互连；
将具有共用取值的插槽互连；
将每一<领域，插槽>元组所包含的领域和插槽互连；
基于以上互连构建插槽、领域和<领域，插槽>元组之间的模式图。


3.根据权利要求1所述的方法，其中，所述将所述领域隐藏向量、所述插槽隐藏向量和所述<领域，插槽>元组隐藏向量输入至插槽门分类器，获取所述插槽们分类器的第一输出包括：
经由所述插槽门分类器对所述模式图中每个<领域，插槽>元组所对应的隐藏向量进行三分类，形成<领域，插槽，取值>三元组，其中，三分类的结果对应不同的取值。


4.根据权利要求3所述的方法，其中，所述三分类的结果对应的取值包括NONE，DONTCARE和PTR。


5.根据权利要求4所述的方法，其中，将所述历史对话状态隐藏向量和所述对话文本隐藏向量输入至取值解码器，获取所述取值解码器的第二输出包括：
经由所述取值解码器根据所述历史对话状态隐藏向量和所述对话文本隐藏向量使用带有拷贝机制的RNN去解码；
给每一<领域，插槽>生成对应的取值，其中，解码RNN的初始隐藏状态为当前需要生成取值的<领域，插槽>元组对应的隐藏向量。


6.根据权利要求5所述的方法，其中，所述将所述第一输出和所述第二输出...

【专利技术属性】
技术研发人员：俞凯，朱苏，李杰宇，陈露，
申请(专利权)人：苏州思必驰信息科技有限公司，
类型：发明
国别省市：江苏;32