【技术实现步骤摘要】
本专利技术涉及互联网，尤其涉及一种基于知识跟踪的端到端任务型对话方法、系统、终端及介质。
技术介绍
1、近些年来，任务型对话系统在真实场景中的应用已实现了飞速发展。与不需要外部知识的开放域对话系统相比，任务型对话系统需要依靠对外部知识库的检索来获取一些对话所需的知识，进而完成系统响应的生成。因此，系统能否通过正确、有效的检索外部知识库来生成可靠的回答成为了任务型对话系统在真实场景中应用的一大关键因素。
2、针对模型架构的任务型对话系统可以分为两种基本的类型：流水线任务型对话系统和端到端任务型对话系统。流水线任务型对话系统是将任务型对话分解为多个特定的子任务，每个特定的子任务由一个相应的独立模块负责。通常分为自然语言理解、对话状态跟踪、对话策略和自然语言生成等模块。传统的流水线任务型对话系统可以通过api调用，从而保证正确地进行知识库的检索，但由于调用api的操作是不可微的。因此，流水线任务型对话只能采用顺序级联的方式，即整个对话的实现依靠多个模块按照特定的顺序进行，每个模块负责处理特定的子任务并将处理结果传递给下一个模块，前面某一模块产生的错误会顺着这个过程向后传递。因此，这种模型会造成错误的传递并且由于无法并行计算，系统处理对话的速度也较慢，难以满足真实场景下的需求。而端到端任务型对话系统的范围则相对广泛，除了采用单一模型，整个对话系统仅包含一个输入和一个输出，不包含中间输入、输出过程的常规端到端任务型对话系统；还有采用了流水线架构的端到端任务型对话系统，这种架构的系统采用了模块化的思路，将系统分成了几个模块，每个
技术实现思路
1、鉴于上述现有的端到端任务型对话系统存在的缺点，本专利技术提供了一种基于知识跟踪的端到端任务型对话方法、系统、终端及介质，通过提供显式检索过程的支持事实，增强任务型对话系统对于外部知识库检索的可靠性和可解释性。
2、第一方面，提供了一种基于知识跟踪的端到端任务型对话方法，包括：
3、构建一个用来训练模型的带有知识跟踪的端到端对话数据集；
4、将带有知识跟踪的端到端对话数据集中的对话历史和知识库的内容转化为三元组向量形式的表示；
5、使用glmp记忆网络对对话历史进行编码，以及将向量化的对话历史和知识库储存起来；
6、通过知识跟踪层以对话历史编码最后一个隐藏状态作为查询向量，检索相应的知识实体以及支持事实；
7、将得到的支持事实集成到流水线架构的端到端任务型或常规的端到端任务型对话系统中。
8、进一步地，所述支持事实形式为检索的知识实体在知识库中的行数。
9、进一步地，所述带有知识跟踪的端到端对话数据集通过在原有的smd(stanfordmulti-domain dialogue)数据集上进行优化得到，它实现了更好的检索有效性，具体过程包括：
10、将原有的smd数据集中没有涉及到知识库中的知识实体的对话删除；原有的smd数据集中对话质量相对较差，约有17.9％的对话没有涉及到知识库中的知识实体，即没有对知识库进行检索；为了解决这个问题，通过删除此类对话以促进对话对知识库的检索；
11、在原有的smd数据集中引入知识库范围外的对话；原有的smd数据集中对话的知识实体可能在之前的对话历史中出现过，使得模型更多地从对话历史中复制，而不是从在知识库中检索；为了解决这一问题，通过引入一些知识库范围外的对话，这些对话查询当前知识库之外的知识实体，以提高数据集地检索能力；
12、修正原有的smd数据集中知识实体的标注错误；原有的smd数据集是使用wizard-of-oz设置的向导收集的，由于一些原因向导注释的值与底层知识库知识实体的值并不完全一致；为了解决这一问题，通过重新标注数据集，修正原有的smd数据集中存在的错误，以便系统进行正确的检索和响应生成；
13、在端到端对话数据集中定义并注释支持事实；原有的smd数据集没有明确的知识库查询过程注释，这使得模型难以评估知识库检索能力；为了解决这一问题，在端到端对话数据集中明确定义并注释了支持事实，用于可靠和可解释的预测。
14、通过上述优化得到了一个更加有利于模型进行正确、有效检索的带有知识跟踪的端到端对话数据集。然后，使用该数据集训练知识跟踪层，使其可以进行更加有效检索过程，并且为知识库的检索过程提供支持事实。
15、进一步地，所述glmp记忆网络包括全局记忆编码器和外部知识；全局记忆编码器用于编码对话历史表示，外部知识用于存储对话历史表示和知识库表示。
16、进一步地，所述通过知识跟踪层以对话历史编码最后一个隐藏状态作为查询向量，检索相应的知识实体以及检索支持事实，包括：
17、知识跟踪层以对话历史编码最后一个隐藏状态作为查询向量检索外部知识中的知识库表示，采用内积相似度的计算方法来计算查询向量与外部知识中知识实体的相关性，然后再通过一个sigmoid激活函数来得到知识实体的相关性分布，计算公式如下：
18、
19、式中，gi表示检索知识实体的预测值，q表示查询向量，表示知识实体mi的表示；表示训练样本时的黄金标签，其意为当知识实体mi在系统响应y中出现时，值为1，否则为0；
20、得到检索结果的同时输出知识库中相应知识实体的行数作为相应的检索支持事实，其计算公式如下：
21、p(sf∣x，b)＝f(x，b)
22、式中，x表示对话历史，b表示外部知识库，sf表示支持事实，p(sf∣x，b)表示基于给定的对话历史x和外部知识库b检索得到支持事实的概率分布，f(x，b)表示x、b到sf的映射关系；
23、对于得到的支持事实的概率分布，预设一个可靠性检索阈值zλ，即当p(sf∣x，b)大于zλ时，则认为相应的知识实体的值即为生成系统响应所需的结果，而知识实体所在的行数则为检索过程的支持事实。
24、进一步地，所述将得到的支持事实集成到流水线架构的端到端任务型或常规的端到端任务型对话系统中，包括：
25、对于流水线架构的端到端任务型对话系统，采用的是一种带有中间过程的知识跟踪的方本文档来自技高网...
【技术保护点】
1.一种基于知识跟踪的端到端任务型对话方法，其特征在于，包括：
2.根据权利要求1所述的基于知识跟踪的端到端任务型对话方法，其特征在于，所述支持事实形式为检索的知识实体在知识库中的行数。
3.根据权利要求1或2所述的基于知识跟踪的端到端任务型对话方法，其特征在于，所述带有知识跟踪的端到端对话数据集通过在原有的SMD数据集上进行优化得到，具体过程包括：
4.根据权利要求1所述的基于知识跟踪的端到端任务型对话方法，其特征在于，所述GLMP记忆网络包括全局记忆编码器和外部知识；全局记忆编码器用于编码对话历史表示，外部知识用于存储对话历史表示和知识库表示。
5.根据权利要求4所述的基于知识跟踪的端到端任务型对话方法，其特征在于，所述通过知识跟踪层以对话历史编码最后一个隐藏状态作为查询向量，检索相应的知识实体以及检索支持事实，包括：
6.根据权利要求5所述的基于知识跟踪的端到端任务型对话方法，其特征在于，所述将得到的支持事实集成到流水线架构的端到端任务型或常规的端到端任务型对话系统中，包括：
7.根据权利要求1所述的基
8.一种基于知识跟踪的端到端任务型对话系统，其特征在于，包括：
9.一种电子终端，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于知识跟踪的端到端任务型对话方法。
...【技术特征摘要】
1.一种基于知识跟踪的端到端任务型对话方法，其特征在于，包括：
2.根据权利要求1所述的基于知识跟踪的端到端任务型对话方法，其特征在于，所述支持事实形式为检索的知识实体在知识库中的行数。
3.根据权利要求1或2所述的基于知识跟踪的端到端任务型对话方法，其特征在于，所述带有知识跟踪的端到端对话数据集通过在原有的smd数据集上进行优化得到，具体过程包括：
4.根据权利要求1所述的基于知识跟踪的端到端任务型对话方法，其特征在于，所述glmp记忆网络包括全局记忆编码器和外部知识；全局记忆编码器用于编码对话历史表示，外部知识用于存储对话历史表示和知识库表示。
5.根据权利要求4所述的基于知识跟踪的端到端任务型对话方法，其特征在于，所述通过知识跟踪层以对话历史编码最后一个隐藏状态...
【专利技术属性】
技术研发人员：覃立波，鹿纯林，魏福煊，李琪欣，徐啸，张岳，车万翔，李敏，
申请(专利权)人：中南大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。