利用动态记忆网络来跟踪数字对话状态并生成响应制造技术

本申请的各实施例涉及利用动态记忆网络来跟踪数字对话状态并生成响应。本公开涉及基于由具有动态记忆网络架构的神经网络生成的数字对话状态来生成数字响应。例如，在一个或多个实施例中，所公开的系统将具有一个或多个段的数字对话提供到具有包括一组多个记忆槽的动态记忆网络架构的对话状态跟踪神经网络。在一些实施例中，对话状态跟踪神经网络还包括在修改存储在记忆槽中的值中使用的更新门和重置门。例如，所公开的系统可以利用交叉槽交互更新门/重置门来准确地生成针对数字对话段中的每段的数字对话状态。随后，该系统基于数字对话状态来生成针对数字对话的每段的数字响应。

Using dynamic memory network to track digital conversation state and generate response

【技术实现步骤摘要】
利用动态记忆网络来跟踪数字对话状态并生成响应
技术介绍
近年来已经看到使用人工智能来促进设备与用户之间的对话的硬件和软件平台的显著改进。例如，许多现代设备提供虚拟助手，利用虚拟助手，用户可以参与问问题或执行搜索查询。这些对话平台中的许多采用在任何给定点处智能地跟踪对话的状态以便根据周围背景确定与特定对话段(例如，语句或问题)相关的响应的系统。例如，对话状态跟踪系统可以根据当前对话段及其周围背景来确定当前对话状态。系统可以然后使用当前对话状态来提供对当前对话段的响应。尽管这些传统系统可以跟踪数字对话状态以提供数字响应，但是这样的系统具有导致不灵活的、不准确的且低效率的操作的若干技术缺点。例如，传统对话状态跟踪系统常常在以下方面是不灵活的：它们死板地确定对应于当前对话段的当前对话状态而不考虑可能与当前状态相关的相关对话段。具体地，许多传统系统采用对话状态跟踪模型(例如，许多传统系统采用未能保持关于对话的先前段的相关信息的对话状态跟踪模型(例如，神经网络架构，诸如LSTM和GRU))。例如，当模型处理对话的新段时，它们可能利用对应于每个段的新数据连续地更新它们的数据存储。本文档来自技高网...

【技术保护点】
1.一种非暂态计算机可读存储介质，包括当由至少一个处理器执行时使计算设备进行以下操作的指令：/n将数字对话段提供到对话状态跟踪神经网络，所述对话状态跟踪神经网络包括具有多个记忆槽和多个重置门的动态记忆网络；/n利用所述对话状态跟踪神经网络通过以下操作来生成与所述数字对话段相对应的数字对话状态：/n利用与所述动态记忆网络的第一记忆槽相关联的重置门以基于所述数字对话段来生成针对所述第一记忆槽的值，其中所述值基于数字对话先前段来替换针对所述第一记忆槽生成的先前值；以及/n基于所述第一记忆槽的所述值来生成所述数字对话状态；以及/n基于所述数字对话状态来生成对所述数字对话段的数字响应。/n

【技术特征摘要】
20180919 US 16/135,9571.一种非暂态计算机可读存储介质，包括当由至少一个处理器执行时使计算设备进行以下操作的指令：
将数字对话段提供到对话状态跟踪神经网络，所述对话状态跟踪神经网络包括具有多个记忆槽和多个重置门的动态记忆网络；
利用所述对话状态跟踪神经网络通过以下操作来生成与所述数字对话段相对应的数字对话状态：
利用与所述动态记忆网络的第一记忆槽相关联的重置门以基于所述数字对话段来生成针对所述第一记忆槽的值，其中所述值基于数字对话先前段来替换针对所述第一记忆槽生成的先前值；以及
基于所述第一记忆槽的所述值来生成所述数字对话状态；以及
基于所述数字对话状态来生成对所述数字对话段的数字响应。


2.根据权利要求1所述的非暂态计算机可读存储介质，其中所述动态记忆网络还包括与所述多个重置门和所述多个记忆槽相对应的多个更新门。


3.根据权利要求2所述的非暂态计算机可读存储介质，还包括当由所述至少一个处理器执行时使所述计算设备进行以下操作的指令：进一步利用所述对话状态跟踪神经网络，以通过利用与所述第一记忆槽相关联的更新门来确定更新值并应用所述更新值以修改所述数字对话段对所述值的影响，而生成与所述数字对话段相对应的所述数字对话状态。


4.根据权利要求2所述的非暂态计算机可读存储介质，其中利用与所述第一记忆槽相关联的所述重置门以生成所述值包括确定重置值并应用所述重置值以修改所述数字对话先前段对所述值的影响。


5.根据权利要求1所述的非暂态计算机可读存储介质，其中：
所述重置门包括交叉槽交互重置门，并且
利用与所述第一记忆槽相关联的所述重置门以生成所述值包括：
将所述多个记忆槽的值进行比较以确定与所述第一记忆槽相对应的交叉槽交互重置值；以及
应用所述交叉槽交互重置值以修改所述数字对话先前段对所述值的影响。


6.根据权利要求1所述的非暂态计算机可读存储介质，还包括当由所述至少一个处理器执行时使所述计算设备进行以下操作的指令：进一步利用所述对话状态跟踪神经网络以通过确定所述数字对话段对应于与所述第一记忆槽相关联的键向量，来生成与所述数字对话段相对应的所述数字对话状态，并且
其中利用与所述第一记忆槽相关联的所述重置门以生成所述值包括利用所述重置门以进一步基于确定所述数字对话段对应于与所述第一记忆槽相关联的所述键向量，来生成所述第一记忆槽的所述值。


7.根据权利要求1所述的非暂态计算机可读存储介质，
还包括当由所述至少一个处理器执行时使所述计算设备通过接收所述数字对话段的音频表示来标识所述数字对话段的指令，并且
其中对所述数字对话段的所述数字响应包括音频响应。


8.根据权利要求1所述的非暂态计算机可读存储介质，
还包括当由所述至少一个处理器执行时使所述计算设备进一步利用所述对话状态跟踪神经网络以通过以下操作来生成与所述数字对话段相对应的所述数字对话状态的指令：
通过使用对话状态跟踪神经网络的一个或多个卷积层处理所述数字对话先前段，来生成第一对话特征表示；以及
通过使用所述对话状态跟踪神经网络的一个或多个卷积层处理所述数字对话段，来生成第二对话特征表示；并且
其中生成所述数字对话状态包括基于所述第一对话特征表示、所述第二对话特征表示、以及所述第一记忆槽的所述值来生成所述数字对话状态。


9.根据权利要求8所述的非暂态计算机可读存储介质，还包括当由所述至少一个处理器执行时使计算设备进行以下操作的指令：
利用所述对话状态跟踪神经网络以通过利用所述第二对话特征表示来生成与所述第一记忆槽相对应的潜在特征向量，而生成与所述数字对话段相对应的所述数字对话状态；以及
进一步基于所述潜在特征向量来生成所述第一记忆槽的所述值。
...

【专利技术属性】
技术研发人员：金硕桓，张惟德，
申请(专利权)人：奥多比公司，
类型：发明
国别省市：美国;US