包括粗略语义解析器和精细语义解析器的改进语义解析器制造技术

本公开涉及包括粗略语义解析器和精细语义解析器的改进语义解析器。描述了用于通过将对话系统的语义解析器分解成粗略语义解析器和精细语义解析器来改进所述语义解析器的技术。本文描述的方法包括访问在对话系统中接收到的话语。所述话语是基于文本的自然语言表达。所述方法进一步包括将粗略语义解析器应用于所述话语以确定针对所述话语的中间逻辑形式。所述中间逻辑形式指示所述话语中的一个或多个意图。所述方法进一步包括将精细语义解析器应用于所述中间逻辑形式以确定针对所述话语的逻辑形式。所述逻辑形式是所述话语的根据已建立的语法的句法表达，并且所述逻辑形式包括所述一个或多个意图的一个或多个参数。所述逻辑形式可以用于与所述对话系统的用户进行对话。对话。对话。

【技术实现步骤摘要】
包括粗略语义解析器和精细语义解析器的改进语义解析器
[0001]本申请是申请日为2020年9月7日、申请号为202010928486.0、题为“包括粗略语义解析器和精细语义解析器的改进语义解析器”的专利技术专利申请的分案申请。
[0002]相关申请的交叉引用
[0003]本公开要求于2019年9月11日提交的美国临时申请序列号62/898,683，“Techniques for an Improved Semantic Parser Including a Coarse Parser and a Fine Parser[用于包括粗略解析器和精细解析器的改进的语义解析器的技术]”以及2020年8月13日提交的美国非临时申请序列号16/992,343，“IMPROVED SEMANTIC PARSER INCLUDING A COARSE SEMANTIC PARSER AND A FINE SEMANTIC PARSER”[包括粗略语义解析器和精细语义解析器的改进语义解析器]的优先权，前述申请通过引用以其全文结合在此。


[0004]本公开涉及对话系统，并且更具体地涉及用于确定改进的语义解析器的技术或用于在对话系统中使用改进的语义解析器的技术，改进的语义解析器包括粗略语义解析器和精细语义解析器，这两个语义解析器一起使用以基于话语确定中间逻辑形式、并且基于中间逻辑形式和话语确定逻辑形式。

技术介绍

[0005]现在，越来越多的设备使得用户能够直接使用话音或口述语音与设备进行交互。例如，用户可以用自然语言对这种设备说话，并且在这样做时，用户可以询问问题或进行请求执行某个动作的陈述。作为响应，设备执行所请求的动作或使用音频输出来对用户的问题做出响应。由于直接使用话音进行交互是人类与其周围环境进行交流的更自然且更直观的方式，因此这种基于语音的系统的普及正以天文数字的速率增长。

技术实现思路

[0006]本公开涉及用于确定用于对话系统的改进的语义解析器的技术和用于在对话系统中使用改进的语义解析器的技术，其中，改进的语义解析器包括串联的粗略语义解析器和精细语义解析器。在一些实施例中，粗略语义解析器将话语映射到中间逻辑形式，并且精细语义解析器将话语和中间逻辑形式映射到表示话语的逻辑形式。中间逻辑形式可以充当逻辑形式的模板、或者在话语与逻辑形式之间的某种其他中间状态或中间表达。
[0007]在一些实施例中，粗略语义解析器和精细语义解析器中的一者或两者都是机器学习模型。可以利用第一组元组来训练粗略语义解析器，每个这样的元组包括话语和对应的中间逻辑形式。在训练期间，话语被标记为输入，并且逻辑形式被标记为输出。鉴于这种训练，粗略语义解析器学习将话语映射到中间逻辑形式。可以利用第二组元组来训练精细语义解析器，每个这样的元组包括话语、中间逻辑形式和逻辑形式。在训练期间，话语和中间逻辑形式被标记为输入，并且逻辑形式被标记为输出。鉴于这种训练，精细语义解析器学习
将话语和对应的中间逻辑形式映射到逻辑形式。
[0008]在对话系统的操作期间，粗略语义解析器可以接收表示语音输入的话语，并且可以基于话语来确定中间逻辑形式。精细语义解析器可以接收话语以及通过粗略解析确定的中间逻辑形式，并且可以基于该输入来确定表示话语的逻辑形式。此逻辑形式可以用于实现与提供了语音输入的用户的对话。
[0009]在参考以下说明书、权利要求和附图之后，前述内容以及其他特征和实施例将变得更加显而易见。
附图说明
[0010]图1是根据本文描述的一些实施例的结合有粗略语义解析器和精细语义解析器作为改进的语义解析器的对话系统的图。
[0011]图2是根据本文描述的一些实施例的用于在对话系统中使用的改进的语义解析器的图。
[0012]图3是根据本文描述的一些实施例的被配置为训练粗略语义解析器和精细语义解析器以充当对话系统的改进的语义解析器的训练系统的图。
[0013]图4是根据本文描述的一些实施例的训练对话系统中的改进的语义解析器的方法的图。
[0014]图5是根据本文描述的一些实施例的训练改进的语义解析器中的粗略语义解析器的方法的图。
[0015]图6是根据本文描述的一些实施例的训练改进的语义解析器中的精细语义解析器的方法的图。
[0016]图7是用于实施本文描述的一些实施例的分布式系统的图。
[0017]图8是根据本文描述的一些实施例的基于云的系统环境的图，在所述基于云的系统环境中，训练这两个解析器以充当改进的语义解析器可以至少部分地作为云服务来提供。
[0018]图9是可以用于实施本文描述的一些实施例的示例计算机系统的图。
具体实施方式
[0019]在以下描述中，出于解释的目的，阐述了具体细节以便提供对某些实施例的透彻理解。然而，将显而易见的是，可以在没有这些具体细节的情况下实践各种实施例。附图和描述不旨在是限制性的。词语“示例性”在本文中用来意指“用作示例、实例或说明”。在本文中被描述为“示例性”或“示例”的任何实施例或设计不必被解释为比其他实施例或设计更优选或有利。
[0020]能够经由语音输入和音频输出(也被称为话音输出)与用户进行对话的支持话音的系统可以以各种形式出现。例如，这种系统可以被提供为独立式设备、数字助理或虚拟助理、具有话音功能的服务等。在这些形式中的每一种形式中，系统能够接收语音输入、理解语音输入、生成响应或者响应于语音输入而采取动作、以及使用音频输出来输出响应。在某些实施例中，在这种支持话音的系统中的对话功能由对话系统或基础设施(“对话系统”)来提供。对话系统被配置为接收语音输入、解释语音输入、维持对话、可能地基于对语音输入
的解释来执行一个或多个动作或使一个或多个动作被执行、准备适当的响应、并且使用音频输出将响应输出给用户。
[0021]传统地，对话系统包括各种机器学习(ML)模型，并且需要大量训练数据来训练对话系统的各种机器学习模型。这样的ML模型之一是语义解析器子系统，也被称为语义解析器。通常，语义解析器接收表示由用户提供的语音输入的话语，其中，所述话语是自然语言的文本表示。语义解析器将该话语映射到逻辑形式，所述逻辑形式是话语的句法表达(如被转译成遵循已建立的语法的基于逻辑的语言)，并且因此可由对话系统的对话管理器子系统解析。然后，对话管理器子系统解析并处理逻辑形式以确定如何做出响应。
[0022]传统的语义解析器子系统通常是被配置为将话语映射到对应的逻辑形式的神经网络。语义解析器的任务很艰难，因为逻辑形式可能相当复杂或详细，特别是对于复杂的话语而言。随着话语变得更加复杂或更不像用于训练语义解析器的数据，由语义解析器在对话系统的操作期间生成的逻辑形式可能会偏离被认为准确的逻辑形式。换言之，存在数据稀疏性问题，使得所使用的训练数据的量可能不足以使语义解析器学习生成足够的逻辑形式分布。这可能导致对话管理器子系统接收到不准确的输入，并且因此确定出与话语所表示的语音输入不相符的响应。结果是，对话管理器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：访问包括话语、中间逻辑形式和逻辑形式的训练数据；用所述话语作为训练输入并且用所述中间逻辑形式作为训练输出来训练粗略语义解析器，其中所述粗略语义解析器学习将所述话语映射到所述中间逻辑形式；以及用所述中间逻辑形式作为训练输入并且用所述逻辑形式作为训练输出来训练精细语义解析器，其中所述精细语义解析器学习将所述中间逻辑形式映射到所述逻辑形式，其中所述粗略语义解析器和所述精细语义解析器被配置用于与对话系统集成。2.如权利要求1所述的方法，其中所述粗略语义解析器是序列到序列神经网络，并且其中所述精细语义解析器是附加的序列到序列神经网络。3.如权利要求1所述的方法，其中训练所述精细语义解析器进一步包括使用所述话语作为训练输入。4.如权利要求3所述的方法，进一步包括：通过所述对话系统中的所述粗略语义解析器将话语映射到中间逻辑形式；以及通过所述对话系统中的所述精细语义解析器将所述话语和所述中间逻辑形式映射到逻辑形式。5.如权利要求1所述的方法，进一步包括：通过所述对话系统中的所述粗略语义解析器将话语映射到中间逻辑形式；以及通过所述对话系统中的所述精细语义解析器将所述中间逻辑形式映射到逻辑形式。6.根据权利要求5所述的方法，其中：所述话语是基于文本的自然语言表达；所述中间逻辑形式指示所述话语中的一个或多个意图；以及所述逻辑形式是根据已建立的语法的所述话语的句法表达，并且其中所述逻辑形式包括所述一个或多个意图的一个或多个参数。7.如权利要求1所述的方法，进一步包括：使用所述粗略语义解析器以针对对话系统的话语来确定中间逻辑形式，其中所述话语是基于文本的自然语言表达，并且其中所述中间逻辑形式指示所述话语中的一个或多个意图；以及使用所述精细语义解析器以针对所述话语和所述中间逻辑形式来确定逻辑形式，其中所述逻辑形式是根据已建立的语法的所述话语的句法表达，并且其中所述逻辑形式包括所述一个或多个意图的一个或多个参数；以及使用所述逻辑形式以通过所述对话系统进行对话。8.根据权利要求1所述的方法，进一步包括生成所述训练数据，其中生成所述训练数据包括：基于为所述逻辑形式定义的语法来生成所述训练数据的所述逻辑形式；通过从所述逻辑形式中的槽位自动移除参数值，将每个逻辑形式转换为所述中间逻辑形式中的对应中间逻辑形式；以及针对每一对逻辑形式和对应中间逻辑形式，经由众包来接收所述话语中的对应话语。9.一种训练系统，包括：存储器部件；和
处理单元，所述处理单元耦接到所述存储器部件，所述处理单元被配置为执行包括以下操作的操作：访问包括话语、中间逻辑形式和逻辑形式的训练数据；用所述话语作为训练输入并且用所述中间逻辑形式作为训练输出来训练粗略语义解析器，其中所述粗略语义解析器学习将所述话语映射到所述中间逻辑形式；以及用所述中间逻辑形式作为训练输入并且用所述逻辑形式作为训练输出来训练精细语义解析器，其中所述精细语义解析器学习将所述中间逻辑形式映射到所述逻辑形式；其中所述粗略语义解析器和所述精细语义解析器被配置用于与对话系统集成。10.如权利要求9所述的系统，其中所述粗略语义解析器是序列到序列神经网络，并且其中所述精细语义解析器是附加的序列到序列神经网络。11.如权利要求9所述的系统，其中训练所述精细语义解析器进一步包括使用所述话语作为训练输入。12.如权利要求11所述的系统，所述操作进一步包括：通过所述对话系统中的所述粗略语义解析器将话语映射到中间逻辑形式；以及通过所述对话系统中的所述精细语义解析...

【专利技术属性】
技术研发人员：T，
申请(专利权)人：甲骨文国际公司，
类型：发明
国别省市：