使用神经网络生成会话响应制造技术

本公开涉及使用神经网络生成会话响应。系统和方法确定输入查询的应答，并提供会话响应。该应答可以使用经训练的第一神经网络来确定，以从信息语料库中提取应答。该应答和输入查询可以被提供给第二经训练的神经网络，用于生成输入查询与应答相结合的表述，以便生成会话响应。话响应。话响应。

【技术实现步骤摘要】
使用神经网络生成会话响应

技术介绍

[0001]交互式环境可以包括会话式(coversational)人工智能系统，该系统接收用户输入，例如语音输入，然后推理出意图，以便提供对输入的响应。系统可以包括提取式问题应答模型，其中对输入的响应是从文本块或者生成模型提取的，其中可以基于输入来明确表达应答。通常情况下，这些系统的响应不是会话式的，例如提供一个词的应答。此外，响应可能不被信任，因为生成系统可能会添加数据源内没有发现的信息。试图对这些模型进行微调或对会话响应进行硬编码是耗费时间和资源密集的，从而限制了这些模型的适用性。
附图说明
[0002]将参照附图描述根据本公开的各种实施例，其中：
[0003]图1示出了根据至少一个实施例的管线查询响应生成的示例；
[0004]图2示出了根据至少一个实施例的用于查询响应生成的示例环境；
[0005]图3A示出了根据至少一个实施例的用于查询响应生成的示例环境；
[0006]图3B示出了根据至少一个实施例的用于查询响应生成的示例环境；
[0007]图4示出了根据至少一个实施例的用于查询响应生成的示例过程流；
[0008]图5示出了根据至少一个实施例的用于查询响应生成的过程的示例流程图；
[0009]图6示出了根据至少一个实施例的用于查询响应生成的过程的示例流程图；
[0010]图7示出了根据至少一个实施例的示例数据中心系统；
[0011]图8示出了根据至少一个实施例的计算机系统；
[0012]图9示出了根据至少一个实施例的计算机系统；
[0013]图10示出了根据一个或更多个实施例的图形处理器的至少部分；和
[0014]图11示出了根据一个或更多个实施例的图形处理器的至少部分。
具体实施方式
[0015]根据各种实施例的方法提供了用于在交互环境中提供明确表达的、会话响应的系统和方法。在至少一个实施例中，管线利用提取式问题应答(EQA)模型来检索响应于输入查询的应答。该应答可以被传递给零样本(zero
‑
shot)生成模型，以开发会话响应。零样本生成模型可以被称为应答扩展器(AE)，它将来自EQA的应答以及初始输入查询作为输入。然后AE可以确定如何重新措辞(rephrase)输入查询，从而可以插入应答以提供响应于输入查询的会话。
[0016]本公开的各种实施例可以使一个或更多个会话式人工智能(AI)系统提供更类似于人类对输入问题的响应方式的会话响应，同时与现有方法相比，提供更低权重、更容易训练和更容易部署的系统。例如，实施例可以克服现有方法的问题，这些方法提供非会话响应(例如，一个单词或短语的响应)或不正确的响应，这可能会降低用户体验，并导致用户在未来不太可能使用服务。图1中示出的会话式人工智能管线100，包括两个经训练的模型的组合，按顺序排列，用于生成对输入查询的响应。在至少一个实施例中，两个或更多个不同的
神经网络架构可以在顺序的管线内利用，以便获得每个网络的优势，同时解决现有系统的不足之处，如在启动前进行广泛的任务或特定领域的训练。例如，系统和方法可以利用EQA模型，以便从与生成AE模型耦合的初始的输入查询获得应答，以便生成响应。通过结合这两种模型，可以解决和限制EQA和生成模型两者的缺陷。
[0017]系统和方法可以克服与EQA模型相关的问题，其中应答(例如，词的跨度)从提供的上下文集获得。尽管这些模型可以被训练用于识别给定输入的适当跨度，结果是以上下文集的形式提供的，而不是以会话的方式提供。例如，如果上下文集包括一系列的句子，并且特定的短语与应答相关联，EQA模型将单独输出短语，这可能不会为用户提供满意的交互。基于规则的模型可能会采取输出，试图形成会话响应，但这些规则通常是为每个系统硬编码的，并且作为一个整体，可能有非常有限的用例。关于生成模型，所提供的应答可能不可靠，因为这些模型可能偏离或以其他方式偏离给定的数据源，这可能导致带有额外的或增加的信息的应答。这种额外的信息可能来自于基于模型权重而持续存在的预训练。生成系统在交互环境中作为脱机(standalone)的响应，如聊天机器人，需要在特定领域的数据集上进行广泛的微调，以便提供准确的应答。因此，为特定领域创建或获得大量的数据集，进行处理，并且然后在使用前利用训练微调/调整，以试图减少或以其他方式消除错误或不可靠的应答。
[0018]系统和方法可以为会话式人工智能系统，例如聊天机器人，提供改进的结果。实施例包括管线，该管线将EQA与AE结合在一起，以便利用输入的问题来生成听起来自然或像会话的应答。作为一个例子，用户可以提供输入，该输入包括给经训练的EQA模型的问题，经训练的EQA模型包括信息集。该输入可能包含询问和上下文。响应于问题的信息可以被提取作为应答，例如，基于所提供的上下文。然后，该应答可以和初始输入查询一起提供给AE，这样初始输入查询可以被重新表述，并与应答相结合，以提供会话响应。然而，如果应答不在与EQA模型相关的信息中，则可以提供替代的响应，例如向用户指示对查询的应答不可用。在至少一个实施例中，替代响应也可以要求用户重新表述或以其他方式提供替代输入。AE可以是任务特定的模型，该模型经过训练，可以重新排列输入问题，从而可以以一种听起来像自然响应的方式重新表述。该系统能够开发会话式人工智能系统，该会话式人工智能系统可以提供应答的改进，也提供比生成模型更大的可靠性，生成模型在实际应答未知或不清楚的情况下可能提供错误的应答。此外，与其他使用明显更多参数的模型相比，部署EQA和AE模型的资源消耗可以更少。
[0019]在示出的示例中，经训练的模型可以包括EQA和AE模型，其中EQA模型对应于零样本模型，AE对应于生成模型。通过示例，各种实施例使查询能够将输入提交到与会话式人工智能系统相关联的界面，该输入可包括查询和上下文两者。应当理解的是，会话式人工智能系统仅通过示例的方式进行讨论，并且系统和方法可以在其他机器学习或其中寻求信息的人工智能的情况。
[0020]在该示例中，输入102由例如会话式人工智能系统的系统在界面处接收。输入102可以包括查询和上下文。例如，查询可以对应于输入102中所寻求的问题或数据。上下文可以是其中查询所呈现的形式或表现。作为一个示例，对应于诸如“汽车颜色是什么？”这样的短语的输入包括查询(例如，汽车颜色)和上下文(例如，输入的结构)。如下文所述，可以利用上下文以重新措辞或以其他方式重新排列输入，以插入响应于查询的确定的应答。
[0021]在各种实施例中，输入102可以是由用户提供给会话式人工智能系统的听觉输入，该会话人工智能系统可以包括信息站或语音助手。在至少一个实施例中，输入102是文本输入，例如由操作包括聊天机器人的用户设备的用户提供的输入，其中界面允许用户进入该输入。输入102可以经过一个或更多个处理或预处理步骤，例如通过一个或更多个自然语言处理(NLP)系统，其评估听觉或文本输入，以从输入中提取一个或更多个特征，以及其他选项。此外，在实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算机实现的方法，包括：接收对交互环境的查询；使用第一经训练的神经网络确定对所述查询的应答；向第二经训练的神经网络提供所述应答和所述查询；使用所述第二经训练的神经网络，生成对所述查询的响应，所述响应与所述查询和所述应答的会话重新表述相对应；以及响应于所述查询，提供所述响应。2.根据权利要求1所述的计算机实现的方法，其中所述第一经训练的神经网络是提取式问题应答模型。3.根据权利要求1所述的计算机实现的方法，其中所述第二经训练的神经网络是任务特定的生成模型。4.根据权利要求3所述的计算机实现的方法，其中至少部分地基于所述查询限制所述生成模型的输出。5.根据权利要求1所述的计算机实现的方法，其中所述查询是用户提供的听觉输入或用户提供的文本输入中的至少一个。6.根据权利要求1所述的计算机实现的方法，其中所述第一经训练的网络和所述第二经训练的网络被布置在顺序的管线中。7.根据权利要求1所述的计算机实现的方法，还包括：确定所述查询的一个或更多个组成部分；以及重新排列所述一个或更多个组成部分中的至少一个组成部分，以生成所述会话重新表述。8.根据权利要求1所述的计算机实现的方法，还包括：使用所述第一经训练的神经网络，接收与信息相对应的提供的上下文，所述信息与所述交互环境相关联。9.根据权利要求8所述的计算机实现的方法，还包括：接收对所述交互环境的第二查询；使用所述第一经训练的神经网络，确定第二应答不在所提供的上下文内；以及生成指示关于所述第二应答的错误的信息性响应。10.一种方法，包括：使用信息语料库，确定对输入查询的应答；至少使用所述输入查询，确定所述输入查询的重新表述；至少部分地基于所述输入查询的所述重新表述和所述应答，生成对所述输入查询的响应，其中所述响应以所...

【专利技术属性】
技术研发人员：V，
申请(专利权)人：辉达公司，
类型：发明
国别省市：