用于自然语言处理的多因素建模制造技术

公开了用于系统的技术，包括用于训练和利用聊天机器人系统进行自然语言处理的多因素建模的技术。在实施例中，一种方法包括：接收与基于自然语言的查询相对应的一组话语数据；为聊天机器人确定一个或多个意图，所述一个或多个意图对应于基于自然语言的查询的可能上下文并且与聊天机器人的技能相关联；生成一个或多个意图分类数据集，每个意图分类数据集与自然语言查询对应于一个或多个意图中的意图的概率相关联；生成一个或多个变换后的数据集，每个变换后的数据集对应于一个或多个技能中的技能；基于一个或多个变换后的数据集来确定一个或多个技能中的第一技能；以及基于所确定的第一技能来处理该组话语数据以解析基于自然语言的查询。然语言的查询。然语言的查询。

【技术实现步骤摘要】
【国外来华专利技术】用于自然语言处理的多因素建模
[0001]优先权要求
[0002]本申请要求于2022年1月18日提交的美国非临时专利申请号17/578,170的权益和优先权，该美国非临时专利申请要求于2021年1月20日提交的美国临时专利申请号63/139,693的权益和优先权，这两个美国专利申请出于所有目的通过引用以其全文并入本文。


[0003]本公开总体上涉及聊天机器人系统，并且更具体地涉及用于自然语言处理中聊天机器人系统的多因素模型训练。

技术介绍

[0004]即时消息传递功能和自动聊天平台是对现代客户服务问题的高效解决方案。组织可以利用这些做法为其客户提供及时且响应迅速的服务，而无需为单个用户的询问投入宝贵的人力资本。现代自动聊天平台可以利用父“聊天机器人”来处置客户服务请求。父聊天机器人可以与多个子聊天机器人进行协调，这些子聊天机器人被委派了更专门的任务。然而，选择应当委派任务的正确聊天机器人是一个困难且可能成本高昂的决定。某些聊天机器人被设计为仅处置特定范围的询问，而某些聊天机器人处置一项专门任务的效率可能远低于其他聊天机器人。未能选择最高效的聊天机器人来回答客户询问可能会导致性能下降、资源利用效率低下以及令客户群感到沮丧。
[0005]例如，一些聊天机器人可以包括多种“技能”分类，这些“技能”分类将帮助聊天机器人处理和回应(respond)查询。这些查询可以采用基于自然语言的格式的“话语”形式，这种形式模拟了文本会话或请求。对话语进行处理以确定聊天机器人应该用来解析话语并回应查询的最有可能的技能。例如，为聊天机器人选择“order pizza(订购披萨)”技能分类来回应“please order me a pizza(请为我订披萨)”的自然语言查询。
[0006]客户询问的上下文、节奏(cadence)、拼写、语气(tone)和/或设置的微小差异可能会导致为特定任务选择错误的聊天机器人/技能。当组织每天执行数百或数千个自动询问回应时，在选择聊天机器人时的错误可能会迅速加剧。选择聊天机器人的简单方法(比如，将单词一对一映射到特定聊天机器人)可能无法考虑适当的上下文分析，也不考虑会话的复杂性。
[0007]为了帮助选择技能，聊天机器人可以采用机器学习模型来处理话语并输出最有可能的技能来回应话语。可以基于对提供给组织的询问进行上下文和词典分析来选择用于帮助回答询问的技能。因此，使用单因素选择机器学习技术来训练聊天机器人，以在给定输入话语的情况下选择技能。单因素模型将输入直接映射到期望输出，例如将接收到的话语映射到用于处理该话语的预测技能。虽然单因素机器学习技术在根据输入话语预测技能方面更省时，但这种单因素模型无法考虑话语的重要上下文、节奏、拼写、语气或意图。例如，话语“I ordered a pizza and it didn
’
t arrive(我订了一份披萨，但没有送到)”本来是针对客户服务聊天机器人技能的，但可能会基于部分短语“ordered a pizza(订了一份披
萨)”而被定向到披萨订购聊天机器人技能。因此，使用不那么依赖上下文的方法(比如直接技能选择)训练机器学习模型并不能提供高效聊天机器人模型所需的适当水平的上下文学习。因此，用于直接确定适当技能分类来解析话语的标准机器学习技术通常是不够的。

技术实现思路

[0008]公开了用于训练和利用聊天机器人系统进行自然语言处理的多因素建模的技术。
[0009]在一个实施例中，一种计算机实施的方法包括：由计算设备接收与可由聊天机器人解释的基于自然语言的查询相对应的一组话语数据；由所述计算设备为所述聊天机器人确定一个或多个意图，其中，所述一个或多个意图中的每一个对应于所述基于自然语言的查询的可能上下文并且与所述聊天机器人的一个或多个技能中的一技能相关联；由所述计算机设备使用意图分类器模型基于所述一个或多个意图来生成一个或多个意图分类数据集，其中，每个意图分类数据集与所述自然语言查询对应于所述一个或多个意图中的一意图的概率相关联；由所述计算设备使用变换掩码模型基于所述一个或多个意图分类数据集生成一个或多个变换后的数据集，其中，所述一个或多个变换后的数据集中的每一个对应于一个或多个技能中的一技能；由所述计算设备基于所述一个或多个变换后的数据集来确定所述一个或多个技能中的第一技能；以及基于所确定的第一技能来处理该组话语数据以解析所述基于自然语言的查询。
[0010]在一个实施例中，该组话语数据是从与同所述计算机设备通信的自动数字助理交互的客户端设备接收的。
[0011]在一个实施例中，所述变换掩码模型包括一个或多个变换值，每个变换值对应于至少一个意图与至少一个技能的比率。在进一步的实施例中，该组话语数据至少包括所述一个或多个技能的基本事实(ground
‑
truth)技能的指示，并且所述方法进一步包括由所述计算设备将所述基本事实技能与所述第一技能进行比较以生成一个或多个训练损失值；以及由所述计算设备基于所述训练损失值来更改所述一个或多个变换值。
[0012]在一个实施例中，所述意图分类器模型是被配置为接收该组话语数据作为输入并输出所述一个或多个意图分类数据集的机器学习模型，该组话语数据至少包括所述一个或多个技能的基本事实技能的指示，并且所述方法进一步包括由所述计算设备将所述基本事实技能与所述第一技能进行比较以生成一个或多个训练损失值；以及由所述计算设备通过基于所述训练损失值更改所述机器学习模型的结构来使用所述一个或多个训练损失值训练所述机器学习模型。
[0013]在一个实施例中，所述方法进一步包括由所述计算设备使用技能分类器模型生成第二技能数据，其中，所述技能分类器模型是被配置为接收该组话语数据作为输入并输出所述一个或多个技能中的预测技能的机器学习模型；由所述计算设备比较所述第一技能和所述第二技能以生成一个或多个训练损失值，所述一个或多个训练损失值对应于所述第一技能与所述第二技能之间的一个或多个差异；以及由所述计算设备通过基于所述训练损失值更改所述机器学习模型的结构来使用所述一个或多个训练损失值训练所述机器学习模型。
[0014]在一个实施例中，所述方法进一步包括基于所确定的第一技能处理该组话语数据以生成对所述基于自然语言的查询的基于自然语言的回应；以及将所述基于自然语言的回
应发送到客户端设备。
[0015]在一个实施例中，所述方法进一步包括由所述计算设备处理所述话语数据以生成呈用于输入到所述意图分类器模型的格式的细化话语数据，所述细化话语数据被输入到所述意图分类器模型中以导致生成所述一个或多个意图分类数据集。
[0016]在一个实施例中，所述一个或多个变换后的数据集中的每个变换后的数据集包括与所述话语数据对应于所述一个或多个技能中的一技能的可能性相对应的概率值，并且确定所述第一技能包括选择与具有一个或多个概率值的集合中的最高概率值的变换后的数据集相对应的技能。
[0017]在一个实施例中，所述第一技能包括基于与所述意图分类数本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：由计算设备接收与能由聊天机器人解释的基于自然语言的查询相对应的一组话语数据；由所述计算设备为所述聊天机器人确定一个或多个意图，其中，所述一个或多个意图中的每一个对应于所述基于自然语言的查询的可能上下文并且与所述聊天机器人的一个或多个技能中的一技能相关联；由所述计算机设备使用意图分类器模型基于所述一个或多个意图来生成一个或多个意图分类数据集，其中，每个意图分类数据集与所述自然语言查询对应于所述一个或多个意图中的一意图的概率相关联；由所述计算设备使用变换掩码模型基于所述一个或多个意图分类数据集生成一个或多个变换后的数据集，其中，所述一个或多个变换后的数据集中的每一个对应于所述一个或多个技能中的一技能；由所述计算设备基于所述一个或多个变换后的数据集来确定所述一个或多个技能中的第一技能；以及基于所确定的第一技能来处理所述一组话语数据以解析所述基于自然语言的查询。2.如权利要求1所述的方法，其中，所述一组话语数据是从与同所述计算机设备通信的自动数字助理交互的客户端设备接收的。3.如权利要求1所述的方法，其中，所述变换掩码模型包括一个或多个变换值，每个变换值对应于至少一个意图与至少一个技能的比率。4.如权利要求3所述的方法，其中：所述一组话语数据至少包括所述一个或多个技能的基本事实技能的指示；并且所述方法进一步包括：由所述计算设备将所述基本事实技能与所述第一技能进行比较以生成一个或多个训练损失值；以及由所述计算设备基于所述训练损失值来更改所述一个或多个变换值。5.如权利要求1所述的方法，其中：所述意图分类器模型是被配置为接收所述一组话语数据作为输入并输出所述一个或多个意图分类数据集的机器学习模型；所述一组话语数据至少包括所述一个或多个技能的基本事实技能的指示；并且所述方法进一步包括：由所述计算设备将所述基本事实技能与所述第一技能进行比较以生成一个或多个训练损失值；以及由所述计算设备通过基于所述训练损失值更改所述机器学习模型的结构来使用所述一个或多个训练损失值训练所述机器学习模型。6.如权利要求1所述的方法，进一步包括：由所述计算设备使用技能分类器模型生成第二技能数据，其中，所述技能分类器模型是被配置为接收所述一组话语数据作为输入并输出所述一个或多个技能中的预测技能的机器学习模型；由所述计算设备比较所述第一技能和所述第二技能以生成一个或多个训练损失值，所
述一个或多个训练损失值对应于所述第一技能与所述第二技能之间的一个或多个差异；以及由所述计算设备通过基于所述训练损失值更改所述机器学习模型的结构来使用所述一个或多个训练损失值训练所述机器学习模型。7.如权利要求1所述的方法，进一步包括：基于所确定的第一技能处理所述一组话语数据以生成对所述基于自然语言的查询的基于自然语言的回应；以及将所述基于自然语言的回应发送到客户端设备。8.如权利要求1所述的方法，进一步包括由所述计算设备处理所述话语数据以生成呈用于输入到所述意图分类器模型的格式的细化话语数据，所述细化话语数据被输入到所述意图分类器模型中以导致生成所述一个或多个意图分类数据集。9.如权利要求1所述的方法，其中：所述一个或多个变换后的数据集中的每个变换后的数据集包括与所述话语数据对应于所述一个或多个技能中的一技能的可能性相对应的概率值；并且确定所述第一技能包括选择与具有一个或多个概率值的集合中的最高概率值的变换后的数据集相对应的技能。10.如权利要求1所述的方法，其中，确定所述第一技能包括基于与所述意图分类数据集相关联的所述概率值为每个技能生成一个或多个平均概率值，并选择与所述一个或多个平均概率值中的最高平均概率值相关联的技能。11.一种包括集成计算系统的系统，所述集成计算系统包括一个或多个处理器和其上存储有指令的非暂态机器可读存储介质，所述指令当由所述一个或多个处理器执行时使所述一个或多个处理器执行以下操作：由计算设备接收与能由聊天机器人解释的基于自然语言的查询相对应的一组话语数据；由所述计算设备为所述聊天机器人确定一个或多个意图，其中，所述一个或多个意图中的每一个对应于所述基于自然语言的查询的可能上下文并且与所述聊天机器人的一个或多个技能中的一技能相关联；由所述计算机设备使用意图分类器模型基于所述一个或多个意图来生成一个或多个意图分...

【专利技术属性】
技术研发人员：E，
申请(专利权)人：甲骨文国际公司，
类型：发明
国别省市：