一种语句识别方法、语句识别装置及智能设备制造方法及图纸

本申请公开了一种语句识别方法、语句识别装置及智能设备，该方法将当前用户语句拼接上历史语句后输入到预训练模型中，得到预训练模型发掘的拼接语句的信息，以实现在少语料的情况下发掘出较多的特征信息；进一步地，再通过RNN模型来拆分字符级编码及上下文信息的编码，提取所需的特征，并基于所提取的特征实现对当前用户语句的识别。上述识别过程还有效结合了上下文信息，提升了对当前用户语句的理解效率及理解准确度。

【技术实现步骤摘要】
一种语句识别方法、语句识别装置及智能设备
本申请属于人工智能
，尤其涉及一种语句识别方法、语句识别装置、智能设备及计算机可读存储介质。
技术介绍
随着技术的发展，人机对话交互系统得到了日益广泛的应用，为了实现自动化的人机对话，计算机需要从用户输入的文字中解析出蕴含的意图、对话行为类别，并抽取出其中的关键词，来制定相应的答复策略。近些年来，随着深度学习技术的发展及计算机运算能力的提升，人们开始将深度学习技术应用在人机对话系统当中。然而，当前处理基于多轮会话的多任务语义解析这一任务的代表模型仍存在准确率不高等问题，无法满足人们的需求。
技术实现思路
本申请实施例提供了一种语句识别方法、语句识别装置、智能设备及计算机可读存储介质，可提升对当前用户语句的理解效率及理解准确度。本申请的第一方面提供了一种语句识别方法，包括：获取当前用户语句及历史语句集合，其中，上述当前用户语句为当前轮次的用户语句，上述历史语句集合由至少一个历史语句构成，上述历史语句包括各个历史轮次的用户语句及各个历史轮次的系统语句；将上述当前用户语句分别与上述历史语句集合中的各个历史语句进行拼接，得到至少一个拼接语句；分别为至少一个拼接语句标记位置；将至少一个已标记位置的拼接语句输入至预训练模型中，分别对应得到至少一个预训练结果；将上述至少一个预训练结果输入至已训练的第一类循环神经网络(RecurrentNeuralNetwork，RNN)模型中，分别对应得到上述第一类循环神经网络模型输出的与各个预训练结果相关的前向输出结果和后向输出结果；根据与各个预训练结果相关的前向输出结果和后向输出结果对上述当前用户语句进行识别。本申请的第二方面提供了一种语句识别装置，包括：语句获取单元，用于获取当前用户语句及历史语句集合，其中，上述当前用户语句为当前轮次的用户语句，上述历史语句集合由至少一个历史语句构成，上述历史语句包括各个历史轮次的用户语句及各个历史轮次的系统语句；语句拼接单元，用于将上述当前用户语句分别与上述历史语句集合中的各个历史语句进行拼接，得到至少一个拼接语句；位置标记单元，用于分别为至少一个拼接语句标记位置；预训练结果获取单元，用于将至少一个已标记位置的拼接语句输入至预训练模型中，分别对应得到至少一个预训练结果；第一网络输出结果获取单元，用于将上述至少一个预训练结果输入至已训练的第一类循环神经网络模型中，分别对应得到上述第一类循环神经网络模型输出的与各个预训练结果相关的前向输出结果和后向输出结果；语句识别单元，用于根据与各个预训练结果相关的前向输出结果和后向输出结果对上述当前用户语句进行识别。本申请的第三方面提供了一种智能设备，上述智能设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。本申请的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。本申请的第五方面提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。由上可见，在本申请方案中，首先获取当前用户语句及历史语句集合，其中，上述当前用户语句为当前轮次的用户语句，上述历史语句集合由至少一个历史语句构成，上述历史语句包括各个历史轮次的用户语句及各个历史轮次的系统语句，然后将上述当前用户语句分别与上述历史语句集合中的各个历史语句进行拼接，得到至少一个拼接语句，接着分别为至少一个拼接语句标记位置，并将至少一个已标记位置的拼接语句输入至预训练模型中，分别对应得到至少一个预训练结果，随后将上述至少一个预训练结果输入至已训练的第一类循环神经网络模型中，分别对应得到上述第一类循环神经网络模型输出的与各个预训练结果相关的前向输出结果和后向输出结果，最后根据与各个预训练结果相关的前向输出结果和后向输出结果，对上述当前用户语句进行识别。通过本申请方案，将当前用户语句拼接上历史语句后输入到预训练模型中，得到预训练模型发掘的拼接语句的信息，以实现在少语料的情况下发掘出较多的特征信息；进一步地，还通RNN模型来拆分字符级编码及上下文信息的编码，提取所需的特征，并基于所提取的特征实现对当前用户语句的识别。上述识别过程还有效结合了上下文信息，提升了对当前用户语句的理解效率及理解准确度。可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的语句识别方法的实现流程示意图；图2是本申请实施例提供的语句识别方法中，第一类循环神经网络模型的输出的示意图；图3是本申请实施例提供的语句识别方法所采用的模型框架示意图；图4是本申请实施例提供的语句识别装置的结构框图；图5是本申请实施例提供的智能设备的结构示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。实施例一下面对本申请实施例提供的一种语句识别方法进行描述，请参阅图1，本申请实施例中的语句识别方法包括：步骤101，获取当前用户语句及历史语句集合；在本申请实施例中，可以先接收用户本次所输入的语句，也即当前用户语句。该当前用户语句为本次语句识别的对象，也即，本次语句识别的目的为识别出上述当前用户语句的意图、对话行为及词槽。考虑到多轮会话的语句之间往往联系较为紧密，因而，此处还可以考虑历史语句对上述当前用户语句的识别所带来的影响，上述历史语句包括历史用户语句以及历史系统语句，其中，上述历史用户语句指的是各个历史轮次的用户语句，上述历史系统语句指的是各个历史轮次的系统语句，上述用户语句为用户输入的语句本文档来自技高网...

【技术保护点】
1.一种语句识别方法，其特征在于，包括：/n获取当前用户语句及历史语句集合，其中，所述当前用户语句为当前轮次的用户语句，所述历史语句集合由至少一个历史语句构成，所述历史语句包括各个历史轮次的用户语句及各个历史轮次的系统语句；/n将所述当前用户语句分别与所述历史语句集合中的各个历史语句进行拼接，得到至少一个拼接语句；/n分别为至少一个拼接语句标记位置；/n将至少一个已标记位置的拼接语句输入至预训练模型中，分别对应得到至少一个预训练结果；/n将所述至少一个预训练结果输入至已训练的第一类循环神经网络模型中，分别对应得到所述第一类循环神经网络模型输出的与各个预训练结果相关的前向输出结果和后向输出结果；/n根据与各个预训练结果相关的前向输出结果和后向输出结果对所述当前用户语句进行识别。/n

【技术特征摘要】
1.一种语句识别方法，其特征在于，包括：
获取当前用户语句及历史语句集合，其中，所述当前用户语句为当前轮次的用户语句，所述历史语句集合由至少一个历史语句构成，所述历史语句包括各个历史轮次的用户语句及各个历史轮次的系统语句；
将所述当前用户语句分别与所述历史语句集合中的各个历史语句进行拼接，得到至少一个拼接语句；
分别为至少一个拼接语句标记位置；
将至少一个已标记位置的拼接语句输入至预训练模型中，分别对应得到至少一个预训练结果；
将所述至少一个预训练结果输入至已训练的第一类循环神经网络模型中，分别对应得到所述第一类循环神经网络模型输出的与各个预训练结果相关的前向输出结果和后向输出结果；
根据与各个预训练结果相关的前向输出结果和后向输出结果对所述当前用户语句进行识别。


2.如权利要求1所述的语句识别方法，其特征在于，所述根据与各个预训练结果相关的前向输出结果和后向输出结果对所述当前用户语句进行识别，包括：
将与同一预训练结果相关的最后一个前向输出结果与最后一个后向输出结果进行拼接，以得到与各个预训练结果相关的拼接结果；
将与各个预训练结果相关的拼接结果输入至已训练的第二类循环神经网络模型中，通过所述第二类循环神经网络模型进行处理，得到所述当前用户语句的意图及对话行为。


3.如权利要求2所述的语句识别方法，其特征在于，所述第二类循环神经网络模型包括第一GRU模型，所述将与各个预训练结果相关的拼接结果输入至已训练的第二类循环神经网络模型中，通过第二类循环神经网络模型训练处理，得到所述当前用户语句的意图及对话行为，包括：
将所有拼接结果输入至所述第一GRU模型中，得到所述第一GRU模型中最后一层隐藏层的输出；
将所述第一GRU模型中最后一层隐藏层的输出作为所述第一GRU模型中与意图及对话行为相关的分类层的输入，得到与意图及对话行为相关的分类层所输出的所述当前用户语句属于每一意图类别的概率及所述当前用户语句属于每一对话行为类别的概率；
根据所述当前用户语句属于每一意图类别的概率，确定所述当前用户语句的意图，并根据所述当前用户语句属于每一对话行为类别的概率，确定所述当前用户语句的对话行为。


4.如权利要求1所述的语句识别方法，其特征在于，所述根据与各个预训练结果相关的前向输出结果和后向输出结果对所述当前用户语句进行识别，包括：
基于预设的筛选条件，对与各个预训练结果相关的前向输出结果和后向输出结果进行筛选，得到至少一个筛选结果，其中，一个筛选结果包括与一个预训练结果相关的前向输出结果和后向输出结果；
将所述至少一个筛选结果输入至已训练的第二类循环神经网络模型中，通过所述第二类循环神经网络模型进行处理，得到所述当前用户语句的词槽。


5.如权利要求1至4任一项所述的语句识别方法，其特征在于，所述将所述当前用户语句分别与所述历史语句集合中的各个历史语句进行拼接，得到至少一个拼接语句，包括：
获取组成所述当前用户语句的各个词语；
获取组成待拼接历史语句的各个词语，其中，所述待拼接历史语句为所述历史语句集合中的任一历史语句；
基于所述待拼接历史语句-当前用户语句的顺序，通过预设的间隔符将组成所述当前用户语句的各个词语拼接于组成所述待拼接历史语句的各个词语之后，得到所述当前用...

【专利技术属性】
技术研发人员：熊为星，马力，熊友军，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：广东;44