对话生成及装置、计算机可读存储介质、电子设备制造方法及图纸

本公开实施例是关于一种对话生成方法及装置、计算机可读存储介质、电子设备，该方法包括：对用户输入的当前对话交互信息进行分词处理得到多个当前词组，并对各所述当前词组进行编码得到多个当前句子向量；将各所述当前句子向量输入至对话生成模型，得到与所述当前对话交互信息对应的当前对话意图、当前关键词槽以及当前特征词槽；其中，所述对话生成模型是根据原始对话交互信息对双向长短记忆网络模型进行训练得到的；根据所述当前对话意图、当前关键词槽以及当前特征词槽，生成与所述当前对话交互信息对应的对话。本公开实施例提高了词槽的准确率，同时也提高了对话的准确率。

Dialogue generation and device, computer-readable storage medium, electronic equipment

【技术实现步骤摘要】
对话生成及装置、计算机可读存储介质、电子设备
本专利技术实施例涉及机器学习
，具体而言，涉及一种对话生成方法、对话生成装置、计算机可读存储介质以及电子设备。
技术介绍
机器人多轮对话是目前NLP(NaturalLanguageProcessing，自然语言处理)领域的一个重要应用场景。多轮对话指的是机器人与人之间进行的多回合对话。为了实现多回合的对话，需要建立多轮对话产品机器人，并为每个机器人下面设置若干技能，每个技能下建立不同的意图，而意图下面设置必填词槽，当必填词槽未被识别到时，需要通过反问澄清方式反问用户，用户做出回答后进入下一个必填槽位的澄清环节，当所有必填槽位都被澄清后，多轮对话给出最终答案。因此，多轮对话是基于满足特定的意图下的所触发的一系列反问澄清和答案生成的过程。在现有的机器人的多轮对话模型的实现方式中，可以包括如下两种：模板匹配方案和意图实体识别方案。其中，在模板匹配方案中，设置多种不同的模板以匹配模板，从而识别意图和必填词槽。在意图词槽实体识别方案中，先用意图分类算法识别用户Query(询问)的意图，再通过实体识别算法识别关键词槽值，进而触发多轮对话反问澄清和答案回复。但是，上述方案存在如下缺陷：在第一种方案中，由于是通过不同的模板以匹配模板从而识别意图和必填词槽，因此存在错误匹配、遗漏匹配以及覆盖范围有限的问题，进而导致词槽准确率较低的问题；在第二中方案中，首先，该方案将意图识别和槽位的识别割裂开，并没有考虑意图和槽位的关联关系；其次，得出意图识别后再进行槽位识别，使得词槽准确率＝意图识别准确率*槽位识别准确率；因此在意图识别的准确率较低的情况下，使得词槽准确率也较低；进一步的，由于没有进行特征词槽的识别，因此意图和关键词槽准确率也较低。因此，需要提供一种新的对话生成方法及装置。需要说明的是，在上述
技术介绍
部分专利技术的信息仅用于加强对本专利技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本专利技术的目的在于提供一种对话生成方法、对话生成装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的槽位准确率较低的问题。根据本公开的一个方面，提供一种对话生成方法，包括：对用户输入的当前对话交互信息进行分词处理得到多个当前词组，并对各所述当前词组进行编码得到多个当前句子向量；将各所述当前句子向量输入至对话生成模型，得到与所述当前对话交互信息对应的当前对话意图、当前关键词槽以及当前特征词槽；其中，所述对话生成模型是根据原始对话交互信息对双向长短记忆网络模型进行训练得到的；根据所述当前对话意图、当前关键词槽以及当前特征词槽，生成与所述当前对话交互信息对应的对话。在本公开的一种示例性实施例中，所述对话生成方法还包括：利用所述原始对话交互信息对所述双向长短记忆网络模型进行训练，得到所述对话生成模型。在本公开的一种示例性实施例中，利用所述原始对话交互信息对所述双向长短记忆网络模型进行训练得到，所述对话生成模型包括：根据所述原始对话交互信息得到预测意图信息以及预测槽位信息，并根据所述预测意图信息以及所述预测槽位信息的注意力权重以及上下文值得到预测意图分类结果以及预测槽位标注结果；计算目标意图分类结果与所述预测意图分类结果的意图分类损失函数，以及目标槽位标注结果与所述预测槽位标注结果的槽位损失函数；根据所述意图分类损失函数以及槽位损失函数得到交叉熵损失函数，并根据所述交叉熵损失函数对双向长短记忆网络模型进行训练得到所述对话生成模型。在本公开的一种示例性实施例中，所述对话生成方法还包括：计算各所述当前句子向量的长度；在确定所述当前句子向量的长度未达到预设长度时，对所述当前句子向量进行填充。在本公开的一种示例性实施例中，在根据所述预测意图信息以及所述预测槽位信息的注意力权重以及上下文值得到预测意图分类结果以及预测槽位标注结果之前，所述对话生成方法还包括：分别对所述预测意图信息以及预测槽位信息进行逻辑回归计算，得到所述预测意图信息以及所述预测槽位信息的注意力权重；分别对所述预测意图信息以及预测槽位信息的注意力权重进行加权求和，得到所述预测意图信息以及预测槽位信息的上下文值。在本公开的一种示例性实施例中，根据所述预测意图信息以及所述预测槽位信息的注意力权重以及上下文值得到预测意图分类结果以及预测槽位标注结果包括：对所述预测意图信息以及所述预测槽位信息的上下文值进行转换得到包括一次训练所选取的训练样本的数量以及训练样本的总数量的意图张量；将所述预测意图信息以及所述预测槽位信息的注意力权重以及所述意图张量输入至编解码框架中的解码双向长短记忆网络模型中，得到所述预测意图分类结果以及预测槽位标注结果。在本公开的一种示例性实施例中，所述预测槽位信息包括预测关键词槽以及预测特征词槽；其中，根据各所述句子向量得到预测意图信息以及预测槽位信息包括：将各所述句子向量输入至编解码框架中的编码双向长短记忆网络模型中，得到所述预测意图信息、所述预测关键词槽以及所述预测特征词槽。在本公开的一种示例性实施例中，所述目标槽位标注结果包括目标关键词槽标注结果以及目标特征词槽标注结果；其中，计算目标槽位标注结果与所述预测槽位标注结果的槽位损失函数包括：计算所述目标关键词槽标注结果与预测关键词槽标注结果之间的关键词槽损失函数；计算所述目标特征词槽标注结果与预测特征词槽标注结果之间的特征词槽损失函数；根据所述关键词槽损失函数以及所述特征词槽损失函数得到所述槽位损失函数。根据本公开的一个方面，提供一种对话生成装置，包括：第一处理模块，用于对用户输入的当前对话交互信息进行分词处理得到多个当前词组，并对各所述当前词组进行编码得到多个当前句子向量；第二处理模块，用于将各所述当前句子向量输入至对话生成模型，得到与所述当前对话交互信息对应的当前对话意图、当前关键词槽以及当前特征词槽；其中，所述对话生成模型是根据原始对话交互信息对双向长短记忆网络模型进行训练得到的；对话生成模块，用于根据所述当前对话意图、当前关键词槽以及当前特征词槽，生成与所述当前对话交互信息对应的对话。根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的对话生成方法。根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的对话生成方法。本专利技术实施例一种对话生成方法及装置，一方面，对用户输入的当前对话交互信息进行分词处理得到多个当前词组，并对各当前词组进行编码得到多个当前句子向量；然后将各当前句子向量输入至对话生成模型，得到与当前对话交互信息对应的当前对话意本文档来自技高网...

【技术保护点】
1.一种对话生成方法，其特征在于，包括：/n对用户输入的当前对话交互信息进行分词处理得到多个当前词组，并对各所述当前词组进行编码得到多个当前句子向量；/n将各所述当前句子向量输入至对话生成模型，得到与所述当前对话交互信息对应的当前对话意图、当前关键词槽以及当前特征词槽；其中，所述对话生成模型是根据原始对话交互信息对双向长短记忆网络模型进行训练得到的；/n根据所述当前对话意图、当前关键词槽以及当前特征词槽，生成与所述当前对话交互信息对应的对话。/n

【技术特征摘要】
1.一种对话生成方法，其特征在于，包括：
对用户输入的当前对话交互信息进行分词处理得到多个当前词组，并对各所述当前词组进行编码得到多个当前句子向量；
将各所述当前句子向量输入至对话生成模型，得到与所述当前对话交互信息对应的当前对话意图、当前关键词槽以及当前特征词槽；其中，所述对话生成模型是根据原始对话交互信息对双向长短记忆网络模型进行训练得到的；
根据所述当前对话意图、当前关键词槽以及当前特征词槽，生成与所述当前对话交互信息对应的对话。


2.根据权利要求1所述的对话生成方法，其特征在于，所述对话生成方法还包括：
利用所述原始对话交互信息对所述双向长短记忆网络模型进行训练，得到所述对话生成模型。


3.根据权利要求2所述的对话生成方法，其特征在于，利用所述原始对话交互信息对所述双向长短记忆网络模型进行训练得到，所述对话生成模型包括：
根据所述原始对话交互信息得到预测意图信息以及预测槽位信息，并根据所述预测意图信息以及所述预测槽位信息的注意力权重以及上下文值得到预测意图分类结果以及预测槽位标注结果；
计算目标意图分类结果与所述预测意图分类结果的意图分类损失函数，以及目标槽位标注结果与所述预测槽位标注结果的槽位损失函数；
根据所述意图分类损失函数以及槽位损失函数得到交叉熵损失函数，并根据所述交叉熵损失函数对双向长短记忆网络模型进行训练得到所述对话生成模型。


4.根据权利要求3所述的对话生成方法，其特征在于，在根据所述预测意图信息以及所述预测槽位信息的注意力权重以及上下文值得到预测意图分类结果以及预测槽位标注结果之前，所述对话生成方法还包括：
分别对所述预测意图信息以及预测槽位信息进行逻辑回归计算，得到所述预测意图信息以及所述预测槽位信息的注意力权重；
分别对所述预测意图信息以及预测槽位信息的注意力权重进行加权求和，得到所述预测意图信息以及预测槽位信息的上下文值。


5.根据权利要求3所述的对话生成方法，其特征在于，根据所述预测意图信息以及所述预测槽位信息的注意力权重以及上下文值得到预测意图分类结果以及预测槽位标注结果包括：
对所述预测意图信息以及所述预测槽位信息的上下文值进行转换...

【专利技术属性】
技术研发人员：杜维，刘设伟，杨铭，
申请(专利权)人：泰康保险集团股份有限公司，泰康在线财产保险股份有限公司，
类型：发明
国别省市：北京;11