针对多轮对话生成回复语句的方法和装置制造方法及图纸

本说明书实施例提供一种针对多轮对话生成回复语句的方法和装置，方法包括：获取历史上下文；对历史上下文基于注意力机制进行编码，得到历史上下文对应的上下文向量，以及历史上下文对应的第一分词序列的编码注意力分布；对候选知识集合中的各候选知识基于注意力机制进行编码，得到候选知识集合对应的知识融合向量，以及候选知识集合对应的第二分词序列的知识注意力分布；针对回复语句进行逐词预测，其中每次预测包括：对于扩充词表中每个候选词，得到将该候选词作为下一个词的预测概率；扩充词表包括，用于生成候选词的初始词表，第一分词序列中各分词，以及第二分词序列中各分词。在针对多轮对话生成回复语句时能够处理词汇不足单词。

【技术实现步骤摘要】
针对多轮对话生成回复语句的方法和装置
本说明书一个或多个实施例涉及计算机领域，尤其涉及针对多轮对话生成回复语句的方法和装置。
技术介绍
当前，在智能客服中，由机器与用户进行对话，解答用户问题，由于用户的表达口语化，一轮对话往往无法明确用户诉求，需要机器与用户之间进行多轮对话，才能最终解答用户问题。现有技术中，常常采用生成式模型针对多轮对话生成回复语句。生成式模型可以生成用户问句中没有的词语，但是生成的回复语句可能不能准确地再现细节,无法处理词汇不足（out-of-vocabulary，OOV）单词。因此，希望能有改进的方案，在针对多轮对话生成回复语句时能够处理词汇不足单词。
技术实现思路
本说明书一个或多个实施例描述了一种针对多轮对话生成回复语句的方法和装置，在针对多轮对话生成回复语句时能够处理词汇不足单词。第一方面，提供了一种针对多轮对话生成回复语句的方法，方法包括：获取多轮对话中包含当前用户问句的历史上下文；对所述历史上下文基于注意力机制进行编码，得到所述历史上下文对应的上本文档来自技高网...

【技术保护点】
1.一种针对多轮对话生成回复语句的方法，所述方法包括：/n获取多轮对话中包含当前用户问句的历史上下文；/n对所述历史上下文基于注意力机制进行编码，得到所述历史上下文对应的上下文向量，以及所述历史上下文对应的第一分词序列的编码注意力分布；/n对候选知识集合中的各候选知识基于注意力机制进行编码，得到所述候选知识集合对应的知识融合向量，以及所述候选知识集合对应的第二分词序列的知识注意力分布；/n针对回复语句进行逐词预测，其中每次预测包括：/n通过指针生成网络，分别生成当前的第一指针和第二指针，第一指针指示根据历史上下文生成下一个词的概率，第二指针指示根据候选知识集合生成下一个词的概率；/n对于扩充词...

【技术特征摘要】
1.一种针对多轮对话生成回复语句的方法，所述方法包括：
获取多轮对话中包含当前用户问句的历史上下文；
对所述历史上下文基于注意力机制进行编码，得到所述历史上下文对应的上下文向量，以及所述历史上下文对应的第一分词序列的编码注意力分布；
对候选知识集合中的各候选知识基于注意力机制进行编码，得到所述候选知识集合对应的知识融合向量，以及所述候选知识集合对应的第二分词序列的知识注意力分布；
针对回复语句进行逐词预测，其中每次预测包括：
通过指针生成网络，分别生成当前的第一指针和第二指针，第一指针指示根据历史上下文生成下一个词的概率，第二指针指示根据候选知识集合生成下一个词的概率；
对于扩充词表中每个候选词，至少根据所述上下文向量、所述知识融合向量预测生成该候选词的第一概率；根据第一指针和编码注意力分布，确定从历史上下文中复制该候选词的第二概率，根据第二指针和知识注意力分布，确定从候选知识集合中复制该候选词的第三概率，并根据所述第一概率，第二概率和第三概率，得到将该候选词作为下一个词的预测概率；其中所述扩充词表包括，用于生成候选词的初始词表，第一分词序列中各分词，以及第二分词序列中各分词；
根据扩充词表中各个词的预测概率，预测下一个词。


2.如权利要求1所述的方法，其中，所述历史上下文还包括至少一轮的历史用户问句和历史回复语句。


3.如权利要求1所述的方法，其中，所述对候选知识集合中的各候选知识基于注意力机制进行编码之前，所述方法还包括：
提取所述历史上下文中的实体词或关键词；
根据所述实体词或关键词，确定与所述历史上下文相关的所述候选知识集合。


4.如权利要求1所述的方法，其中，所述候选知识包括：句子形式的候选知识或三元组形式的候选知识；所述三元组形式的候选知识包括能够扩充为句子的三个实体词或关键词。


5.如权利要求1所述的方法，其中，所述对候选知识集合中的各候选知识基于注意力机制进行编码，包括：
对候选知识集合中的各候选知识分别基于注意力机制进行编码，得到所述各候选知识分别对应的单条知识向量，以及各候选知识分别对应的分词序列的注意力分布；
针对各单条知识向量，基于注意力机制进行编码，得到所述候选知识集合对应的知识融合向量；以及根据各候选知识分别对应的分词序列的注意力分布，进行综合处理，得到所述候选知识集合对应的第二分词序列的知识注意力分布。


6.如权利要求1所述的方法，其中，所述通过指针生成网络，分别生成当前的第一指针和第二指针，包括：
通过指针生成网络，根据所述上下文向量、前一个词的解码状态、以及前一个词对应的词向量和所述上下文向量的组合向量，生成当前的第一指针；
通过指针生成网络，根据所述知识融合向量、前一个词的解码状态、以及前一个词对应的词向量和所述知识融合向量的组合向量，生成当前的第二指针。


7.如权利要求1所述的方法，其中，所述根据所述第一概率，第二概率和第三概率，得到将该候选词作为下一个词的预测概率，包括：
当该候选词存在于所述初始词表中，且不存在于所述第一分词序列中，且不存在于所述第二分词序列中，根据所述第一概率，得到将该候选词作为下一个词的预测概率。


8.如权利要求1所述的方法，其中，所述根据所述第一概率，第二概率和第三概率，得到将该候选词作为下一个词的预测概率，包括：
当该候选词存在于所述第一分词序列中，且不存在于所述初始词表中，且不存在于所述第二分词序列中，根据所述第二概率，得到将该候选词作为下一个词的预测概率。


9.如权利要求1所述的方法，其中，所述根据所述第一概率，第二概率和第三概率，得到将该候选词作为下一个词的预测概率，包括：
当该候选词存在于所述第二分词序列中，且不存在于所述初始词表中，且不存在于所述第一分词序列中，根据所述第三概率，得到将该候选词作为下一个词的预测概率。


10.一种针对多轮对话生成回复语句的装置，所述装置包括：
获取单元，用于获取多轮对话中包含当前用户问句的历史上下文；
第一编码单元，用于对所述获取单元获取的历史上下...

【专利技术属性】
技术研发人员：林谢雄，简葳玙，何建杉，王太峰，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33