对话响应生成模型的训练方法和装置及对话响应生成方法制造方法及图纸

本申请公开了一种对话响应生成模型的训练方法和装置及对话响应生成方法，其中训练方法包括：获取预设的样本数据和文档库，所述样本数据包括对话过程数据以及每轮对话的正确文档标签和话题保持标签；利用对话响应生成模型，遍历所述对话过程数据对应的每轮对话，基于在该轮对话的响应信息之前已产生的对话历史数据和所述文档库，生成该轮对话的响应信息，并基于所述样本数据中的相应标签，计算损失函数值，利用所述损失函数值，对所述对话响应生成模型的参数进行优化调整；其中，在进行所述生成时，采用二次相关方式，基于当前的话题保持状况，从所述文档库中选取用于生成所述响应信息的最相关文档。采用本申请，可以提高对话的回复质量。对话的回复质量。对话的回复质量。

Training method and device of dialog response generation model and dialog response generation method

【技术实现步骤摘要】
对话响应生成模型的训练方法和装置及对话响应生成方法


[0001]本专利技术涉及人机对话技术，特别是涉及一种对话响应生成模型的训练方法和装置及对话响应生成方法。

技术介绍

[0002]人机对话系统是自然语言处理领域一个重要的研究方向，随着深度神经网络技术的发展，诸如Alexa、小冰等系统在某些领域已经可以与人展开流畅的对话。为了使对话系统可以适应于更多领域，受人人对话的启发，研究者们开始探索为对话系统增加外部知识。在这些外部知识中，文档易于获得且蕴含信息丰富，由文档驱动的对话任务被提了出来。为了使得对话更贴近于实际场景下的人人对话，高质量的回复需要满足语言通顺、上下文相关以及可以正确反映文档知识等要求。
[0003]文档驱动的对话种类繁多，根据用户对回复的需求，可分为面向知识的回复及面向业务的回复，根据文档获取的方式，则可分为固定单个文档驱动及自由选择文档的多文档驱动两种形式。
[0004]多文档驱动要求对话系统在每轮输出回复前都应从文档库中找出当前应当依赖的文档，其更贴近于实际场景下的人人对话；面向知识的回复则为对话系统赋予了向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对话响应生成模型的训练方法，其特征在于，包括：获取预设的样本数据和文档库，所述样本数据包括对话过程数据以及每轮对话的正确文档标签和话题保持标签；利用对话响应生成模型，遍历所述对话过程数据对应的每轮对话，基于在该轮对话的响应信息之前已产生的对话历史数据和所述文档库，生成该轮对话的响应信息，并基于所述样本数据中的相应标签，计算损失函数值，利用所述损失函数值，对所述对话响应生成模型的参数进行优化调整；其中，在进行所述生成时，采用二次相关方式，基于当前的话题保持状况，从所述文档库中选取用于生成所述响应信息的最相关文档。2.根据权利要求1所述的方法，其特征在于，所述生成该轮对话的响应信息包括：利用预先训练的文本编码器，对所述对话历史数据的进行编码，并对所得到的编码表示进行平均池化处理，得到所述对话历史数据的向量表示；获取所述文档库中每个文档的向量表示；其中，所述文档的向量表示通过利用所述文本编码器对所述文档分别进行编码，并对所得到的编码表示进行平均池化处理得到；基于所述向量表示，利用文档选择网络，采用二次相关方式，基于当前的话题保持状况，确定当前轮对话的最相关文档；基于所述最相关文档的编码表示和所述对话历史数据的编码表示，利用响应生成网络，生成当前轮对话的响应信息。3.根据权利要求2所述的方法，其特征在于，所述文本编码器的训练包括：获取预设的编码样本数据，所述编码样本数据包括对话历史数据C、对话历史数据的相关文档d
+
和不相关文档d
‑
；利用所述文本编码器，分别对所述编码样本数据中的对话历史数据C、所述相关文档d
+
和所述不相关文档d
‑
进行编码，并对所得到的每个编码表示分别进行平均池化处理，得到所述对话历史数据C、所述相关文档d
+
和所述不相关文档d
‑
各自的向量表示；基于所述对话历史数据C和所述相关文档d
+
的向量表示，计算向量间的余弦相似度，得到所述对话历史数据C和所述相关文档d
+
的相关性分数；基于所述对话历史数据C和所述不相关文档d
‑
的向量表示，计算向量间的余弦相似度，得到所述对话历史数据C和所述不相关文档d
‑
的相关性分数；基于所述相关性分数，利用铰链损失函数，计算编码损失函数值；利用所述编码损失函数值，对所述文本编码器的参数进行优化调整。4.根据权利要求2所述的方法，其特征在于，所述确定当前轮对话的最相关文档包括：基于所述向量表示，通过计算向量间的余弦相似度，得到所述对话历史数据分别与每个所述文档的相关性分数；从所述文档库中，选择前N个所述相关性分数最大的文档，作为备选文档；所述N为预设的大于1的整数；基于在生成上一轮对话的响应信息时选取的最相关文档d
last
是否属于所述备选文档，确定所述备选文档为当前轮对话的最相关文档的最终概率；选取所述最终概率最大的备选文档，作为当前轮对话的最相关文档。5.根据权利要求4所述的方法，其特征在于，所述确定所述备选文档为当前轮对话的最相关文档的最终概率包括：
基于所述备选文档的向量表示和所述对话历史数据的向量表示，采用点积计算方式，预测所述备选文档为当前轮对话的最相关文档的概率，得到所述备选文档的直接相关概率；基于所述文档d
last
的向量表示和所述对话历史数据的向量表示，利用多层感知机MLP，预测所述文档d
last
为当前轮对话的最相关文档的概率P
keep
；当所述文档d
last
属于所述备选文档时，利用所述概率P
keep
，对所述备选文档的直接相关概率，进行修正；并对所述修正得到的概率，进行归一化处理，得到所述备选文档为当前轮对话的最相关文档的最终概率；当所述文档d
last
不属于所述备选文档中的文档时，对所述备选文档的直接相关概率，进行归一化处理，得到所述备选文档为当前轮对话的最相关文档的最终概率；其中，所述利用所述概率P
keep
，对所述备选文档的直接相关概率，进行修正包括：如果所述备选文档为所述文档d
last
，则计算所述备选文档的直接相关概率与所述P
keep
的和，得到对所述备选文档的直接相关概率进行修正的结果，否则，计算所述备选文档的直接相关概率与
△
的和，得到对所述备选文档的直接相关概率进行修正的结果；其中，
△
＝1
‑
P
keep
。6.根据权利要求5所述的方法，其特征在于，所述利用响应生成网络，生成当前轮对话的响应信息包括：基于所述最相关文档的编码表示和所述对话历...

【专利技术属性】
技术研发人员：王金涛，王小捷，袁彩霞，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：