一种对话模型的训练方法及装置、对话响应方法及装置制造方法及图纸

本发明专利技术公开了一种对话模型的训练方法，包括：利用通用对话数据集对原始对话模型进行训练，得到通用对话模型；获取预设的专业关键词组，根据专业关键词组对通用对话数据集进行数据筛选；利用筛选到的初始标注数据集对通用对话模型进行训练，得到初始专业对话模型；利用验证数据集和预设自然语言处理评价指标对初始专业对话模型进行验证，得到验证得分；判断验证得分是否大于预设得分阈值；若是，则将初始专业对话模型确定为目标专业对话模型。本发明专利技术使得训练出来的目标专业对话模型同时拥有通用性和专业性，提升了用户使用体验。本发明专利技术还公开了一种对话模型的训练装置、对话响应方法及装置、电子设备及计算机可读存储介质，具有相应技术效果。有相应技术效果。有相应技术效果。

【技术实现步骤摘要】
一种对话模型的训练方法及装置、对话响应方法及装置


[0001]本专利技术涉及人工智能
，特别是涉及一种对话模型的训练方法及装置、对话响应方法及装置、电子设备及计算机可读存储介质。

技术介绍

[0002]人机对话作为自然语言处理（Natural Language Processing，NLP）的一项基础应用，一直备受学术界和工业界的重视。随着人工智能技术的发展，基于生成式的对话模型越来越受欢迎，它们专门针对对话数据进行训练，在开放域对话获得了非常好的表现。但是从头开始训练对话大模型，需要大量的多类型对话数据作为训练语料，这需要的成本比较高，训练耗时长。
[0003]在专业的人机对话系统中常常也会存在不同的聊天需求，包括：闲聊、常识问答以及专业问答等。如医疗机器人在与病人聊天过程中不仅要回答医疗专业知识，生活中常识问题也会涉及到，还要会闲聊排解病人的情绪。目前专业的对话模型大部分采用检索方式，其主要原理是语义匹配，即在知识库中找到用户提问的问题的答案。虽然技术已比较成熟，但太依赖于语料，知识片面、回复单一生硬，缺乏通用性和多样性，用户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对话模型的训练方法，其特征在于，包括：利用预获取的通用对话数据集对原始对话模型进行训练，得到通用对话模型；获取预设的专业关键词组，并根据所述专业关键词组对所述通用对话数据集进行数据筛选，将筛选得到的数据集确定为初始标注数据集；利用所述初始标注数据集对所述通用对话模型进行训练，得到初始专业对话模型；利用验证数据集和预设自然语言处理评价指标对所述初始专业对话模型进行验证操作，得到验证得分；判断所述验证得分是否大于预设得分阈值；若是，则将所述初始专业对话模型确定为目标专业对话模型。2.根据权利要求1所述的对话模型的训练方法，其特征在于，当确定所述验证得分小于等于所述预设得分阈值时，还包括：利用所述初始专业对话模型针对预设未标记池中各样本数据生成对应的响应数据；分别计算各所述响应数据对应的自动评估得分；对各所述自动评估得分进行大小排序，从得分较小的一端选取预设数量个自动评估得分；输出对选取得到的各所述自动评估得分对应的响应数据进行标注的标注提示信息；根据标注结果对初始标注数据集进行更新，得到更新后标注数据集；基于所述更新后标注数据集对所述初始专业对话模型进行训练，得到更新后专业对话模型；利用所述验证数据集对所述更新后专业对话模型进行验证操作，得到验证得分，并重复执行所述判断所述验证得分是否大于预设得分阈值的步骤。3.根据权利要求2所述的对话模型的训练方法，其特征在于，在得到更新后标注数据集之后，还包括：根据所述更新后标注数据集对所述预设未标记池进行更新操作。4.根据权利要求1所述的对话模型的训练方法，其特征在于，利用验证数据集和预设自然语言处理评价指标对所述初始专业对话模型进行验证操作，包括：通过以下公式结合所述验证数据集、BLEU指标、ROUGE指标、PPL指标、DISTINCT指标对所述初始专业对话模型进行验证操作：；其中，为所述初始专业对话模型在BLEU指标上的得分，为所述初始专业对话模型在ROUGE指标上的得分，为所述初始专业对话模型在PPL指标上的得分，采用PPL指标得分的倒数形式，为所述初始专业对话模型在DISTINCT指标上的得分，为验证得分。5.根据权利要求4所述的对话模型的训练方法，其特征在于，还包括所述初始专业对话模型在BLEU指标上的得分的计算过程，所述初始专业对话模型在BLEU指标上的得分的计算过程包括：
通过以下公式计算所述初始专业对话模型在BLEU指标上的得分：；其中，，为机器译文的长度，为最短的参考翻译句子的长度，为n
‑
gram的精确率，为n
‑
gram的权重，对于任意n都有，BP 为惩罚因子。6.根据权利要求4所述的对话模型的训练方法，其特征在于，还包括所述初始专业对话模型在ROUGE指标上的得分的计算过程，所述初始专业对话模型在ROUGE指标上的得分的计算过程包括：通过以下公式计算所述初始专业对话模型在ROUGE指标上的得分：；其中，{参考译文}表示参考译文集合，表示N个字的组合，表示计算译文中N
‑
gram的数目，公式的分母是统计在所有的参考译文中N
‑
gram的个数，分子是统计所有参考译文与机器译文共有的N
‑
gram个数。7.根据权利要求4所述的对话模型的训练方法，其特征在于，还包括所述初始专业对话模型在PPL指标上的得分的计算过程，所述初始专业对话模型在PPL指标上的得分的计算过程：；其中，表示根据上文词语预测第i个词的概率，N代表句子长度。8.根据权利要求4所述的对话模型的训练方法，其特征在于，还包括所述初始专业对话模型在DISTINCT指标上的得分的计算过程，所述初始专业对话模型在DISTINCT指标上的得分的计算过程包括：通过以下公式计算所述初始专业对话模型在DISTINCT指标上的得分：；

【专利技术属性】
技术研发人员：刘红丽，李峰，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：