一种用于固定知识领域检索模型的多轮对话方法技术

本发明专利技术涉及一种用于固定知识领域检索模型的多轮对话方法，包括以下步骤：1)获取输入问句文本的tf

【技术实现步骤摘要】
一种用于固定知识领域检索模型的多轮对话方法


[0001]本专利技术涉及机器人自然语言处理领域，尤其是涉及一种用于固定知识领域检索模型的多轮对话方法。

技术介绍

[0002]目前对话系统大多属于检索式，因为检索式模型基于大规模问答对数据库，回复相对稳定且可以避免语法错误，也不会生成攻击性语言，常用于服务行业中，并在工程上得到广泛应用，但是现有的检索模型也存在一些不足：
[0003](1)检索模型大多是一问一答的形式从数据库中检索，很难进行联系上下文的多轮对话；
[0004](2)检索式模型的局限是只能在特定的问答对中进行问答，一旦输入数据库之外的文本就无法得到合理的答案。
[0005]为了达到尽量对所有的问题都能回答，需要不断扩大数据库的容量，该数据库的构建主要通过人工方式，耗费人力物力，且很难覆盖所有问题。

技术实现思路

[0006]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种用于固定知识领域检索模型的多轮对话方法。
[0007]本专利技术的目的可以通过以下技术方案来实现：
[0008]一种用于固定知识领域检索模型的多轮对话方法，包括以下步骤：
[0009]1)获取输入问句文本的tf
‑
idf特征并进行粗排序，得到多个最佳匹配的候选回复；
[0010]2)将问句文本与候选回复组成句子对，并采用预训练的BERT模型进行精确排序，预测出得分最高的回复即为期望的回复。
[0011]所述的步骤1)具体为：
>[0012]对输入的问句文本进行TF
‑
IDF特征转换后，根据输入问句文本与语料库中文本的相关性采用两轮BM25检索进行粗排序，并选出与输入文本最匹配的问题。
[0013]第一轮BM25检索，通过Q
‑
Q匹配的方式，将查询文本与语料库中的所有问句文本进行检索并筛选出前十个最匹配的问题，每个问题对应多轮对话，将这些对话作为第二轮BM25检索的候选回复，对于第一轮BM25检索后得到的得分最高的回复，将输入问句文本与回复拼接后再次作为候选回复进行第二轮BM25检索，最终检索出10个最佳匹配的候选回复。
[0014]所述的步骤2)中，基于KdConv格式数据集对问句文本和候选回复组成的句子对进行基于知识图谱的数据增强。
[0015]在BERT模型的预训练阶段中，将KdConv格式数据集中的三元组数据与BERT结构的输出进行合并，用以提升模型的回复效果。
[0016]对于KdConv格式数据集中的第i组三元组，定义k
i
表示头实体和关系的词向量，定义v
i
表示尾实体的词向量，通过BERT编码器输出的包含输入问句文本语义信息的查询向量q与词向量k
i
计算权值α
i
＝softmax
i
(q
T
k
i
)，将权值α
i
与对应尾实体的词向量v
i
相乘，得到表征三元组的加权和向量以预测候选回复的概率分数。
[0017]将对应的含有三元组信息的加权和向量v加入到BERT模型训练的过程中后，新损失函数具体为在原交叉熵损失函数L0的基础上增加注意力损失函数L
att
。
[0018]新损失函数L的表达式为：
[0019]L＝L0+βL
att
[0020]其中，β为注意力损失系数。
[0021]通过文本多样性和文本准确率两方面对BERT模型进行评价，BERT模型的准确性使用Hits指标与BLEU指标进行评估，文本多样性使用Distinct指标进行评估，分别获取准确率随注意力损失系数β的变化，并以此确认最优的取值。
[0022]所述的注意力损失系数β的最优取值为0.105。
[0023]与现有技术相比，本专利技术具有以下优点：
[0024]一、本专利技术利用KdConv数据集的格式，针对现有中文检索式对话模型缺少上下文关联、数据集缺少统一规则的问题，获取了高质量的含有三元组信息的数据集，并且将三元组数据与BERT结构输出的包含输入问句文本语义信息的查询向量进行合并得到新的特征，即加权和向量，配合新的损失函数进行训练，以此提升模型的回复效果。
[0025]二、本专利技术通过在文本准确率评价指标BLUE@n、Hit@n以及文本多样性评估指标Distinct@n这两方面对融入知识图谱信息的改进检索模型进行了评估，选择了最佳的注意力损失系数0.105，确定了最终的检索模型的目标函数，该检索模型相比较于未加入知识图谱信息的模型在准确率得分和多样性得分上均有效提升。
附图说明
[0026]图1为检索式对话系统的框架。
[0027]图2为检索式模型排序算法的具体流程。
[0028]图3为数据集收集平台的数据库E
‑
R关系图。
[0029]图4为数据集收集平台的前端界面。
[0030]图5为BERT模型对输入的编码过程。
[0031]图6为加入知识图谱信息的BERT精排流程。
[0032]图7为Hits指标与BLEU指标评估模型的准确率。
[0033]图8为Distinct指标评估模型的多样性。
[0034]图9为以音乐领域为例展示最优模型的对话效果。
[0035]图10为本专利技术的整体方法流程框图。
具体实施方式
[0036]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于
下述的实施例。
[0037]如图10所示，针对目前检索式对话模型的不足，本专利技术提出一种用于固定知识领域检索模型的多轮对话方法，包括以下步骤：
[0038]S1、构建统一格式的语料库，利用数据库与网页技术，开发语料收集平台；
[0039]S2、提取文本的TF
‑
IDF特征，进行BM25检索，为输入文本提供候选回复；
[0040]S3、利用BERT模型预测下文的特性，将输入文本与候选回复组成句子对输入到BERT模型中，预测出得分最高的回复，即为期望的回复；
[0041]S4、采用基于KdConv知识图谱进行数据增强，在BERT模型的基础上添加三元组数据信息进行训练；
[0042]S5、优化原来的目标函数及确定注意力损失系数，选择最优的注意力损失系数。
[0043]步骤S1中，采用Mysql数据库+Springboot后端架构+react前端框架实现一个规范的数据集收集平台；
[0044]实施例
[0045]本实施例提供了一种音乐领域检索式模型对话方法，该方法的框架示意图如图2所示，具体包括以下步骤：
[0046]S1、KdConv格式数据集的收集，获取高质量的含有知识图谱三元组信息；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于固定知识领域检索模型的多轮对话方法，其特征在于，包括以下步骤：1)获取输入问句文本的tf
‑
idf特征并进行粗排序，得到多个最佳匹配的候选回复；2)将问句文本与候选回复组成句子对，并采用预训练的BERT模型进行精确排序，预测出得分最高的回复即为期望的回复。2.根据权利要求1所述的一种用于固定知识领域检索模型的多轮对话方法，其特征在于，所述的步骤1)具体为：对输入的问句文本进行TF
‑
IDF特征转换后，根据输入问句文本与语料库中文本的相关性采用两轮BM25检索进行粗排序，并选出与输入文本最匹配的问题。3.根据权利要求2所述的一种用于固定知识领域检索模型的多轮对话方法，其特征在于，第一轮BM25检索，通过Q
‑
Q匹配的方式，将查询文本与语料库中的所有问句文本进行检索并筛选出前十个最匹配的问题，每个问题对应多轮对话，将这些对话作为第二轮BM25检索的候选回复，对于第一轮BM25检索后得到的得分最高的回复，将输入问句文本与回复拼接后再次作为候选回复进行第二轮BM25检索，最终检索出10个最佳匹配的候选回复。4.根据权利要求1所述的一种用于固定知识领域检索模型的多轮对话方法，其特征在于，所述的步骤2)中，基于KdConv格式数据集对问句文本和候选回复组成的句子对进行基于知识图谱的数据增强。5.根据权利要求4所述的一种用于固定知识领域检索模型的多轮对话方法，其特征在于，在BERT模型的预训练阶段中，将KdConv格式数据集中的三元组数据与BERT结构的输出进行合并，用以提升模型的回复效果。6.根据权利要求5所述的一种用于固定知识领域检索模型的多轮对话方法...

【专利技术属性】
技术研发人员：刘成菊，陈启军，徐玮晗，
申请(专利权)人：同济大学，
类型：发明
国别省市：