一种基于BERT模型与外部知识图谱的问答系统构建方法技术方案

本发明专利技术适用于深度学习和自然语言处理技术领域，提供了一种基于BERT模型与外部知识图谱的问答系统构建方法，包括以下步骤：对输入的单词进行词嵌入与字符嵌入，预处理后得到嵌入向量；使用堆叠编码器提取特征；将提取特征得到的向量与使用外部知识图得到的知识表示进行融合；计算出注意力得分矩阵，融合知识表示得到问题感知上下文表示；使用堆叠模型编码器，得到最后的嵌入表达，使用激活函数得到答案的开始和结束位置的概率的预测；将预测答案与真实答案进行文本蕴含识别。本发明专利技术采用静态动态相结合的嵌入，有利于机器对自然语言的理解；本发明专利技术运用知识图谱的概念，增加准确率；增加答案验证的部分，将答案验证任务转换为文本蕴含识别任务。蕴含识别任务。蕴含识别任务。

【技术实现步骤摘要】
一种基于BERT模型与外部知识图谱的问答系统构建方法


[0001]本专利技术属于深度学习和自然语言处理
，尤其涉及一种基于BERT模型与外部知识图谱的问答系统构建方法。

技术介绍

[0002]基于深度学习和嵌入向量的智能问答系统中，词嵌入多为静态的，使用预训练好的模型进行固定的词嵌入，像GLoVe模型，每个单词都有自己固定的嵌入。自从大型预训练语言模型如BERT、GPT等提出以后，自然语言处理领域中诸多下游任务的性能有了很大提升。在智能问答任务中，相同词汇在不同语境中可能具有不同的语义。但是，如果使用单词固定嵌入的预训练模型，则无论单词的语境如何变化，其嵌入都是一样的，因此表达的语义也是一样的，那么就会导致文章理解上的错误。本方法选择同时使用静态的GloVe嵌入与动态的BERT嵌入相结合，更好地表示词汇在不同语境下的语义特征。
[0003]知识图谱表征了不同实体之间的关系，将其作为外部知识引入，在理论上可以提高问答系统的能力。本方法使用知识图谱作为外部表示，是有别于知识图谱问答的。对于知识图谱问答，整个过程是在知识图的基础上进行的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于BERT模型与外部知识图谱的问答系统构建方法，其特征在于，包括以下步骤：步骤A、对输入的单词进行词嵌入与字符嵌入，进行预处理后得到可以输入到神经网络的嵌入向量；步骤B、根据步骤A得到的嵌入向量，使用堆叠编码器提取特征；步骤C、使用外部的知识图谱，用来增加文本之间的关系的表示，记为上下文与问题的知识表示，将步骤B得到的向量，与知识表示进行融合；步骤D、根据步骤C得到的表示，使用注意力机制计算出注意力得分矩阵，得到问题感知上下文表示；步骤E、根据步骤D得到问题感知上下文表示，使用堆叠模型编码器，得到最后的嵌入表示，并使用激活函数得到答案的开始和结束位置的概率预测；步骤F、根据步骤E得到的预测答案，与步骤A输入的真实答案进行文本蕴含识别，判断问题是否是可回答的。2.根据权利要求1所述的基于BERT模型与外部知识图谱的问答系统构建方法，其特征在于，所述步骤A采用GloVe与BERT相结合的方式，同时进行词嵌入，形成词嵌入向量。3.根据权利要求2所述的基于BERT模型与外部知识图谱的问答系统构建方法，其特征在于，所述步骤A中，使用CNN对每个单词上的字符进行嵌入，形成字符向量。4.根据权利要求3所述的基于BERT模型与外部知识图...

【专利技术属性】
技术研发人员：时小虎，姜冉，陶紫涵，杨森，
申请(专利权)人：吉林大学，
类型：发明
国别省市：