一种基于BERT与知识表示学习的问答系统及方法技术方案

本发明专利技术提供的一种基于BERT与知识表示学习的问答系统及方法，包括以下步骤：步骤1，获取原始数据集，并对原始数据集进行训练，得到训练后的数据集；步骤2，接收问题语句，分别对接收到的问题语句进行实体识别和属性识别，分别得到实体信息和属性信息；步骤3，将步骤2中得到的实体信息与步骤1中的原始数据集进行实体链接，得到标准实体信息；步骤4，将步骤3中得到的标准实体信息、步骤2中得到的属性信息、以及步骤1中得到的训练后的数据集进行推理，得到标准实体信息与属性信息对应的答案，进而得到问题语句的答案；本发明专利技术解决了传统的智能问答系统预定义规则有限而无法回答各种类型问句的问题。句的问题。

【技术实现步骤摘要】
一种基于BERT与知识表示学习的问答系统及方法


[0001]本专利技术涉及到自然语言处理
，特别是设计到一种基于BERT与知识表示学习的问答系统及方法。

技术介绍

[0002]问答系统(Question Answering System,QA)是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题。传统的智能问答系统通过问句解析获取实体与属性信息，然后基于预定义问句规则生成结构化查询语句，进而在数据集中检索答案并返回。但基于规则的答案推理仅能够处理已定义的规则，不能覆盖问句的所有情况。

技术实现思路

[0003]本专利技术的目的在于提供一种基于BERT与知识表示学习的问答系统及方法，解决了传统的智能问答系统预定义规则有限而无法回答各种类型问句的问题。
[0004]为了达到上述目的，本专利技术采用的技术方案是：
[0005]本专利技术提供的一种基于BERT与知识表示学习的问答方法，包括以下步骤：
[0006]步骤1，获取原始数据集，并对原始数据集进行训练，得到训练后的数据集；
[0007]步骤2，接收问题语句，对接收到的问题语句分别进行实体识别和属性识别，分别得到实体信息和属性信息；
[0008]步骤3，将步骤2中得到的实体信息与步骤1中的原始数据集进行实体链接，得到标准实体信息；
[0009]步骤4，将步骤3中得到的标准实体信息、步骤2中得到的属性信息、以及步骤1中得到的训练后的数据集进行推理，得到标准实体信息与属性信息对应的答案，进而得到问题语句的答案。
[0010]优选地，步骤1中，对原始数据集进行训练，得到训练后的数据集，具体方法是：
[0011]利用基于TransE的知识表示学习方法对原始数据集进行训练。
[0012]优选地，利用基于TransE的知识表示学习方法对原始数据集进行训练，具体方法是：
[0013]S21，获取原始数据集，该原始数据集中包括有多组三元组；
[0014]S22，利用Word2vec预训练词向量对S21中得到的原始数据集中的每组三元组进行初始化，获得每组三元组的初始向量；
[0015]S23，利用基于TransE模型训练S22中得到的每组三元组的初始向量，获得每组包含语义信息的三元组向量，进而得到训练后的数据集。
[0016]优选地，步骤2中，分别对接收到的问题语句进行实体识别和属性识别，具体方法是：
[0017]利用基于BERT+CRF的命名实体识别方法对问题语句进行实体识别，得到实体信
息；
[0018]利用基于BERT的文本分类方法对S1中的问题语句进行属性识别，得到属性信息。
[0019]优选地，利用基于BERT+CRF的命名实体识别方法对问题语句进行实体识别，具体方法是：
[0020]将得到的问题语句按字进行分隔，之后输入至BERT预训练模型中进行自编码，获得问句编码向量；
[0021]将得到的问句编码向量输入至实体识别模型的CRF层，得到预测标签序列；
[0022]根据得到的预测标签序列对所述问题语句进行命名实体识别，得到实体信息。
[0023]优选地，利用基于BERT的文本分类方法对S1中的问题语句进行属性识别，具体方法是：
[0024]S41、将得到的问题语句输入至BERT预训练模型进行字编码，获得问句编码向量；
[0025]S42、利用Softmax多分类器对句编码向量中[CLS]向量进行分类，得到问题语句对应的属性信息。
[0026]优选地，步骤3中，将步骤2中得到的实体信息与步骤1中的原始数据集进行实体链接，得到标准实体信息，具体方法是：
[0027]利用Word2vec模型，将S步骤2中得到的实体信息与步骤1中的原始数据集中的每组三元组进行词语相似度匹配，将相似度值最高的三元组中的实体作为标准实体，进而得到标准实体信息。
[0028]优选地，S4中，将步骤3中得到的标准实体信息、步骤2中得到的属性信息、以及步骤1中得到的训练后的数据集进行推理，得到标准实体信息与属性信息对应的答案，具体方法是：
[0029]将得到的标准实体信息与训练后的数据集进行匹配，判断标准实体信息的类别，其中，当标准实体信息为头实体时，进入S62；否则进入S65；
[0030]S62，将判别后的标准实体信息与步骤2中得到的属性信息分别转化为训练后的数据集中对应的向量；
[0031]S63，根据S62中得到的向量，结合知识推理方法，获得问题语句对应的答案向量；
[0032]S64，将得到的答案向量与训练后的数据集中的尾实体向量进行余弦相似度匹配，取相似度最高的尾实体向量对应的尾实体作为最终答案；
[0033]S65，将判别后的标注实体信息与S5中得到的属性信息分别转化为训练后的数据集中对应的向量；
[0034]S66，根据S62中得到的向量，结合知识推理方法，获得问题语句对应的答案向量；
[0035]S67，将得到的答案向量与训练后的数据集中头实体向量进行余弦相似度匹配，取相似度最高的头实体向量对应的头实体作为最终答案。
[0036]随着知识表示学习的发展，数据集中数据可以转化为包含语义信息的向量，则答案推理过程可以转换为向量计算，进而获取答案。
[0037]一种基于BERT与知识表示学习的问答系统，该系统能够用于所述的一种基于BERT与知识表示学习的问答系统，包括采集模块、识别模块、以及处理模块；其中，
[0038]采集模块用于获取原始数据集，并对原始数据集进行训练，得到训练后的数据集；
[0039]识别模块用于将接收到的问题语句进行实体识别和属性识别，分别得到实体信息
和属性信息；
[0040]处理模块用于将实体信息与原始数据集进行实体链接，得到标准实体信息；并将标准实体信息、属性信息、训练后的数据集进行推理处理，得到标准实体信息与属性信息对应的答案，进而得到问题语句的答案。
[0041]与现有技术相比，本专利技术的有益效果是：
[0042]本专利技术提供的一种基于BERT与知识表示学习的问答方法，针对传统问答系统预定义规则有限而无法回答各种类型问句的问题，本专利技术利用基于TransE的知识推理方法，避免预定义规则，使问答系统可以回答各类问题；针对传统问答系统问句解析模型复杂的问题，本专利技术利用基于BERT预训练模型解析问句，降低了问句解析模型复杂度；进而本专利技术解决了传统的智能问答系统预定义规则有限而无法回答各种类型问句的问题。
[0043]本专利技术提供的一种基于BERT与知识表示学习的问答系统，通过利用处理模块的知识推理方法，避免了人工预定义问句类型的步骤，丰富了问答系统可回答问题类型；通过利用识别模块对问题语句的实体信息和属性信息进行识别，降低了问句解析模型复杂度，提高了问句解析效率；本系统解决了传统的智能问答系统预定义规则有限而无法回答各种类型问句的问题。
...

【技术保护点】

【技术特征摘要】
1.一种基于BERT与知识表示学习的问答方法，其特征在于，包括以下步骤：步骤1，获取原始数据集，并对原始数据集进行训练，得到训练后的数据集；步骤2，接收问题语句，对接收到的问题语句分别进行实体识别和属性识别，分别得到实体信息和属性信息；步骤3，将步骤2中得到的实体信息与步骤1中的原始数据集进行实体链接，得到标准实体信息；步骤4，将步骤3中得到的标准实体信息、步骤2中得到的属性信息、以及步骤1中得到的训练后的数据集进行推理，得到标准实体信息与属性信息对应的答案，进而得到问题语句的答案。2.根据权利要求1所述的一种基于BERT与知识表示学习的问答方法，其特征在于，步骤1中，对原始数据集进行训练，得到训练后的数据集，具体方法是：利用基于TransE的知识表示学习方法对原始数据集进行训练。3.根据权利要求2所述的一种基于BERT与知识表示学习的问答方法，其特征在于，利用基于TransE的知识表示学习方法对原始数据集进行训练，具体方法是：S21，获取原始数据集，该原始数据集中包括有多组三元组；S22，利用Word2vec预训练词向量对S21中得到的原始数据集中的每组三元组进行初始化，获得每组三元组的初始向量；S23，利用基于TransE模型训练S22中得到的每组三元组的初始向量，获得每组包含语义信息的三元组向量，进而得到训练后的数据集。4.根据权利要求1所述的一种基于BERT与知识表示学习的问答方法，其特征在于，步骤2中，分别对接收到的问题语句进行实体识别和属性识别，具体方法是：利用基于BERT+CRF的命名实体识别方法对问题语句进行实体识别，得到实体信息；利用基于BERT的文本分类方法对S1中的问题语句进行属性识别，得到属性信息。5.根据权利要求4所述的一种基于BERT与知识表示学习的问答方法，其特征在于，利用基于BERT+CRF的命名实体识别方法对问题语句进行实体识别，具体方法是：将得到的问题语句按字进行分隔，之后输入至BERT预训练模型中进行自编码，获得问句编码向量；将得到的问句编码向量输入至实体识别模型的CRF层，得到预测标签序列；根据得到的预测标签序列对所述问题语句进行命名实体识别，得到实体信息。6.根据权利要求4所述的一种基于BERT与知识表示学习的问答方法，其特征在于，利用基于BERT的文本分类方法对S1中的问题语句进行属性识别，具体方法是：S41、将得到的问题语句输入至BERT预...

【专利技术属性】
技术研发人员：姜洪超，金莉，石岩，康宗，罗晓东，王勇，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：