一种融合多损失函数及注意力机制的知识库问答方法技术

本发明专利技术公开了一种融合多损失函数及注意力机制的知识库问答方法，该方法将问题和候选答案作为输入，采用Bi‑LSTM、Bi‑GRU作为主要特征提取器，同时融入注意力机制，并使用两个损失函数对模型进行优化，通过采用计算损失值反向传播来更新模型参数，训练网络模型直至该模型收敛。经过网络的训练，最终将问题和候选答案映射到维数相同的特征空间上，并用问题和候选答案特征向量间的内积计算二者的语义相似度，同时利用候选答案之间的余弦相似度来扩大不同答案之间的差异性。通过在SimpleQuestions数据集上进行测试，体现了该模型具有较强的特征映射能力及较高的准确率，从而证明了本方法的优越性。

A knowledge base question answering method based on multi loss function and attention mechanism

【技术实现步骤摘要】
一种融合多损失函数及注意力机制的知识库问答方法
本专利技术涉及深度学习、自然语言处理，知识库问答领域，特别涉及一种融合多损失函数及注意力机制的知识库问答方法。
技术介绍
知识库问答系统能够快速准确的回答用户所提问题，与搜索引擎相比，其检索更加高效，因此近来已成为自然处理领域研究的新热点。知识库问答过程分为多个模块，其中答案的文本匹配是知识库问答的一个关键步骤。在以往的知识库问答方法中，利用语义学的专业知识构建语义解析器，将自然语言问题转化为一种逻辑形式，再将此逻辑形式转化为对应的数据库查询表达式，得出最终的答案。这种方式虽然有较好的效果，但需要对数据集设置大量的人工规则，同时需要语义学专家来构建语义解析器，泛化能力较差。近些年，深度学习方法在自然语言处理的文本分类、情感分类、命名实体识别等领域都取得了非常好的结果。之所以能取得如此好的结果，主要是因为深度学习所采用的特征提取器，能够学习到一种很强的特征映射能力，而这为设计复杂的高精度文本匹配模型提供了可能性。针对知识库问答中答案的匹配过程，目前存在两种主流方法。首先是基于本文档来自技高网...

【技术保护点】
1.一种融合多损失函数及注意力机制的知识库问答方法，其特征在于：该方法包括数据准备、模型训练，文本匹配三个过程，具体如下；/n步骤S1，数据准备过程：/n步骤S1.1，实体识别:/n对问题中的实体进行识别，得到实体序列；/n步骤S1.2，得到候选答案:/n根据实体识别的结果查询知识库，得到实体对应的候选关系；正确答案所对应的关系作为正例；其他的关系作为负例；/n步骤S1.3，训练集准备：/n对数据集中的每个问题样本都进行以上处理，对于负例较少的样本，通过从关系池中随机上采样其他关系构成负例；/n步骤S2，模型训练过程：/n步骤S2.1，将用户问题以及步骤S1得到的正确关系及候选关系，输入进本方...

【技术特征摘要】
1.一种融合多损失函数及注意力机制的知识库问答方法，其特征在于：该方法包括数据准备、模型训练，文本匹配三个过程，具体如下；
步骤S1，数据准备过程：
步骤S1.1，实体识别:
对问题中的实体进行识别，得到实体序列；
步骤S1.2，得到候选答案:
根据实体识别的结果查询知识库，得到实体对应的候选关系；正确答案所对应的关系作为正例；其他的关系作为负例；
步骤S1.3，训练集准备：
对数据集中的每个问题样本都进行以上处理，对于负例较少的样本，通过从关系池中随机上采样其他关系构成负例；
步骤S2，模型训练过程：
步骤S2.1，将用户问题以及步骤S1得到的正确关系及候选关系，输入进本方法提出的神经网络，经过网络映射，分别得到问题的特征表示q和正确、错误关系的特征表示r,r’；
步骤S2.2，对于步骤S2.1处理得到的特征向量，组成(q,r,r’)的三元组对，计算问题和正确答案表示的内积得分S1,问题和错误答案的内积得分S2
步骤S2.3，根据本方法提出的损失计算公式，计算步骤S2.2得到的三元组对的损失值，并以损失函数值为目标优化本神经网络模型；公式如下：
loss＝...

【专利技术属性】
技术研发人员：杨新武，张煜，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11