一种基于表示学习与多层覆盖机制的生成式知识问答方法技术

本发明专利技术涉及一种基于表示学习与多层覆盖机制的生成式知识问答方法，属于人工智能和自然语言处理技术领域。针对知识问答系统的知识库中，事实不能被有效表示导致降低查找正确答案能力，生成式问答任务中模型会陷入某种模式中无法跳出，或在某个模式中重复生成已生成过的词汇，导致答案可读性下降的技术问题，首先建立生成式知识问答模型，使用Seq2Seq框架，结合注意力机制、CopyNet模型、GenQA模型和Coverage覆盖机制，通过编码器解析问题，并通过查询知识库中的信息，使用解码器生成答案。在给定场景下，能够生成完整的一句话，答案包含正确的知识，且生成的答案具有流畅性、一致性和正确性，在经典的知识问答数据集、限定领域和开放领域的问答数据集都取得很好效果。

A generative knowledge Q & a method based on representation learning and multi-layer covering mechanism

【技术实现步骤摘要】
一种基于表示学习与多层覆盖机制的生成式知识问答方法
本专利技术涉及一种生成式知识问答方法，具体涉及一种基于表示学习与多层覆盖机制的生成式知识问答方法，属于人工智能和自然语言处理领域

技术介绍
问答系统(QuestionAnsweringSystem，QA)是信息检索系统的一种高级形式，它能用准确、简洁的自然语言回答用户用自然语言提出的问题，其研究兴起的主要原因是人们对快速、准确地获取信息的需求。问答系统是目前人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向。知识问答系统的任务是，根据用户问题的语义，直接在知识库上查找、推理出相匹配的答案。这一任务也称之为面向知识库的问答系统或知识库问答(Questionansweringoverknowledgebase，KBQA)。在深度学习出现之前，知识问答领域已经有了很多方法来完成这项任务。针对KBQA任务，传统方法对问题的语义理解主要有三种方式：语义分析建模、信息抽取建模、向量建模。这些传统KBQA方法存在很多缺陷，比如：需要很多的先验知识、模型复杂、模型不本文档来自技高网...

【技术保护点】
1.一种基于表示学习与多层覆盖机制的生成式知识问答方法，其特征在于，包括以下步骤：/n给定场景如下：/n(1)单轮生成式知识问答任务，针对三元组尾实体进行问询；/n(2)语料已经通过命名实体识别和主题词识别处理；/n(3)给定知识库或与主题词相关的知识子图，以及知识库的表示学习结果；/n步骤1：抓取真实世界用户问题数据，从开放领域获取问答语料和知识库信息，生成开放领域数据集；/n步骤2：在对原问题的编码中，在词向量的基础上加入字向量，利用知识表示学习方法代替基础词典的词向量；/n步骤3：获取问题和知识库信息；/n使用双向循环神经网络获取问题的隐藏状态，使用向量拼接方式获取知识库的记忆模块；使用...

【技术特征摘要】
20190606 CN 20191049066771.一种基于表示学习与多层覆盖机制的生成式知识问答方法，其特征在于，包括以下步骤：
给定场景如下：
(1)单轮生成式知识问答任务，针对三元组尾实体进行问询；
(2)语料已经通过命名实体识别和主题词识别处理；
(3)给定知识库或与主题词相关的知识子图，以及知识库的表示学习结果；
步骤1：抓取真实世界用户问题数据，从开放领域获取问答语料和知识库信息，生成开放领域数据集；
步骤2：在对原问题的编码中，在词向量的基础上加入字向量，利用知识表示学习方法代替基础词典的词向量；
步骤3：获取问题和知识库信息；
使用双向循环神经网络获取问题的隐藏状态，使用向量拼接方式获取知识库的记忆模块；使用双向循环神经网络作为编码器，输入问题序列，编码器的输出为问题的记忆单元MQ储存编码器的所有隐藏状态；
利用主题词在知识库中抽取的知识子图作为问答的知识库，知识库中任意一条事实表示为其头、尾、关系的向量拼接，编码后得到知识库的记忆模块MKB；
步骤4：更新当前解码器的隐状态；
使用单向RNN作为解码器，使用t-1时刻问题和知识库的加权向量表征补充e(yt-1)缺失的信息，更新当前解码器的隐状态，输出答案序列；在RNN状态更新时，要处理基础词典中缺少源端和知识库对应的词及其词向量e(yt-1)，以及源端和知识库的情况；
步骤5：计算模型目标端输出概率；
模型目标端输出概率，由生成模式p(yt,g|·)、复制模式p(yt,c|·)、KB查询模式p(yt,kb|·)三个部分共同决定，得分最高的yt是模型在t时刻的输出，三个模式通过局部覆盖机制和全局覆盖机制来得到最终的得分；
三个模式在答案的生成过程中，应在总体上保持平衡，使用全局覆盖机制来记录三个模式的历史关注：
步骤5.1：预测模式；
此模式是解码端的基本模式，用于生成基础词典中的词；
计算得到词典中每一个词的得分：



其中，Wgen是张量，vi是词的独热表示，通过点积获取词的得分；st表示t时刻解码器的隐藏状态，st后拼接了cqt和ckbt两个向量；通过此时的问题的加权表征和知识库的加权表征来指导生成模式的预测；
步骤5.2：复制模式；
计算将问题部分词汇复制到答案序列的得分；复制模式会构建一个新的词典，其中保存没有在基础词典中出现的词，模型会预测需要复制问题序列的第几个词；xj是问题序列第j个词，hj是xj的解码器输出；
histq是局部覆盖机制向量，每一维记录前t-1时刻问题序列中每一个位置历史关注度；histq视为t时刻的解码状态的一部分，st和histq被分别理解为t时刻模型的语义状态和复制模式的历史状态，将二者进行拼接：
sorcecop(yt＝xj)＝tanh([st,histq]T·Wc)hj
其中，Wc是张量；
步骤5.3：查询知识库，将最匹配的事实填入答案中；
该模式构建一个词典，其中保存知识库中出现的OOV词，模型会预测需要复制知识库中的第几个三元组的尾实体；fk代表知识库中第k三元组的尾实体；st代表语义状态，q为问...

【专利技术属性】
技术研发人员：刘琼昕，王亚男，龙航，卢士帅，王佳升，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11