一种融合多头注意力机制和相对位置编码的知识库问答方法技术

本发明专利技术涉及一种融合多头注意力机制和相对位置编码的知识库问答方法，属于自然语言处理领域，引入Transformer编码器代替BiLSTM对问题进行编码，同时，由于Transformer的结构问题，它对获取句子中相对位置词语信息的能力不足，本发明专利技术采用Transformer－XL中的相对位置编码思想，对Transformer中使用的绝对位置编码公式进行了改写，使用了相对位置编码代替其中的绝对位置编码，弥补了获取相对位置词语信息能力不足的情况。息能力不足的情况。息能力不足的情况。

【技术实现步骤摘要】
一种融合多头注意力机制和相对位置编码的知识库问答方法


[0001]本专利技术属于自然语言处理领域，涉及一种融合多头注意力机制和相对位置编码的知识库问答方法。

技术介绍

[0002]基于知识库的自然问答是自然语言处理领域中的一项经典任务，通过给定自然语言问题，对问题进行解析，利用知识库信息进行查询和推理，得出答案。知识库问答作为人工智能、自然语言处理和信息检索等领域的一个研究热点，它可以通过简明和精准的语言对用户的自然语言问句进行回答，使得软件产品的使用变得更加简单和高效，将自然语言问答系统应用在互联网客服领域可以大大减少企业所需要投入的人力，从而降低企业成本。问答系统在人类生活的很多方面都发挥着重要作用，具有较好的研究价值和发展前景。
[0003]目前基于知识库问答的方法可以分为两种，一种是基于语义解析的方法，这种方法主要是利用构造一个语义解析器把问句转换成结构化的查询语句。主要思想是将自然语言问题转化成形式化的逻辑形式单元，再通过解析得到表示问题整体语义的逻辑形式，最后通过相应的查询语句在知识库中查询得到结果。目前大多数基于语义解析的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合多头注意力机制和相对位置编码的知识库问答方法，其特征在于：包括以下步骤：S1：对输入的自然语言进行预训练，得到300维词向量glove，作为词嵌入层；S2：利用所述词嵌入层将给定问题集合转换成词嵌入序列；S3：使用引入了相对位置编码信息的TransformerEncoder模块对所述词嵌入序列进行编码得到问题向量H
Q
；S4：对候选答案集合的三种类型信息进行编码，所述三种类型信息为答案类型、答案路径和答案上下文相关信息；S5：将候选答案的实体类型的文本描述用BiLSTM编码成d维的向量表示S6：将从候选答案到问句的主题实体词的关系序列定义为答案路径，使用BiLSTM将其编码成向量表示S7：通过一个关系嵌入层计算的关系嵌入的平均值作为向量表示S8：将候选答案的周围节点定义为候选答案的上下文，将所述候选答案的上下文使用BiLSTM编码成向量表示S9：使用key
‑
value记忆网络来存储候选答案信息；S10：利用主注意力网络增进问题信息和候选答案信息的交互，使用副注意力网络进一步增强问题信息和候选答案信息的交互，得到增强的问题向量表示和候选答案信息表示S11：通过注意力机制使用问题表示向量查询键值存储器，提取最相关的信息用以更新问题表示向量得到S12：对问题Q的表示和候选答案集合的表示进行匹配度打分根据分数对候选答案排序，分数越高的被认为越接近正确答案。2.根据权利要求1所述的融合多头注意力机制和相对位置编码的知识库问答方法，其特征在于：步骤S8中所述使用key
‑
value记忆网络来存储候选答案信息，对其进行如下线性投影：投影：投影：其中，和是答案类型的d维key值表示和value值表示，和是答案路径的相应d维key值表示和value值表示，和是答案上下文相应的d维key值表示和value值表示。
3.根据权利要求1所述的融合多头注意力机制和相对位置编码的知识库问答方法，其特征在于：所述TransformerEncoder模块为Transformer模型中的编码器小单元块，其包括多头注意力机制层Multi
‑
head Attention和前馈神经网络层Feed Forward，在每一层后都有一个残差连接&归一化层Add&Normalize，TransformerEncoder模块的输入是由词向量token embedding加位置向量positional embedding组成，所述positional embedding的计算公式如下：计算公式如下：其中，pos表示单词的位置，i是指单词的维度，在偶数位置，使用正弦编码，在奇数位置，使用余弦编码。4.根据权利要求3所述的融合多头注意力机制和相对位置编码的知识库问答方法，其特征在于：在多头注意力机制中，一个输入向量x经过h组权重矩阵得到h组query、key和val...

【专利技术属性】
技术研发人员：甘玲，肖阳，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：