基于分层知识图谱注意力模型的文本关系抽取方法及系统技术方案

本发明专利技术提供了一种基于分层知识图谱注意力模型的文本关系抽取方法及系统，其方法包括：首先根据待处理文本选取训练文本集和知识图谱，并对训练文本集和知识图谱分别进行预处理；然后构建分层知识图谱注意力模型，并利用预处理后的训练文本及对该模型进行训练；最后将所述待处理文本中所有句子的头实体和尾实体进行标注，并将标注后的待处理文本输入所述训练后的分层知识图谱注意力模型，得到关系结果。本发明专利技术的有益效果是：本发明专利技术所提出的技术方案提出一种分层知识图谱注意力模型，利用知识图谱表示帮助模型分配句子和词的权重，提高了模型的关系预测的准确率和召回率，进而提高了文本关系的抽取准确度。

【技术实现步骤摘要】
基于分层知识图谱注意力模型的文本关系抽取方法及系统
本专利技术涉及关系抽取领域，尤其涉及一种基于分层知识图谱注意力模型的文本关系抽取方法及系统。
技术介绍
知识图谱(knowledgebases)为真实世界的事实提供了有效的结构化信息，被很多自然语言处理(NLP)任务(比如网页搜索和知识问答)用作关键资源。典型的知识图谱有Freebase、DBpedia和YAGO。由于真实世界中的事实可以说是无穷无尽的，并且每天都在不断增长，因此现存的知识图谱还远远不够完全。因此，信息抽取任务被越来越多的人重视。信息抽取旨在从大规模非结构或半结构的自然语言文本中抽取结构化信息。关系抽取是其中的重要子任务之一，主要目的是从自然语言文本中的目标实体对之间抽取实体对之间存在的语义关系。它对于许多自然语言处理(NLP)任务有着很重要的作用，包括知识问答，网页搜索和知识图谱的构建等。关系抽取的输出一般是一个三元组(头实体，关系，尾实体)，表示实体1和实体2之间存在特定类别的语义关系。例如，句子“中国的首都是北京”中可以抽取出关系(中国，首都，北京)这个三元组。关系抽取最常用的方法是监督学习和深度学习，这两种方本文档来自技高网...

【技术保护点】
1.一种基于分层知识图谱注意力模型的文本关系抽取方法，其特征在于：包括以下步骤：S101：根据待处理文本从各开源数据库中获取训练文本集；其中，所述训练文本集中包含有所述待处理文本的所有头实体和尾实体；S102：根据所述训练文本集从各开源数据库中获取知识图谱；所述训练文本集中的所有头实体和尾实体均包含于所述知识图谱中；S103：将所述训练文本集划分为多个头实体和尾实体相同的句子组成的包；即每个包中包含多个句子，一个包中的所有句子的头实体和尾实体均相同，不同的包中的句子对应的头实体和尾实体不同；S104：采用TransR模型将所述知识图谱进行转向量处理，得到转向量处理后的知识图谱；其中，所述Tra...

【技术特征摘要】
1.一种基于分层知识图谱注意力模型的文本关系抽取方法，其特征在于：包括以下步骤：S101：根据待处理文本从各开源数据库中获取训练文本集；其中，所述训练文本集中包含有所述待处理文本的所有头实体和尾实体；S102：根据所述训练文本集从各开源数据库中获取知识图谱；所述训练文本集中的所有头实体和尾实体均包含于所述知识图谱中；S103：将所述训练文本集划分为多个头实体和尾实体相同的句子组成的包；即每个包中包含多个句子，一个包中的所有句子的头实体和尾实体均相同，不同的包中的句子对应的头实体和尾实体不同；S104：采用TransR模型将所述知识图谱进行转向量处理，得到转向量处理后的知识图谱；其中，所述TransR模型为利用所述知识图谱训练过后的TransR模型；S105：构建分层知识图谱注意力模型；所述分层知识图谱注意力模型包括第一注意力层和第二注意力层；所述第一注意力层包括多个句子编码器；所述句子编码器依次包括：输入层、嵌入层、双向GRU层、知识图谱注意力层和输出层；S106：采用所述多个头实体和尾实体相同的句子组成的包和所述转向量处理后的知识图谱对所述分层知识图谱注意力模型进行训练，得到训练后的分层知识图谱注意力模型；S107：将所述待处理文本中所有句子的头实体和尾实体进行标注，并将标注后的待处理文本输入所述训练后的分层知识图谱注意力模型，得到所述待处理文本中所有句子的头实体和尾实体对应的关系。2.如权利要求1所述的一种基于分层知识图谱注意力模型的文本关系抽取方法，其特征在于：步骤S106中，采用多个头实体和尾实体相同的句子组成的包和转向量处理后的所述知识图谱对所述分层知识图谱注意力模型进行训练，得到训练后的分层知识图谱注意力模型；具体步骤包括：S201：在所述多个头实体和尾实体相同的句子组成的包中随机选择一个未参加过训练的包作为第一包输入至第一注意力层，得到所述第一包中各个句子的特征向量yj；其中，j＝1,2,…,n，n为所述第一包中句子的总个数；S202：将所述特征向量作为第二注意力层的输入，得到所述第一包对应的关系向量rs；S203：根据关系向量rs，采用softmax分类器，计算获得所述第一包的关系概率矩阵P(rs|Bs,θ)；计算公式如公式(4)所示：上式中，Bs为所述转向量处理后的知识图谱，θ为整个模型的参数；M为待训练的参数矩阵，包含于θ中，初始值采用随机获取方法赋值；S204：根据关系概率矩阵P(rs|Bs,θ)，采用如公式(5)所示的最大似然函数作为损失函数Jθ对所述分层知识图谱注意力模型进行优化：上式中，λ为预设的超参数，取0.0001；θ表示整个模型的待训练参数；Ss为所述转向量处理后的知识图谱中对应的包；s＝1,2,…,t；t为包的总个数；S205：采用随机梯度下降法SGD来最小化所述损失函数，同时对所有待训练参数进行调节；并将参数调节后的分层知识图谱注意力模型作为新的分层知识图谱注意力模型；S206：判断循环次数是否达到设定的最大迭代次数或者Jθ的值稳定至预设范围？若是，则到步骤S207；否则返回步骤S201；S207：将此时的分层知识图谱注意力模型作为训练后的分层知识图谱注意力模型。3.如权利要求2所述的一种基于分层知识图谱注意力模型的文本关系抽取方法，其特征在于：步骤S201中，在所述多个头实体和尾实体相同的句子组成的包中随机选择一个未参加过训练的包作为第一包输入至所述第一注意力层，得到所述第一包中各个句子的特征向量的方法为：将所述第一包中各句子同时输入至所述第一注意力层；其中，每个句子对应一个所述第一注意力层的句子编码器；各句子编码器分别对输入的句子进行处理，得到所述第一包中各个句子的特征向量yj；其中，j＝12,…,n，n为所述第一包中句子的总个数；具体的，任意某个句子编码器对输入该句子编码器中的单个句子进行处理的步骤包括：S301：将所述单个句子中的各个词同时输入至输入层，以对所述句子做词嵌入处理，得到所述单个句子中每个词所对应的词嵌入向量；S302：将所述词嵌入向量输入至嵌入层，以对所述单个句子中的每个词的位置做嵌入处理，得到所述单个句子中的每个词所对应的位置嵌入向量；S303：将所述单个句子的每个词的词嵌入向量和位置嵌入向量进行收尾拼接，得到所述单个句子中每个词的最终表示向量；S304：将每个词的所述最终表示向量同时输入至所述双向GRU层，得到所述单个句子中每个词对应的词表示向量hi；将所述单个句子中所有的词对应的词表示向量hi依次组合至一个向量中，得到所述句子的特征向量H；即H＝[h1,h2,…,hm]；其中，i＝1,2,…,m；m为所述单个句子中词的总个数；S305：将所述特征向量H输入至知识图谱注意力层，得到所述单个句子的特征向量y。4.如权利要求3所述的一种基于分层知识图谱注意力模型的文本关系抽取方法，其特征在于：步骤S301中，采用Word2vec工具对所述句子做词嵌入处理；所述Word2Vec工具为已利用skip-gram模型完成词向量训练的Word2Vec工具。5.如权利要求3所述的一种基于分层知识图谱注意力模型的文本关系抽取方法，其特征在于：步骤S302中，对所述单个句子中的每个词的位置做嵌入处理的方法为：把所述单个句子中的每个词相对于该句子的头实体和尾实体的两个相对位置放在同一个向量中，作为每个词的位置嵌入向量；所述相对位置，为一个词和目标实体间的距离。6.如权利要求3所述的一种基于分层知识图谱注意力模型的文本关系抽取方法，其特征在于：步骤S305中，将所述特征向量H输入至知识图谱注意力层，得到该句子的特征向量y，具体步骤包括：S401：根据所述词的特征向量H，采用激活函数tanh()计算获得第一中间向量v，计算公式如公式(6)所示：v＝tanh(W1H+b)(6)上式中，W1和b分别为待训练的第一参数矩阵和待训练的偏置矩阵，初始值均采用随机获取方法赋值；S402：获取所述单个句子的头实体和尾实体在所述转向量处理后的知识图谱中的三元组，并将获得的三元组经过TransR模型处理后，得到所述单个句子的头实体向量h和尾实体向量t；进而采用头实体向量h、尾实体向量t计算获得所述单个句子对应的第一关系向量rht，具体计算公式如公式(7)所示：上式中，Mr为TransR模型训练后确定的内部权重矩阵；S403：根据所述中间向量v和所述关系向量rht，采用公式(8)计算获得第一权重向量α：α＝softmax([vW2；rht]×W3)(8)上式中，W2和W...

【专利技术属性】
技术研发人员：李新川，镇诗奇，李圣文，梁庆中，郑坤，姚宏，刘超，董理君，康晓军，
申请(专利权)人：中国地质大学武汉，
类型：发明
国别省市：湖北,42