一种远程监督关系抽取方法技术

本发明专利技术公开了一种远程监督关系抽取方法

【技术实现步骤摘要】
一种远程监督关系抽取方法、装置、电子设备及存储介质


[0001]本专利技术涉及关系抽取
，尤其涉及一种远程监督关系抽取方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]关系抽取
(Relation Extraction,RE)
是信息抽取的核心分支之一，旨在从非结构文本中提取给定实体对之间的语义关系
。
通过对句子和关系进行建模，关系抽取能够获得实体对之间的语义关系，并将其形成结构化的三元组数据
<
实体1，关系，实体
2>。
给定语句和句中实体对的情况下，实体关系抽取模型需要提取非结构化语句的语义特征，以预测句中实体对之间存在的语义关系，并生成统一格式的结构化信息
。
例如，对于给定的句子“Barack Obama was born in the United States”及其实体对
<Barack Obama,United States>
，实体关系抽取模型需要抽取出实体之间的关系“bornin”作为重要的语义处理任务
。
关系抽取在机器翻译
、
知识图谱构建
、
问答系统等复杂应用中起着重要作用，具有很大的研究价值
。
[0003]根据训练数据的标记程度，实体关系抽取算法主要分为三种：有监督学习算法
、
无监督学习算法<br/>、
半监督学习算法
。
有监督的学习算法准确率高但其人工标注成本高
、
效率低
。
无监督学习算法在没有确定关系标签的条件下根据语料的句法或语义结构自动从文本中提取可以描述对应关系的词汇或短语
。
半监督算法主要有两种：
Bootstrapping
算法和远程监督算法
。
[0004]然而，虽然基于远程监督的关系抽取方法可以解决人工标注语料的问题，但自动标注的语料存在噪声标签的问题
。
噪声标签的产生是由于远程监督过强的假设，基于该假设远程监督算法利用训练语料与知识库对齐的方式构建监督语料并进行模型训练
。
但这一假设导致大量实体关系被错误标注，严重影响关系抽取的性能
。

技术实现思路

[0005]本专利技术提供了一种远程监督关系抽取方法
、
装置
、
电子设备及存储介质，用于解决现有的远程监督关系抽取方法抽取精确度较低的技术问题
。
[0006]本专利技术提供了一种远程监督关系抽取方法，包括：
[0007]从预设的输入文本中提取实体对及所述实体对对应的词嵌入；
[0008]提取所述实体对的语义知识嵌入和结构知识嵌入；
[0009]采用所述词嵌入
、
所述语义知识嵌入和所述结构知识嵌入生成实体知识感知嵌入；
[0010]获取所述输入文本中的子词，并计算各子词与所述实体对的位置嵌入；
[0011]基于多头注意力机制，采用所述实体知识感知嵌入和所述位置嵌入生成所述实体对的局部线性特征；
[0012]将所述局部线性特征进行分段，并分别提取每个所述分段的最大值；
[0013]将各所述最大值进行拼接，得到句子特征；
[0014]根据所述句子特征判断所述实体对的关系分类类别
。
[0015]可选地，所述采用所述词嵌入
、
所述语义知识嵌入和所述结构知识嵌入生成实体知识感知嵌入的步骤，包括：
[0016]拼接所述语义知识嵌入和所述结构知识嵌入，生成词嵌入向量；
[0017]通过门控机制调整所述词嵌入向量和所述词嵌入的权重，并根据所述词嵌入向量
、
所述词嵌入和所述权重生成实体知识感知嵌入
。
[0018]可选地，所述获取所述输入文本中的子词，并计算各子词与所述实体对的位置嵌入的步骤，包括：
[0019]获取所述输入文本中的子词；
[0020]计算各所述子词与所述实体对之间的相对距离；
[0021]根据所述相对距离确定各所述子词的位置向量；
[0022]将所述位置向量作为各所述子词的位置嵌入
。
[0023]可选地，所述基于多头注意力机制，采用所述实体知识感知嵌入和所述位置嵌入生成所述实体对的局部线性特征的步骤，包括：
[0024]获取权重矩阵；
[0025]采用所述实体知识感知嵌入和所述位置嵌入生成词向量矩阵；
[0026]对所述词向量矩阵和所述权重矩阵进行卷积，得到初始局部线性特征；
[0027]将所述初始局部线性特征转换为对应的嵌入向量，得到第一张量，并确定所述第一张量的特征维度；
[0028]根据所述特征维度将所述嵌入向量划分为若干个头；
[0029]通过所述嵌入向量计算各所述头的查询向量
、
键向量和值向量；
[0030]采用所述查询向量和键向量生成所述输入文本各单词间的注意力权重；
[0031]根据所述注意力权重和所述值向量，生成各单词的输出向量；
[0032]采用所述输出向量生成输出特征表示；
[0033]将各所述头的输出特征表示进行拼接，得到所述实体对的局部线性特征
。
[0034]可选地，所述将所述局部线性特征进行分段，并分别提取每个所述分段的最大值的步骤，包括：
[0035]按照所述实体对的位置对所述局部线性特征进行分段，并分别提取每个所述分段的最大值
。
[0036]本专利技术还提供了一种远程监督关系抽取装置，包括：
[0037]实体对及词嵌入提取模块，用于从预设的输入文本中提取实体对及所述实体对对应的词嵌入；
[0038]知识嵌入提取模块，用于提取所述实体对的语义知识嵌入和结构知识嵌入；
[0039]实体知识感知嵌入生成模块，用于采用所述词嵌入
、
所述语义知识嵌入和所述结构知识嵌入生成实体知识感知嵌入；
[0040]位置嵌入计算模块，用于获取所述输入文本中的子词，并计算各子词与所述实体对的位置嵌入；
[0041]局部线性特征生成模块，用于基于多头注意力机制，采用所述实体知识感知嵌入
和所述位置嵌入生成所述实体对的局部线性特征；
[0042]分段模块，用于将所述局部线性特征进行分段，并分别提取每个所述分段的最大值；
[0043]拼接模块，用于将各所述最大值进行拼接，得到句子特征；
[0044]分类模块，用于根据所述句子特征判断所述实体对的关系分类类别
。
[0045]可选地，所述实体知识感知嵌入生成模块，包括：
[0046]词嵌入向量生成子模块，用于拼接所述语义知识嵌入和所述结构知识嵌本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种远程监督关系抽取方法，其特征在于，包括：从预设的输入文本中提取实体对及所述实体对对应的词嵌入；提取所述实体对的语义知识嵌入和结构知识嵌入；采用所述词嵌入
、
所述语义知识嵌入和所述结构知识嵌入生成实体知识感知嵌入；获取所述输入文本中的子词，并计算各子词与所述实体对的位置嵌入；基于多头注意力机制，采用所述实体知识感知嵌入和所述位置嵌入生成所述实体对的局部线性特征；将所述局部线性特征进行分段，并分别提取每个所述分段的最大值；将各所述最大值进行拼接，得到句子特征；根据所述句子特征判断所述实体对的关系分类类别
。2.
根据权利要求1所述的方法，其特征在于，所述采用所述词嵌入
、
所述语义知识嵌入和所述结构知识嵌入生成实体知识感知嵌入的步骤，包括：拼接所述语义知识嵌入和所述结构知识嵌入，生成词嵌入向量；通过门控机制调整所述词嵌入向量和所述词嵌入的权重，并根据所述词嵌入向量
、
所述词嵌入和所述权重生成实体知识感知嵌入
。3.
根据权利要求1所述的方法，其特征在于，所述获取所述输入文本中的子词，并计算各子词与所述实体对的位置嵌入的步骤，包括：获取所述输入文本中的子词；计算各所述子词与所述实体对之间的相对距离；根据所述相对距离确定各所述子词的位置向量；将所述位置向量作为各所述子词的位置嵌入
。4.
根据权利要求1所述的方法，其特征在于，所述基于多头注意力机制，采用所述实体知识感知嵌入和所述位置嵌入生成所述实体对的局部线性特征的步骤，包括：获取权重矩阵；采用所述实体知识感知嵌入和所述位置嵌入生成词向量矩阵；对所述词向量矩阵和所述权重矩阵进行卷积，得到初始局部线性特征；将所述初始局部线性特征转换为对应的嵌入向量，得到第一张量，并确定所述第一张量的特征维度；根据所述特征维度将所述嵌入向量划分为若干个头；通过所述嵌入向量计算各所述头的查询向量
、
键向量和值向量；采用所述查询向量和键向量生成所述输入文本各单词间的注意力权重；根据所述注意力权重和所述值向量，生成各单词的输出向量；采用所述输出向量生成输出特征表示；将各所述头的输出特征表示进行拼接，得到所述实体对的局部线性特征
。5.
根据权利要求1所述的方法，其特征在于，所述将...

【专利技术属性】
技术研发人员：曾碧卿，洪培林，姚勇涛，
申请(专利权)人：华南师范大学，
类型：发明
国别省市：