基于强化学习的关系抽取方法和装置制造方法及图纸

技术编号:18444837 阅读:64 留言:0更新日期:2018-07-14 10:20
本发明专利技术涉及自然语言处理技术领域,具体提供了一种基于强化学习的关系抽取方法和装置,旨在解决如何在弱监督数据中进行关系抽取的技术问题。为此目的,本发明专利技术中的基于强化学习的关系抽取方法,包括下述步骤:获取句子中各词的词向量和各词的位置向量;依据各词的词向量和位置向量,利用预设关系抽取器获取句子的关系类别;其中,预设关系抽取器为基于神经网络构建的模型,包括用于获取各词对应的词的向量表示的向量表示层,用于获取特征映射向量的卷积神经网络层,用于获取最终句子的向量表示的池化层,用于获取句子的关系类别的分类器层。通过本发明专利技术可以利用有监督模型在弱监督数据中获取句子的关系类别。

Method and device for relation extraction based on Reinforcement Learning

The invention relates to the field of Natural Language Processing technology, and provides a method and device for relation extraction based on reinforcement learning, which aims to solve the technical problem of how to extract relations in weak supervised data. To this end, the method of relation extraction based on reinforcement learning in the present invention includes the following steps: obtaining the word vector of each word in the sentence and the position vector of each word; based on the word vector and position vector of each word, the default relation extractor is used to obtain the relation category of the sentence; in this, the default relation extractor is based on the nerve. The model of network construction, which includes vector representation layer used to obtain vector representation of words corresponding to words, is used to obtain the convolution neural network layer of the feature mapping vector, which is used to obtain the pool layer of the vector representation of the final sentence, and is used to obtain the classifier layer of the relation category of the sentence. The invention can use the supervised model to obtain sentence categories in weakly supervised data.

【技术实现步骤摘要】
基于强化学习的关系抽取方法和装置
本专利技术涉及自然语言处理
,具体涉及一种基于强化学习的关系抽取方法和装置。
技术介绍
信息抽取技术是指快速地从各领域海量的非结构化的文本中发现知识,并将这些文本数据表示成计算机能够“理解”的形式。关系抽取是信息抽取技术中的重要内容,是从非结构化文本中自动识别出一对概念和联系这对概念的语义关系,并构成三元组。在关系抽取任务中,可以把这对概念称为一对实体,把这对概念之间的语义关系称为关系。传统的关系抽取方法大都为有监督模型方法。有监督模型方法依赖人工标注的数据,不仅费时费力而且难以进行大规模扩展。近年来,弱监督方法得到了一定的发展。弱监督方法是利用现有的知识库自动回标文本来自动获得大规模的训练数据。每个实体对所回标的句子集合为一个包,根据知识库可以获得每个包的标签信息,但是每个句子是没有直接的标签信息,这就导致传统的有监督模型无法在弱监督数据中进行关系抽取。
技术实现思路
为了解决现有技术中的上述问题,即为了解决如何在弱监督数据中进行关系抽取的技术问题,本专利技术提供了一种基于强化学习的关系抽取方法和装置。在第一方面,本专利技术中的基于强化学习的关系抽取方法,包括:步骤S100,获取句子中各词的词向量和各词的位置向量;步骤S200,依据所获取的各词的词向量和各词的位置向量,利用预设关系抽取器获取句子的关系类别;其中,所述预设关系抽取器为基于神经网络构建的模型,所述预设关系抽取器包括向量表示层、卷积神经网络层、池化层和分类器层;所述向量表示层,用于将所述各词的词向量和各词的位置向量进行拼接,获取各词对应的词的向量表示;所述卷积神经网络层,用于依据所述向量表示层所获取的词的向量表示,获取特征映射向量;所述池化层,用于依据所述卷积神经网络层所获取的特征映射向量,获取初步句子的向量表示,并将其与词的位置向量拼接,获取最终句子的向量表示;所述分类器层,用于依据所述池化层所获取的最终句子的向量表示,获取句子关系类别概率值,并将所获取的句子关系类别概率值最大的关系类别作为句子的关系类别。优选地,“获取句子中各词的词向量和各词的位置向量”的步骤具体包括:步骤S110,利用分词工具获取句子中的词序列,并利用词向量工具获取所述词序列中各词对应的词向量;步骤S120,获取句子中各词的位置向量。优选地,所述预设关系抽取器,其训练优化方法包括:步骤A1,使用弱监督方法处理预设的训练集;步骤A2,依据所述弱监督方法处理后的数据,利用预设关系抽取器,依次预测包中各句子的关系类别;步骤A3,依据所预测的各句子的关系类别和预设规则预测所述包的关系类别;步骤A4,依据预设奖赏值规则和所预测的包的关系类别与真实的包的关系类别,获取奖赏值;步骤A5,依据所得到的奖赏值,采用有基线的REINFORCE算法训练所述预设关系抽取器。优选地,所述预设规则为:当包中所有的句子的预测关系类别为NA,则预测包的关系类别为NA;所述NA的类别表示为没有关系;当所述包中有预测关系类别不为NA的句子时,将所述预测概率值最大的句子的预测关系类别作为包的关系类别。优选地,所述预设奖赏值规则为:当所述预测的包的关系类别与真实的包的关系类别一致,则得到的奖赏值+1;否则得到的奖赏值-1。在第二方面,本专利技术中的基于强化学习的关系抽取装置,包括第一获取模块和第二获取模块;所述第一获取模块,配置为获取句子中各词的词向量和各词的位置向量;所述第二获取模块,配置为依据所述第一获取模块所获取的各词的词向量和各词的位置向量,利用预设关系抽取器获取句子的关系类别;其中,所述预设关系抽取器为基于神经网络构建的模型,所述预设关系抽取器依次包括向量表示层、卷积神经网络层、池化层和分类器层;所述向量表示层,用于将所述各词的词向量和各词的位置向量进行拼接,获取各词对应的词的向量表示;所述卷积神经网络层,用于依据所述向量表示层所获取的词的向量表示,获取特征映射向量;所述池化层,用于依据所述卷积神经网络层所获取的特征映射向量,获取初步句子的向量表示,并将其与词的位置向量拼接,获取最终句子的向量表示;所述分类器层,用于依据所述池化层所获取的最终句子的向量表示,获取句子关系类别概率值,并将所获取的句子关系类别概率值最大的关系类别作为句子的关系类别。优选地,所述第一获取模块包括词向量获取单元和位置向量获取单元;所述词向量获取单元,配置为利用分词工具获取句子中的词序列,并利用词向量工具获取所述词序列中各词对应的词向量;所述位置向量获取单元,配置为获取句子中各词的位置向量。优选地,所述装置还包括训练优化模块;所述训练优化模块包括处理单元、句子关系预测单元、包的关系预测单元、奖赏值获取单元和训练单元;所述处理单元,配置为使用弱监督方法处理预设的训练集;所述句子关系预测单元,配置为依据所述处理单元所获取的弱监督方法处理后的数据,利用预设关系抽取器,依次预测包中每个句子的关系类别;所述包为实体对所回标的句子的集合;所述实体为从非结构化的文本中自动识别出的概念;所述包的关系预测单元,配置为依据所述句子关系预测单元所预测的各句子的关系类别和预设规则预测所述包的关系类别;所述奖赏值获取单元,配置为依据预设奖赏值规则和所述包的关系预测单元所预测的包的关系类别与真实的包的关系类别,获取奖赏值;所述训练单元,配置为依据所述奖赏值获取单元所得到的奖赏值,采用有基线的REINFORCE算法训练所述预设关系抽取器。在第三方面,本专利技术中的存储装置,其中存储有多条程序,适用于由处理器加载并执行以实现上述技术方案所述的基于强化学习的关系抽取方法。在第四方面,本专利技术中的处理装置,包括处理器,适于执行各条程序;以及存储设备,适于存储多条程序;所述程序适于由处理器加载并执行以实现上述技术方案所述的基于强化学习的关系抽取方法。与最接近的现有技术相比,上述技术方案至少具有以下有益效果:1.本专利技术的基于强化学习的关系抽取方法中,通过获取句子中各词的词向量和各词的位置向量,然后依据所获取的各词的词向量和各词的位置向量,利用预设关系抽取器获取句子的关系类别,这样就可以利用有监督模型在弱监督数据中获取抽取句子的关系类别,不仅省时省力还可以应用于大规模的数据中。2.本专利技术的基于强化学习的关系抽取方法中,通过基于强化学习的方法训练预设关系抽取器,可以使预设关系抽取器获取的结果更加精确。附图说明图1是本专利技术实施例的基于强化学习的关系抽取方法的主要步骤示意图。图2是本专利技术实施例的基于强化学习的关系抽取方法中的预设关系抽取器的主要结构示意图;图3是本专利技术实施例的基于强化学习的关系抽取方法中的预设关系抽取器的主要训练过程示意图;图4是本专利技术实施例的三种分类器获取句子的关系类别的准确率的对比直方图;图5是本专利技术实施例中的现有方法与本专利技术中的方法在NewYorkTimes数据集第一版本上的召回率与精确率的曲线图;图6是本专利技术实施例中的现有方法与本专利技术中的方法在NewYorkTimes数据集第二版本上的召回率与精确率的曲线图;附图中标记为:1-基于跨句子最大池化的分段卷积网络,2-基于强化学习的关系抽取方法,3-基于多示例学习的分段卷积网络,4-基于注意力机制的分段卷积网络方法一,5-多关系法,6-多示例学习法,7-基线方法(Mintz本文档来自技高网...

【技术保护点】
1.一种基于强化学习的关系抽取方法,其特征在于,所述方法包括:步骤S100,获取句子中各词的词向量和各词的位置向量;步骤S200,依据所获取的各词的词向量和各词的位置向量,利用预设关系抽取器获取句子的关系类别;其中,所述预设关系抽取器为基于神经网络构建的模型,所述预设关系抽取器包括向量表示层、卷积神经网络层、池化层和分类器层;所述向量表示层,用于将所述各词的词向量和各词的位置向量进行拼接,获取各词对应的词的向量表示;所述卷积神经网络层,用于依据所述向量表示层所获取的词的向量表示,获取特征映射向量;所述池化层,用于依据所述卷积神经网络层所获取的特征映射向量,获取初步句子的向量表示,并将其与词的位置向量拼接,获取最终句子的向量表示;所述分类器层,用于依据所述池化层所获取的最终句子的向量表示,获取句子关系类别概率值,并将所获取的句子关系类别概率值最大的关系类别作为句子的关系类别。

【技术特征摘要】
1.一种基于强化学习的关系抽取方法,其特征在于,所述方法包括:步骤S100,获取句子中各词的词向量和各词的位置向量;步骤S200,依据所获取的各词的词向量和各词的位置向量,利用预设关系抽取器获取句子的关系类别;其中,所述预设关系抽取器为基于神经网络构建的模型,所述预设关系抽取器包括向量表示层、卷积神经网络层、池化层和分类器层;所述向量表示层,用于将所述各词的词向量和各词的位置向量进行拼接,获取各词对应的词的向量表示;所述卷积神经网络层,用于依据所述向量表示层所获取的词的向量表示,获取特征映射向量;所述池化层,用于依据所述卷积神经网络层所获取的特征映射向量,获取初步句子的向量表示,并将其与词的位置向量拼接,获取最终句子的向量表示;所述分类器层,用于依据所述池化层所获取的最终句子的向量表示,获取句子关系类别概率值,并将所获取的句子关系类别概率值最大的关系类别作为句子的关系类别。2.根据权利要求1所述的基于强化学习的关系抽取方法,其特征在于,“获取句子中各词的词向量和各词的位置向量”的步骤具体包括:步骤S110,利用分词工具获取句子中的词序列,并利用词向量工具获取所述词序列中各词对应的词向量;步骤S120,获取句子中各词的位置向量。3.根据权利要求1所述的基于强化学习的关系抽取方法,其特征在于,所述预设关系抽取器,其训练优化方法包括:步骤A1,使用弱监督方法处理预设的训练集;步骤A2,依据所述弱监督方法处理后的数据,利用预设关系抽取器,依次预测包中各句子的关系类别;步骤A3,依据所预测的各句子的关系类别和预设规则预测所述包的关系类别;步骤A4,依据预设奖赏值规则和所预测的包的关系类别与真实的包的关系类别,获取奖赏值;步骤A5,依据所得到的奖赏值,采用有基线的REINFORCE算法训练所述预设关系抽取器。4.根据权利要求3所述的基于强化学习的关系抽取方法,其特征在于,所述预设规则为:当包中所有的句子的预测关系类别为NA,则预测包的关系类别为NA;所述NA的类别表示为没有关系;当所述包中有预测关系类别不为NA的句子时,将所述预测概率值最大的句子的预测关系类别作为包的关系类别。5.根据权利要求3所述的基于强化学习的关系抽取方法,其特征在于,所述预设奖赏值规则为:当所述预测的包的关系类别与真实的包的关系类别一致,则得到的奖赏值+1;否则得到的奖赏值-1。6.一种基于强化学习的关系抽取装置,其特征在于,所述装置包括第一获取模块和第二获取模块;所述第一获取模块,配置为获取句子中各词的词向量和各...

【专利技术属性】
技术研发人员:何世柱刘康赵军曾祥荣
申请(专利权)人:中国科学院自动化研究所
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1