信息抽取方法及其装置制造方法及图纸

本申请公开了一种信息抽取方法及其装置，涉及人工智能领域，尤其涉及自然语言处理NLP及深度学习等技术。具体实现方案为：获取待处理文本的特征向量以及待处理文本的依存关系图；根据依存关系图生成对应的距离矩阵；根据待处理文本的特征向量和距离矩阵，采用注意力机制计算待处理文本之中任意两个词之间的注意力值；根据待处理文本的特征向量和待处理文本之中任意两个词之间的注意力值，获取待处理文本的语义特征表示；根据待处理文本的语义特征表示对待处理文本进行信息抽取。本申请通过显示编码的方式对待处理文本中的依存关系信息进行了编码可以获取更加准确的语义特征表示。利用该语义特征表示进行信息抽取，可以提升信息抽取效果。升信息抽取效果。升信息抽取效果。

【技术实现步骤摘要】
信息抽取方法及其装置


[0001]本申请涉及人工智能领域，尤其涉及自然语言处理(Natural Language Processing，NLP)及深度学习等技术，特别地涉及一种信息抽取方法及其装置。

技术介绍

[0002]信息抽取是指从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术。信息抽取是从文本数据中抽取特定信息的一种技术。文本数据是由一些具体的单位构成的，例如句子、段落、篇章，文本信息正是由一些小的具体的单位构成的，例如字、词、词组、句子、段落或是这些具体的单位的组合。抽取文本数据中的名词短语、人名、地名等都是文本信息抽取，当然，文本信息抽取技术所抽取的信息可以是各种类型的信息。
[0003]相关技术中，通常需要将文本数据进行语义化表达以得到该文本数据的语义特征表示，利用该语义特征表示对该文本数据进行信息抽取。因此，如何获取更加准确的语义特征表示以提升信息抽取效果，是亟待解决的问题。

技术实现思路

[0004]本申请提供了一种信息抽取、装置、电子设备以及存储介质。
[0005]根据本申请的第一方面，提供了一种信息抽取方法，包括：
[0006]获取待处理文本的特征向量以及所述待处理文本的依存关系图；
[0007]根据所述依存关系图生成对应的距离矩阵；
[0008]根据所述待处理文本的特征向量和所述距离矩阵，采用注意力机制计算所述待处理文本之中任意两个词之间的注意力值；
[0009]根据所述待处理文本的特征向量和所述待处理文本之中任意两个词之间的注意力值，获取所述待处理文本的语义特征表示；
[0010]根据所述待处理文本的语义特征表示对所述待处理文本进行信息抽取。
[0011]根据本申请的第二方面，提供了一种信息抽取装置，包括：
[0012]第一获取模块，用于获取待处理文本的特征向量以及所述待处理文本的依存关系图；
[0013]生成模块，用于根据所述依存关系图生成对应的距离矩阵；
[0014]计算模块，用于根据所述待处理文本的特征向量和所述距离矩阵，采用注意力机制计算所述待处理文本之中任意两个词之间的注意力值；
[0015]第二获取模块，用于根据所述待处理文本的特征向量和所述待处理文本之中任意两个词之间的注意力值，获取所述待处理文本的语义特征表示；
[0016]信息抽取模块，用于根据所述待处理文本的语义特征表示对所述待处理文本进行信息抽取。
[0017]根据本申请的第三方面，提供了一种电子设备，包括：
[0018]至少一个处理器；以及
[0019]与所述至少一个处理器通信连接的存储器；其中，
[0020]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第一方面所述的方法。
[0021]根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述第一方面所述的方法。
[0022]根据本申请的第五方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现前述第一方面所述方法的步骤。
[0023]根据本申请的技术方案，可以通过显示编码的方式对待处理文本中的依存关系信息进行了编码，并将编码后得到的距离矩阵引入到注意力机制中，使得在特征提取过程中每个节点能够和更多其他节点进行交互，同时可以关注距离更近的节点，从而可以获取更加准确的语义特征表示。利用该语义特征表示进行信息抽取，可以提升信息抽取效果。
[0024]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0025]附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0026]图1为本申请实施例提供的一种信息抽取方法的流程图；
[0027]图2a为本申请实施例提供的另一种信息抽取方法的流程图；
[0028]图2b为本申请实施例提供的待处理文本的依存关系图的示例图；
[0029]图3为本申请实施例提供的一种计算文本中任意两个词之间的注意力值的方法的流程图；
[0030]图4为本申请实施例提供的一种注意力机制的网络结构的示例图；
[0031]图5为本申请实施例提供的另一种计算文本中任意两个词之间的注意力值的方法的流程图；
[0032]图6为本申请实施例提供的另一种注意力机制的网络结构的示例图；
[0033]图7为本申请实施例提供的注意力机制中每层输出结果的示例图；
[0034]图8为本申请实施例提供的一种信息抽取装置的框图；
[0035]图9是用来实现本申请实施例的信息抽取的方法的电子设备的框图。
具体实施方式
[0036]以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0037]图1为本申请实施例提供的一种信息抽取方法的流程图。如图1所示，该方法可包括但不限于如下步骤。
[0038]在步骤101中，获取待处理文本的特征向量以及待处理文本的依存关系图。
[0039]可选的，在本申请的实施例中，该待处理文本的特征向量可理解为该待处理文本
的文本表示(或词向量)。
[0040]在一种可能的实现方式中，可以采用预设的词向量模型Word2vec对该待处理文本进行处理，以得到该待处理文本的文本表示，该待处理文本的文本表示即为该待处理文本的特征向量。或者，还可以采用其他实现方式来获取该待处理文本的特征向量，例如，采用独热(One
‑
Hot)向量编码技术、或词嵌入(Word Embedding)技术等获取该待处理文本的特征向量，对此本申请不做具体限定，也不再赘述。
[0041]在本申请的实施例中，上述待处理文本的依存关系图是指可以表明待处理文本中词之间依存关系的一种图形。其中，该依存关系图中的节点可为待处理文本中的词，该依存关系图中的边可为对应节点存在依存关系。
[0042]在一种可能的实现方式中，可以采用依存句法分析技术对待处理文本进行句法分析，以得到该待处理文本的句法分析结果，并根据该句法分析结果构建该待处理文本的依存关系图。其中，以待处理文本中的词作为节点，依据词之间的依存关系，将节点进行边连接，以构建待处理文本的依存关系图。
[0043]在步骤102中，根据依存关系图生成对应的距离矩阵。
[0044]相关技术中，通常是根据依存关系图中节点的相连关系生成邻接矩阵，利用该邻接矩阵引入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息抽取方法，包括：获取待处理文本的特征向量以及所述待处理文本的依存关系图；根据所述依存关系图生成对应的距离矩阵；根据所述待处理文本的特征向量和所述距离矩阵，采用注意力机制计算所述待处理文本之中任意两个词之间的注意力值；根据所述待处理文本的特征向量和所述待处理文本之中任意两个词之间的注意力值，获取所述待处理文本的语义特征表示；根据所述待处理文本的语义特征表示对所述待处理文本进行信息抽取。2.如权利要求1所述的方法，其中，所述根据所述依存关系图生成对应的距离矩阵，包括：根据所述依存关系图生成对应的邻接矩阵；根据所述依存关系图中节点在所述待处理文本中的位置信息，对所述邻接矩阵进行稠密化处理，以得到所述距离矩阵。3.如权利要求2所述的方法，其中，所述根据所述依存关系图中节点在所述待处理文本中的位置信息，对所述邻接矩阵进行稠密化处理，以得到所述距离矩阵，包括：确定所述依存关系图中节点所对应的词在所述待处理文本中的位置信息；在所述依存关系图之中两个节点之间未存在依存关系的情况下，根据所述位置信息确定所述两个节点各自对应的词在所述待处理文本中的距离值，并将所述邻接矩阵之中用以表示所述两个节点间的距离值，设置为所述两个节点各自对应的词在所述待处理文本中的距离值；在所述依存关系图之中两个节点之间存在依存关系的情况下，将所述邻接矩阵之中用以表示所述两个节点间的距离值设置为第一数值，以得到所述距离矩阵。4.如权利要求1所述的方法，其中，所述根据所述待处理文本的特征向量和所述距离矩阵，采用注意力机制计算所述待处理文本之中任意两个词之间的注意力值，包括：根据所述待处理文本的特征向量，确定查询向量和键向量；根据所述查询向量和所述键向量进行双仿射计算，以得到第一中间矩阵，并将所述查询向量和所述键向量进行矩阵相乘运算，以得到第二中间矩阵；根据所述距离矩阵对所述第一中间矩阵中的数据进行修正，以得到第三中间矩阵；将所述第二中间矩阵和所述第三中间矩阵进行矩阵相加运算，以得到第四中间矩阵；对所述第四中间矩阵进行按比缩放、遮掩和回归函数Softmax运算，以得到所述待处理文本之中任意两个词之间的注意力值。5.如权利要求4所述的方法，其中，所述根据所述距离矩阵对所述第一中间矩阵中的数据进行修正，以得到第三中间矩阵，包括：将所述第一中间矩阵中的数据与所述距离矩阵之中对应位置上的数据进行相除运算，以得到第三中间矩阵。6.如权利要求1所述的方法，其中，所述根据所述待处理文本的特征向量和所述距离矩阵，采用注意力机制计算所述待处理文本之中任意两个词之间的注意力值，包括：根据所述待处理文本的特征向量，确定查询向量和键向量；根据所述查询向量和所述键向量进行双仿射计算，以得到第一中间矩阵，并将所述查
询向量和所述键向量进行矩阵相乘运算，以得到第二中间矩阵；根据将所述第一中间矩阵和所述第二中间矩阵进行矩阵相加运算，以得到第三中间矩阵；对所述第三中间矩阵进行按比缩放、遮掩和回归函数Softmax运算，以得到对应的注意力矩阵；根据所述距离矩阵对所述注意力矩阵中的数据进行修正和归一化处理，以得到所述待处理文本之中任意两个词之间的注意力值。7.如权利要求6所述的方法，其中，所述根据所述距离矩阵对所述注意力矩阵中的数据进行修正和归一化处理，以得到所述待处理文本之中任意两个词之间的注意力值，包括：将注意力矩阵中的数据与所述距离矩阵之中对应位置上的数据进行相除运算，以得到第四中间矩阵；对所述第四中间矩阵中的数据进行归一化处理，以得到所述待处理文本之中任意两个词之间的注意力值。8.如权利要求1至7中任一项所述的方法，其中，所述根据所述待处理文本的特征向量和所述待处理文本之中任意两个词之间的注意力值，获取所述待处理文本的语义特征表示，包括：根据待处理文本的特征向量，确定值向量；将所述值向量和所述待处理文本之中任意两个词之间的注意力值进行乘积运算，以得到所述待处理文本的语义特征表示。9.如权利要求1至7中任一项所述的方法，其中，所述根据所述待处理文本的语义特征表示对所述待处理文本进行信息抽取，包括：基于所述语义特征表示对所述待处理文本进行实体识别，以得到所述待处理文本中的识别的实体信息。10.一种信息...

【专利技术属性】
技术研发人员：陈庆洋，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：