【技术实现步骤摘要】
本专利技术涉及关系抽取，具体涉及一种结合组合范畴语法和多任务学习的关系抽取方法。
技术介绍
1、关系抽取指的是标注两个给定实体之间的关系。
2、现有技术往往利用句法信息促进关系抽取过程，主要关注词语之间的依赖关系，对其他类型的句法结构的关注有限，使得模型在关系抽取任务中的表现还有待进一步提升。
3、本专利技术提出一种结合组合范畴语法和多任务学习的关系抽取方法，使用组合范畴语法词汇范畴标签生成器来注释输入文本的词汇范畴标签，并且通过一个多任务学习机制，从人工标注的关系抽取和自动注释的词汇范畴标签中学习，进一步提升模型关系抽取的质量。
技术实现思路
1、为解决上述技术问题，本专利技术提供一种结合组合范畴语法和多任务学习的关系抽取方法，利用组合范畴语法为文本理解提供句法和语义知识，来引导注意力机制改进关系抽取，并利用多任务学习机制使得关系抽取模型在推理中高效运行。
2、为解决上述技术问题，本专利技术采用如下技术方案：
3、一种结合组合范畴语法和多任务学习的关系抽取方法，将给定文本以及两个实体输入到完成训练的关系抽取模型，识别出关系标签；实体和实体统称为实体；关系抽取模型的训练过程具体包括以下步骤：
4、步骤一，利用编码器提取文本的文本特征：
5、；
6、其中，为编码器，表示文本第个词的文本特征，表示文本中词的总数量；
7、步骤二，对文本特征进行词汇范畴标签解码，预测得到词汇范畴标签，具体包括以
8、s21，通过多层感知机神经网络处理，得到处理后的文本特征：；其中，表示多层感知机神经网络；
9、s22，通过可训练矩阵和偏置向量，将映射到词汇范畴标签解码输出空间，得到含有组合范畴语法信息的特征向量：；
10、s23，将输入到分类器，预测得到词汇范畴标签：；表示分类器；
11、s24，通过比较预测的词汇范畴标签和对应的真实标签，计算词汇范畴标签预测损失：；表示交叉熵损失，表示批处理；
12、步骤三，对实体和处理后的文本特征应用注意力机制，得到强化实体表示；
13、步骤四，将实体的强化实体表示统一记为强化实体表示，将强化实体表示输入到分类器，得到关系标签：；
14、步骤五，计算关系预测损失：，表示真实标签；
15、通过词汇范畴标签预测损失和关系预测损失计算总体损失：；
16、基于总体损失和反向传播算法不断更新关系抽取模型的参数，直至关系抽取模型收敛或者达到设定的停止条件。
17、进一步地，步骤三具体包括以下步骤：
18、s31，将处理后的文本特征映射到注意力语义空间，得到键向量和值向量：
19、；
20、；
21、和为注意力机制中的可学习矩阵；
22、s32，通过最大池化处理实体，得到实体表示特征：
23、
24、其中，表示第个实体，，表示最大池化；
25、s33，计算注意力权重：
26、；
27、s34，将注意力权重应用到值向量，计算加权和向量：
28、；
29、s35，通过串联操作对加权和向量和实体表示特征进行连接，得到强化实体表示：
30、；
31、其中，表示串联操作。
32、与现有技术相比，本专利技术的有益技术效果是：
33、本专利技术利用组合范畴语法为文本理解提供句法和语义知识，提升了对实体之间的关系检测能力；通过多任务学习的机制，从词汇范畴标签的解码过程中学习组合范畴语法信息，从而指导注意力机制区分关系抽取中的重要词汇，强化对文本和实体的表示学习，进一步提升模型关系抽取的质量。
本文档来自技高网...【技术保护点】
1.一种结合组合范畴语法和多任务学习的关系抽取方法，将给定文本以及两个实体输入到完成训练的关系抽取模型，识别出关系标签；实体和实体统称为实体；关系抽取模型的训练过程具体包括以下步骤：
2.根据权利要求1所述的结合组合范畴语法和多任务学习的关系抽取方法，其特征在于，步骤三具体包括以下步骤：
【技术特征摘要】
1.一种结合组合范畴语法和多任务学习的关系抽取方法，将给定文本以及两个实体输入到完成训练的关系抽取模型，识别出关系标签；实体和实体统称为实体；关系抽取...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。