一种关系抽取系统、方法和装置制造方法及图纸

本发明专利技术实施方式提出一种关系抽取系统、方法和装置。系统包括：BERT层，用于对输入句子的向量矩阵进行分类，所述分类的类别包括实体无关系的噪音句子和实体有关系的句子；卷积神经网络(CNN)层，用于将被分类为实体有关系的句子的向量矩阵转换为句向量；注意力层，用于计算所述句向量与关系向量之间的相似度，基于所述相似度为所述句向量设置权重，并基于所述句向量的加权求和结果得到所述关系向量的输出矩阵；线性层，用于对所述输出矩阵降维，以得到输出向量；Softmax层，用于对所述输出向量执行概率规划计算，以获取所述输入句子的关系概率分布。

【技术实现步骤摘要】
一种关系抽取系统、方法和装置
本专利技术属于信息抽取
，特别是一种关系抽取系统、方法和装置。
技术介绍
信息抽取旨在从大规模非结构或半结构的自然语言文本中抽取结构化信息。关系抽取是其中的重要子任务之一，主要目的是从文本中识别实体并抽取实体之间的语义关系。关系抽取是指在给定两个实体及所在句子，判断两个实体关系的任务。例如，句子“比尔·盖茨是微软公司的创立者”中包含一个实体对(比尔·盖茨，微软公司)，这两个实体之间的关系为“创立者”。深度学习是机器学习研究的热点之一领域，其主要思想是模拟人脑神经网络建立学习模型，从语音、图像或文本等不同数据中学习有用信息。典型的深度学习方法包括卷积神经网络(convolutionalneuralnetworks，CNN)和循环神经网络(recurrentneuralnetworks，RNN)，这些模型在文本分类、机器翻译、智能问答等方向都取得了显著的效果。目前，传统的关系抽取模型为CNN+注意力(Attention)模型。它基于多实例假设，对输入的各个句子进行特征抽取得到句级别的特征，而后通过本文档来自技高网...

【技术保护点】
1.一种关系抽取系统，其特征在于，包括：/n来自变换器的双向编码器表征量BERT层，用于对输入句子的向量矩阵进行分类，所述分类的类别包括实体无关系的噪音句子和实体有关系的句子；/n卷积神经网络CNN层，用于将被分类为实体有关系的句子的向量矩阵转换为句向量；/n注意力层，用于计算所述句向量与关系向量之间的相似度，基于所述相似度为所述句向量设置权重，并基于所述句向量的加权求和结果得到所述关系向量的输出矩阵；/n线性层，用于对所述输出矩阵降维，以得到输出向量；/nSoftmax层，用于对所述输出向量执行概率规划计算，以获取所述输入句子的关系概率分布。/n

【技术特征摘要】
1.一种关系抽取系统，其特征在于，包括：
来自变换器的双向编码器表征量BERT层，用于对输入句子的向量矩阵进行分类，所述分类的类别包括实体无关系的噪音句子和实体有关系的句子；
卷积神经网络CNN层，用于将被分类为实体有关系的句子的向量矩阵转换为句向量；
注意力层，用于计算所述句向量与关系向量之间的相似度，基于所述相似度为所述句向量设置权重，并基于所述句向量的加权求和结果得到所述关系向量的输出矩阵；
线性层，用于对所述输出矩阵降维，以得到输出向量；
Softmax层，用于对所述输出向量执行概率规划计算，以获取所述输入句子的关系概率分布。


2.根据权利要求1所述的关系抽取系统，其特征在于，还包括：
词向量计算工具，用于将所述输入句子分为100个词，其中输入句子中多于100个词的多余部分被截掉，不足100个词的输入句子的不足部分用零补全；将所述100个词分别转换为维度为50的词向量；基于每个词的词向量生成所述输入句子的向量矩阵。


3.根据权利要求2所述的关系抽取系统，其特征在于，
所述CNN层，用于将被分类为实体有关系的句子的向量矩阵转换为维度为230的句向量；所述关系向量的数目为N；所述输出矩阵为N×230矩阵；
所述线性层，用于将所述N×230矩阵转换为N维的输出向量。


4.根据权利要求1所述的关系抽取系统，其特征在于，
所述BERT层，用于将类别为噪音句子的向量矩阵附加标签值0，将类别为实体有关系的句子的向量矩阵附加标签值1；
所述卷积神经网络CNN层，用于将标签值1的向量矩阵转换为句向量。


5.根据权利要求1所述的关系抽取系统，其特征在于，
所述关系抽取系统的损失函数为L，L＝L1+L2；
其中L1为句子分类损失函数，L2为关系分类损失函数。<...

【专利技术属性】
技术研发人员：张鹏，
申请(专利权)人：普天信息技术有限公司，
类型：发明
国别省市：北京;11