文本关系抽取模型的训练方法、装置及可读存储介质制造方法及图纸

本发明专利技术公开了一种文本关系抽取模型的训练方法，包括以下步骤：计算所述字向量与所述实体对的向量之间的位置信息，并根据所述位置信息生成位置向量；将所述字向量与所述位置向量拼接，生成联合字向量；获取所述实体对的向量对应的关系类别向量；根据所述关系类别向量和所述联合字向量计算所述字向量的注意力权重，并根据所述注意力权重和所述联合字向量确定所述训练文本的特征向量，基于所述训练文本的特征向量采用约束损失函数训练所述文本关系抽取模型的参数。本发明专利技术还公开了一种文本关系抽取模型的训练装置及计算机可读存储介质。本发明专利技术实现了更细粒度下实体关系的识别，改善了模型抽取实体关系的效果。

【技术实现步骤摘要】
文本关系抽取模型的训练方法、装置及可读存储介质
本专利技术涉及自然语言处理领域，尤其涉及一种文本关系抽取模型的训练方法、装置及计算机可读介质。
技术介绍
实体关系抽取是自然语言处理任务中一个重要研究领域，其主要目的是抽取句子中已标记实体对之间的语义关系，即在实体识别的基础上确定无结构文本中实体对间的关系类别，并形成结构化的数据以便存储和取用。通过实体关系抽取可以构建知识图谱或本体知识库，为自动问答系统提供数据支持，同时实体关系抽取也为其他自然语言处理技术提供理论支持。在关系抽取中通常面临同一句话中包含多类实体，每两类实体间也包含多种关系，对于这种类型的文本关系分类通常采用通过添加实体类型作为特征来训练一个模型处理所有类别关系。例如，通过训练好的词向量和位置向量特征，利用双向LSTM编码实体的上下文信息，然后输出标记实体对应位置的向量，并将其输入至CNN神经网络，以输出两个实体名词对应的语义信息，最终输入至分类器中进行分类。但是该专利在卷积层只利用了实体词对应位置中双向LSTM的隐藏层向量，往往会丢失一些语义信息，同时只适合抽取粗粒度下的实体关系抽取任务，并没有进一步考虑到细粒度下实体关系的区别，从而导致实体关系抽取效果不佳。
技术实现思路
本专利技术的主要目的在于提供一种文本关系抽取模型的训练方法、装置及计算机可读存储介质，旨在在提供一种文本实体关系抽取模型的训练方法，实现了更细粒度下实体关系的识别，改善了模型抽取实体关系的效果。为实现上述目的，本专利技术提供一种文本关系抽取模型的训练方法，所述文本关系抽取模型的训练方法包括以下步骤：获取训练文本中实体对的向量及所述训练文本中每个字的字向量；计算所述字向量与所述实体对的向量之间的位置信息，并根据所述位置信息生成位置向量；将所述字向量与所述位置向量拼接，生成联合字向量；获取所述实体对的向量对应的关系类别向量；根据所述关系类别向量和所述联合字向量计算所述字向量的注意力权重，并根据所述注意力权重和所述联合字向量确定所述训练文本的特征向量；基于所述训练文本的特征向量采用约束损失函数训练所述文本关系抽取模型的参数。优选地，所述计算所述字向量与所述实体对的向量之间的位置信息，并根据所述位置信息生成位置向量的步骤包括：获取所述字向量与所述第一实体的向量之间的第一距离，以及所述字向量与所述第二实体的向量之间的第二距离；根据所述第一距离和所述第二距离生成位置向量。优选地，所述根据所述关系类别向量和所述联合字向量计算所述字向量的注意力权重，并根据所述注意力权重和所述联合字字向量确定所述训练文本的特征向量的步骤包括：计算各个所述联合字向量与所述关系类别向量的余弦相似度；将所述余弦相似度通过卷积神经网络的处理得到各个所述联合字向量关于关系类别向量的注意力得分；对所述注意力得分进行最大池化操作，得到最大池化后的注意力得分；将所述最大池化后的注意力得分进行归一化处理，得到各个所述联合字向量的注意力权重；将所述注意力权重乘以对应的所述联合字向量得到所述训练文本的特征向量。优选地，所述基于所述训练文本的特征向量采用约束损失函数训练所述文本关系抽取模型的参数的步骤包括：根据当前所述训练文本的特征向量和关系类别矩阵得到所述训练文本的关系类别得分，其中，所述关系类别矩阵为待训练的参数矩阵；将所述训练训练文本的关系类别得分和所述关系类别矩阵传递到所述约束损失函数中；采用所述约束损失函数训练参数的过程中，根据当前所述训练样本的实体对的类型特征更新所述关系类别矩阵中对应的参数。优选地，所述基于所述训练文本的特征向量采用采用约束函数作为损失函数训练所述文本关系抽取模型的参数的步骤之前还包括：获取所述获取训练文本中实体对的类型特征，并将所述类型特征与所述训练文本的特征向量拼接，生成所述训练文本的拼接特征向量；基于所述训练文本的拼接特征向量，执行采用约束函数作为损失函数训练所述文本关系抽取模型的参数的步骤。优选地，所述获取训练文本中实体对的向量的步骤包括：识别所述训练文本中的实体对；将所述实体对替换为对应的类型名称；根据预先训练的词向量和所述训练文本中的类型名称得到对应的实体对的向量。优选地，所述基于所述训练文本的特征向量采用约束损失函数训练所述文本关系抽取模型的参数的步骤之后还包括：获取待抽取关系的文本；获取所述待抽取关系的文本中实体对的向量及所述待抽取关系的文本中每个字的字向量；将所述实体对的向量和所述字向量输入所述文本关系抽取模型中进行处理，得到对所述待抽取关系的文本中实体对的关系类别的预测结果。优选地，所述训练文本为医疗文本，所述实体的类型包括症状类实体、疾病类实体、检查类实体、治疗实体、存在类修饰、程度类修饰和诱因类修饰。此外，为实现上述目的，本专利技术还提供一种文本关系抽取模型的训练装置，其特征在于，所述文本关系抽取模型的训练装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的模型训练程序，所述模型训练程序被所述处理器执行时实现如上所述的文本关系抽取模型的训练方法的步骤。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有模型训练程序，所述模型训练程序被处理器执行时实现如上所述的文本关系抽取模型的训练方法的步骤。本专利技术实施例提出的一种文本关系抽取模型的训练方法、装置及存储介质，通过获取训练文本中实体对的向量及所述训练文本中每个字的字向量，然后计算字向量与实体对的向量之间的位置信息，并根据位置信息生成位置向量，然后将所述字向量与所述位置向量拼接，生成联合字向量，以获取实体对的向量对应的关系类别向量；根据所述关系类别向量和所述联合字向量计算所述字向量的注意力权重，并根据所述注意力权重和所述联合字向量确定训练文本的特征向量；基于所述训练文本的特征向量采用约束损失函数训练所述文本关系抽取模型的参数。这样，提供了一种识别细腻度高的文本实体关系抽取模型的训练方法，从而改善了实体关系抽取模型抽取实体关系的效果。附图说明图1是本专利技术实施例方案涉及的硬件运行环境的终端结构示意图；图2为本专利技术文本关系抽取模型的训练方法第一实施例的流程示意图；图3为本专利技术根据文本关系抽取模型预测文本实体关系类别的流程示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例的主要解决方案是：获取训练文本中实体对的向量及所述训练文本中每个字的字向量；计算所述字向量与所述实体对的向量之间的位置信息，并根据所述位置信息生成位置向量；将所述字向量与所述位置向量拼接，生成联合字向量；获取所述实体对的向量对应的关系类别向量；根据所述关系类别向量和所述联合字向量计算所述字向量的注意力权重，并根据所述注意力权重和所述联合字向量确定所述训练文本的特征向量；基于所述训练文本的特征向量采用约束损失函数训练所述文本关系抽取模型的参数。由于现有技术，在关系抽取中通常面临同一句话中包含多类实体，每两类实体间也包含多种关系，对于这种类型的文本关系分类通常采用通过添加实体类型作为特征来训练一个模型处理所有类别关系。例如，通过训练好的词向量和位置向量特征，利用双向LSTM编码实体的上下文信息本文档来自技高网...

【技术保护点】
1.一种文本关系抽取模型的训练方法，其特征在于，所述文本关系抽取模型的训练方法包括以下步骤：获取训练文本中实体对的向量及所述训练文本中每个字的字向量；计算所述字向量与所述实体对的向量之间的位置信息，并根据所述位置信息生成位置向量；将所述字向量与所述位置向量拼接，生成联合字向量；获取所述实体对的向量对应的关系类别向量；根据所述关系类别向量和所述联合字向量计算所述字向量的注意力权重，并根据所述注意力权重和所述联合字向量确定所述训练文本的特征向量；基于所述训练文本的特征向量采用约束损失函数训练所述文本关系抽取模型的参数。

【技术特征摘要】
1.一种文本关系抽取模型的训练方法，其特征在于，所述文本关系抽取模型的训练方法包括以下步骤：获取训练文本中实体对的向量及所述训练文本中每个字的字向量；计算所述字向量与所述实体对的向量之间的位置信息，并根据所述位置信息生成位置向量；将所述字向量与所述位置向量拼接，生成联合字向量；获取所述实体对的向量对应的关系类别向量；根据所述关系类别向量和所述联合字向量计算所述字向量的注意力权重，并根据所述注意力权重和所述联合字向量确定所述训练文本的特征向量；基于所述训练文本的特征向量采用约束损失函数训练所述文本关系抽取模型的参数。2.如权利要求1所述的文本关系抽取模型的训练方法，由两个实体组成所述实体对，实体的向量包括第一实体的向量及第二实体的向量，其特征在于，所述计算所述字向量与所述实体对的向量之间的位置信息，并根据所述位置信息生成位置向量的步骤包括：获取所述字向量与所述第一实体的向量之间的第一距离，以及所述字向量与所述第二实体的向量之间的第二距离；根据所述第一距离和所述第二距离生成位置向量。3.如权利要求1所述的文本关系抽取模型的训练方法，其特征在于，所述根据所述关系类别向量和所述联合字向量计算所述字向量的注意力权重，并根据所述注意力权重和所述联合字字向量确定所述训练文本的特征向量的步骤包括：计算各个所述联合字向量与所述关系类别向量的余弦相似度；将所述余弦相似度通过卷积神经网络的处理得到各个所述联合字向量关于关系类别向量的注意力得分；对所述注意力得分进行最大池化操作，得到最大池化后的注意力得分；将所述最大池化后的注意力得分进行归一化处理，得到各个所述联合字向量的注意力权重；将所述注意力权重乘以对应的所述联合字向量得到所述训练文本的特征向量。4.如权利要求1所述的文本关系抽取模型的训练方法，其特征在于，所述基于所述训练文本的特征向量采用约束损失函数训练所述文本关系抽取模型的参数的步骤包括：根据当前所述训练文本的特征向量和关系类别矩阵得到所述训练文本的关系类别得分，其中，所述关系类别矩阵为待训练的参数矩阵；将所述训练训练文本的关系类别得分和所述关系类别矩阵传递到...

【专利技术属性】
技术研发人员：任江涛，高爽超，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44