基于结构化上下文信息的知识图谱预训练方法技术

本发明专利技术公开了一种基于结构化上下文信息的知识图谱预训练方法，包括：针对目标三元组，构建由上下文三元组组成的实例，采用三元组整合模块对实例的每个上下文三元组进行编码，得到整合向量；将针对实例的所有上下文三元组的整合向量组成上下文向量序列，采用结构化信息模块对上下文向量序列进行编码得到三元组的结构表示向量；采用通用任务模块对三元组的结构表示向量进行计算，得到三元组的标签预测值，基于三元组的标签预测值与标签真值的交叉熵损失来更新三元组的结构表示向量，直到训练结束为止，得到目标三元组的优化后结构表示向量。该方法获得的三元组的结构表示向量结合了上下文信息。

【技术实现步骤摘要】
基于结构化上下文信息的知识图谱预训练方法
本专利技术属于数据存储与处理
，具体涉及一种基于结构化上下文信息的知识图谱预训练方法。
技术介绍
知识图谱(KnowledgeGraph)可以看作是有向标记图，而图中的事实以(头实体、关系、尾实体)的形式表示为三元组，按照英文首字母简写为(h,r,t)。近年来，知识图谱在构建和应用方面都得到了迅速的发展，在语义搜索、信息抽取和问答等人工智能领域有着广泛的应用前景。由于知识图谱中的图结构包含了大量有价值的信息，因此对于各种知识图谱任务，如实体类型化、链接预测、实体对齐等，提取深层的结构信息至关重要。表示学习方法将实体和关系嵌入到连续向量空间中，能自动提取结构特征，并通过代数运算推导出新的三元组，该方法由TransE模型首先提出，有效简化了知识图谱中的数学运算。之后，TransH模型提出一个实体在不同关系下有不同的表示，以克服多关系问题的局限性；TransR模型引入了关系专用空间来解决多关系问题。TransD模型将投影矩阵分解为两个向量的乘积，进一步提升了知识图谱各项任务的效果。针对实体分类、实体对齐、链接预测和推荐等多种不同的知识图谱特定任务，之前的研究中提出了不同的表示学习方法，以适应不同的知识图谱训练任务。在自然语言处理领域，Bert等预训练语言模型在多种自然语言处理下游任务中都取得了显著的改进。预训练语言模型与知识图谱表示学习模型的主要区别在于以下两点：一是语言表示为序列数据，以词上下文为关键信息检测词和句子的语义，而知识图谱表示为结构化图数据。二是预训练语言模型的下游任务的输入可以统一为两个句子，而知识图谱的输入是三元组。因此，适应不同任务的训练前知识图表示学习模型面临的主要挑战是：(1)无论具体的知识图谱下游任务如何，预训练模型都应该能够自动捕获给定三元组的深层结构上下文信息；(2)实体和关系的表示需要根据不同的下游任务，以及下游任务输入数据的不同结构特征进行不同方式的训练，以提高其鲁棒性。知识图谱与预训练语言模型的结合越来越受到研究者的关注。K-Bert模型将知识图谱中的知识注入句子中，生成知识丰富的语言表示。KG-Bert模型使用预训练的语言模型来补全知识图谱，ERNIE模型将知识模块中的实体表示集成到语义模块中，以增强文本表示能力。KEPLER在实体的文本表示向量中，融入了知识图谱的结构信息。KnowBert模型提出了知识增强表示模方法，将句子中的实体和知识图谱中的实体对齐，融合两者的向量表示来提升预测任务的效果。
技术实现思路
本专利技术的目的就是提供一种基于结构化上下文信息的知识图谱预训练方法，该知识图谱预训练方法获得的三元组的结构表示向量结合了上下文信息，且只需要在预训练阶段训练一次，即可在微调阶段在多种知识图谱下游任务中，更快速地完成训练，并取得更好的实验效果。为实现上述专利技术目的，本专利技术提供以下技术方案：一种基于结构化上下文信息的知识图谱预训练方法，采用包含三元组整合模块、结构化信息模块以及通用任务模块的预训练模型对知识图谱中的三元组进行训练，具体训练过程包括：针对目标三元组，构建由上下文三元组组成的实例，采用三元组整合模块对实例的每个上下文三元组进行编码，得到整合向量；将针对实例的所有上下文三元组的整合向量组成上下文向量序列，采用结构化信息模块对上下文向量序列进行编码得到三元组的结构表示向量；采用通用任务模块对三元组的结构表示向量进行计算，得到三元组的标签预测值，基于三元组的标签预测值与标签真值的交叉熵损失来更新三元组整合模块参数、结构化信息模块参数、通用任务模块参数以及三元组的结构表示向量，直到训练结束为止，得到目标三元组的优化后结构表示向量。优选地，所述三元组整合模块采用Transformer模型，为上下文三元组分配一个三元组标记[TRI]，三元组标记表示k[TRI]与上下文三元组的头实体表示h′、尾实体表示r′、关系表示t′组成表示序列<k[TRI],h′,r′,t′>作为三元组整合模块的输入，经三元组整合模块计算，将三元组标记k[TRI]对应的输出为整合向量。优选地，所述结构化信息模块采用Transformer模型，上下文向量序列表示为<seqh,seqr,seqt>，其中，seqh,seqr,seqt分别是头实体h,关系r,尾实体t的上下文三元组的序列，具体形式为：其中，表示头实体h的第i个整合向量，类似地，表示关系r的第i个整合向量，表示尾实体t的第i个整合向量。为seqh,seqr,seqt分配一个头实体标记[HEA]、关系标记[REL]、尾实体标记[TAI]，该seqh,seqr,seqt与头实体标记向量k[HEA]、关系标记向量k[REL]、尾实体标记向量k[TAI]组成序列<k[HEA],seqh,k[REL],seqr,k[TAI],seqt>作为结构化信息模块的输入。优选地，为每个上下文三元组的整合向量添加所属的段表示类型，即：其中，sh表示头实体的段向量，类似地，sr表示关系的段向量，st表示尾实体的段向量；则添加有段表示类型的上下文三元组的序列表示为：则输入结构化信息模块的序列为：优选地，所述通用任务模块包括至少1个全连接层和softmax层，利用全连接层对输入序列进行全连接结算，获得目标三元组的深层上下文信息，利用softmax层计算深层上下文信息的标签预测值。其中，目标三元组的实例包括正实例和负实例，且保证正实例和负实例数量相同，构建方法为：基于目标三元组的上下文三元组序列构造正实例，通过替换目标三元组的头实体、关系或尾实体得到了新三元组，利用新三元组的上下文三元组序列构造负实例，目标三元组的标签真值为1，新三元组的标签真值为0。优选地，限定目标三元组的实例大小固定为n，即每个实例包含n个上下文三元组，在构建时，若上下文三元组的数目大于n，则从上下文三元组中随机抽取n个上下文三元组组成实例，否则在所有上下文三元组后直接填充零以补足到n个。当针对特定任务训练时，将三元组的优化后结构表示向量作为特定任务模块的输入，利用三元组的优化后结构表示向量对特定任务模块进行参数微调。与现有技术相比，本专利技术具有的有益效果至少包括：本专利技术能够利用结构上下文三元组对深度图结构进行自动编码，动态地获取实体和关系的结构信息；同时针对多种知识图谱下游任务都有较好的实验效果；再者经过一次预训练后，能够快速达到多种知识图谱下游任务较好的试验指标。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。图1是实施例提供本文档来自技高网...

【技术保护点】
1.一种基于结构化上下文信息的知识图谱预训练方法，其特征在于，采用包含三元组整合模块、结构化信息模块以及通用任务模块的预训练模型对知识图谱中的三元组进行训练，具体训练过程包括：/n针对目标三元组，构建由上下文三元组组成的实例，采用三元组整合模块对实例的每个上下文三元组进行编码，得到整合向量；/n将针对实例的所有上下文三元组的整合向量组成上下文向量序列，采用结构化信息模块对上下文向量序列进行编码得到三元组的结构表示向量；/n采用通用任务模块对三元组的结构表示向量进行计算，得到三元组的标签预测值，基于三元组的标签预测值与标签真值的交叉熵损失来更新三元组整合模块参数、结构化信息模块参数、通用任务模块参数以及三元组的结构表示向量，直到训练结束为止，得到目标三元组的优化后结构表示向量。/n

【技术特征摘要】
1.一种基于结构化上下文信息的知识图谱预训练方法，其特征在于，采用包含三元组整合模块、结构化信息模块以及通用任务模块的预训练模型对知识图谱中的三元组进行训练，具体训练过程包括：
针对目标三元组，构建由上下文三元组组成的实例，采用三元组整合模块对实例的每个上下文三元组进行编码，得到整合向量；
将针对实例的所有上下文三元组的整合向量组成上下文向量序列，采用结构化信息模块对上下文向量序列进行编码得到三元组的结构表示向量；
采用通用任务模块对三元组的结构表示向量进行计算，得到三元组的标签预测值，基于三元组的标签预测值与标签真值的交叉熵损失来更新三元组整合模块参数、结构化信息模块参数、通用任务模块参数以及三元组的结构表示向量，直到训练结束为止，得到目标三元组的优化后结构表示向量。


2.如权利要求1所述的基于结构化上下文信息的知识图谱预训练方法，其特征在于，为上下文三元组分配一个三元组标记[TRI]，三元组标记表示k[TRI]与上下文三元组的头实体表示h′、尾实体表示r′、关系表示t′组成表示序列<k[TRI]，h′，r′，t′>作为三元组整合模块的输入，经三元组整合模块计算，将三元组标记k[TRI]对应的输出为整合向量。


3.如权利要求1或2所述的基于结构化上下文信息的知识图谱预训练方法，其特征在于，所述三元组整合模块采用Transformer模型。


4.如权利要求1所述的基于结构化上下文信息的知识图谱预训练方法，其特征在于，上下文向量序列表示为<seqh，seqr，seqt>，其中，seqh，seqr，seqt分别是头实体h，关系r，尾实体t的上下文三元组的序列，具体形式为：









其中，表示头实体h的第i个整合向量，表示关系r的第i个整合向量，表示尾实体t的第i个整合向量。
为seqh，seqr，seqt分配一个头实体标记[HEA]、关系标记[REL]、尾实体标记[TAI]，该seqh，seqr，seqt与头实体标记向量k[HEA]、关系标记向量k[REL]、尾实体标记向量k[TAI]组成序列<k[HEA]，se...

【专利技术属性】
技术研发人员：陈华钧，叶橄强，张文，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33