一种层次感知的时态知识图谱表示学习方法技术

本发明专利技术公开了一种层次感知的时态知识图谱表示学习方法，包括：1)提取时态知识图谱中的事件；2)根据每个时刻的发生事件构建原图，建模实体之间的历史相关性；3)在层次图发现网络中，利用层次映射器将实体映射到实体组，并通过隐式关系编码器，以端到端的方式推理成对实体组之间的隐式相关性；4)在层次化耦合图卷积

【技术实现步骤摘要】
一种层次感知的时态知识图谱表示学习方法


[0001]本专利技术属于时态知识图谱表示学习领域，具体涉及一种层次感知的时态知识图谱表示学习方法。

技术介绍

[0002]时态知识图谱，例如全球新闻事件库(GDELT)和综合危机预警系统(ICEWS)，包含大量具有时间标记的知识，即事件。时态知识图谱中的事件以四元组(头实体、事件类型、尾实体、时间戳)的形式表示。时态知识图谱表示学习基于历史发生事件，将知识图谱中的实体和事件类型映射成低维、连续的向量表示，这对于社交网络分析等领域有着重要意义。
[0003]传统的时态知识图谱表示学习方法以向量表示学习、超平面的投影或张量分解的方式建模时间信息。这些方法只对时间信息进行简单建模，忽略了时间依赖。最近，序列模型的快速发展使得在时态知识图谱中建模事件之间的时间依赖变得可行。研究人员提出基于序列模型的时态知识图谱表示学习方法来建模事件之间的时间依赖。
[0004]基于序列模型的时态知识图谱表示学习方法利用序列学习模型建模时间依赖，具体可以细分为两类。第一类方法利用循环神经网络(RNN)与其变体，如门控循环神经网络(GRU)和长短时记忆模型(LSTM)，建模事件之间的时间依赖。然而，这类方法忽略了邻居实体对表示的影响。
[0005]第二类方法将图卷积网络(GCNs)和循环神经网络结合，同时建模邻居实体及事件之间的时间依赖。在这类方法中，往往基于历史发生事件构建图，并通过图卷积网络聚合邻居实体。这类方法通常通过堆叠多个图卷积层来建模遥远的邻居实体。然而，加深图卷积的层数会导致过平滑问题，即邻居实体的表示将变得相似。

技术实现思路

[0006]鉴于上述，本专利技术的目的是提供一种层次感知的时态知识图谱表示学习方法，有效建模遥远的邻居实体对实体表示的影响。
[0007]实施例提供的一种层次感知的时态知识图谱表示学习方法，包括以下步骤：
[0008](1)从对时态知识图谱中提取发生事件；
[0009](2)根据每个时刻的发生事件构建原图，建模实体之间的历史相关性；
[0010](3)在层次图发现网络中，利用层次映射器对原图进行处理以将实体映射到实体组，并通过隐式关系编码器，以端到端的方式推理成对实体组之间的隐式相关性；
[0011](4)在层次化耦合图卷积
‑
门控循环神经网络中，利用层次化图卷积对实体组和实体组之间的隐式相关性进行处理以更新每一个时刻的实体表示，并将不同时刻更新后的实体表示输入到门控循环神经网络中，获得包含历史信息和邻居信息的实体表示；
[0012](5)通过多标签分类器对实体表示进行处理以输出实体之间未来可能发生的所有事件。
[0013]本专利技术根据每个时刻的发生事件构建原图，利用层次映射器和隐式关系编码器完
成层次图发现，并利用层次化耦合图卷积
‑
门控循环神经网络进行表示学习，可以建模邻近和遥远的邻居实体及事件之间的时间依赖对实体表示的影响。与现有的方法相比，其优点在于：
[0014]1)引入了层次图发现网络基于原图发现层次图，利用层次映射器将实体映射到实体组，并通过隐式关系编码器，以端到端的方式推理成对实体组之间的隐式相关性。
[0015]2)引入了层次化耦合图卷积
‑
门控循环神经网络，利用层次化图卷积建模原图和层次图上的信息交互，并将其结果输入到门控循环神经网络中，以建模邻近和遥远的邻居实体及事件之间的时间依赖对实体表示的影响。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
[0017]图1是一实施例提供的层次感知的时态知识图谱表示学习方法的整体流程图；
[0018]图2是一实施例提供的层次感知的时态知识图谱表示学习方法的整体框架图。
具体实施方式
[0019]为使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本专利技术进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本专利技术，并不限定本专利技术的保护范围。
[0020]为了解决如何在时态知识图谱表示学习方法中，有效建模遥远的邻居实体对实体表示的影响。本专利技术根据每个时刻的发生事件构建原图，利用层次映射器和隐式关系编码器完成层次图发现，并利用层次化耦合图卷积
‑
门控循环神经网络进行表示学习，提出一种层次感知的时态知识图谱表示学习方法，可以建模邻近和遥远的邻居实体以及事件之间的时间依赖对实体表示的影响，进而提升模型性能，即提升了实体间未来可能发生事件的预测准确性，在关系预测、社会关系分析等领域具有广阔的应用前景。具体过程为：首先根据每个时刻的发生事件构建原图，建模实体之间的历史相关性；然后在层次图发现网络中，利用层次映射器将实体映射到实体组，并通过隐式关系编码器，以端到端的方式推理成对实体组之间的隐式相关性；其次在层次化耦合图卷积
‑
门控循环神经网络中，利用层次化图卷积更新每一个时刻的实体表示，并将不同时刻更新后的实体表示输入到门控循环神经网络中，获得包含历史信息和邻居信息的实体表示；最后通过多标签分类器输出实体之间未来可能发生的所有事件。例如在社会关系分析这个实际应用中，实体为个人，关系类型为具有共同兴趣爱好、属于同一个职业、具有共同好友等，事件是由两个人，两个人之间发生的关系及关系发生时间构成的四元组，通过建模邻居信息和事件之间的时间依赖，可以提升人之间未来的社会关系分析的准确性。
[0021]图1是一实施例提供的层次感知的时态知识图谱表示学习方法的整体流程图；图2是一实施例提供的层次感知的时态知识图谱表示学习方法的整体框架图。如图1和图2所示，实施例提供的层次感知的时态知识图谱表示学习方法，包括以下步骤：
[0022]步骤1，对时态知识图谱中的数据进行事件提取。利用大小为T的滑动时间窗口对提取的事件进行划分，得到训练数据集。
[0023]时态知识图谱TKG中包含大量具有时间标记的知识，对TKG进行事件提取。事件以四元组(s,r,o,t)的形式表示，其中，s代表头实体，r代表事件类型，o代表尾实体，t代表时间戳。ε代表实体集合，且s,o∈ε。代表事件类型集合，且代表事件类型集合，且代表时间戳集合，且
[0024]四元组的时间戳为事件发生的时刻，将四元组按时刻顺序排列，然后利用大小为T的滑动时间窗口对排序的四元组进行步长为h的划分，每个步长内的四元组形成一个训练样本，多个训练样本组成训练数据集。
[0025]步骤2，根据每个时刻的发生事件构建原图G
primal
＝(V
primal
,E
primal
)，其中V
primal
表示原图上的节点集合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种层次感知的时态知识图谱表示学习方法，其特征在于，包括以下步骤：(1)从对时态知识图谱中提取发生事件；(2)根据每个时刻的发生事件构建原图，建模实体之间的历史相关性；(3)在层次图发现网络中，利用层次映射器对原图进行处理以将实体映射到实体组，并通过隐式关系编码器，以端到端的方式推理成对实体组之间的隐式相关性；(4)在层次化耦合图卷积
‑
门控循环神经网络中，利用层次化图卷积对实体组和实体组之间的隐式相关性进行处理以更新每一个时刻的实体表示，并将不同时刻更新后的实体表示输入到门控循环神经网络中，获得包含历史信息和邻居信息的实体表示；(5)通过多标签分类器对实体表示进行处理以输出实体之间未来可能发生的所有事件。2.根据权利要求1所述的层次感知的时态知识图谱表示学习方法，其特征在于，步骤(1)中，提取的事件以四元组(s,r,o,t)的形式表示，其中，s代表头实体，r代表事件类型，o代表尾实体，t代表时间戳。ε代表实体集合，且s,o∈ε。代表事件类型集合，且代表事件类型集合，且代表时间戳集合，且3.根据权利要求1所述的层次感知的时态知识图谱表示学习方法，其特征在于，步骤(2)中，构建的原图表示为G
primal
＝(V
primal
,E
primal
)，其中V
primal
表示原图上的节点集合，E
primal
表示原图上的边集合，原图上的节点和边分别表示实体和实体之间发生的事件；如果实体e
i
到实体e
j
发生过事件，则认为他们之间存在一条从实体e
i
指向实体e
j
的一条边，边的计算公式如下所示：4.根据权利要求1所述的层次感知的时态知识图谱表示学习方法，其特征在于，步骤(3)中，通过层次映射器可以发现实体和实体组之间的多对多映射关系，利用层次映射器可以将实体表示e映射到实体组表示g，计算公式如下所示：其中，e
i
为实体表示，通过随机初始化得到，g
j
为实体组的表示，M
i,j
表示实体i被分配到实体组j的概率，N
e
为实体的数量。5.根据权利要求1或4所述的层次感知的时态知识图谱表示学习方法，其特征在于，步骤(3)中，通过隐式关系编码器，以端到端的方式推理成对实体组之间的隐式相关性，完成层次图G
hierachical
＝(V
hierachical
,E
hierachical
)的发现，其中V
hierachical
表示层次图上的节点集合，E
hierachical
表示层次图上的边集合；层次图上的节点和边分别表示实体组和实体组之间的隐式相关性；将层次图G
hierachical
建模为全连接图，利用隐式关系编码器推理成对实体组之间的隐式相关性，计算公式如下所示：c
i,j
＝ReLU(σ(g
i
,g
j
))
其中，g
i
和g
j
是实体组的表示，σ为编码函数，由多层感知机MLP实现。6.根据权利要求1所述的层次感知的时态知识图谱表示学习方法，其特征在于，步骤(4)中，层次化图卷积包含层次图卷积层和原图卷积层，在层次图卷积中，离彼此遥远的实体通过实体组共享信息，实体组的表示通过聚合和更新操作得到，聚合操作首先...

【专利技术属性】
技术研发人员：陈岭，汤星，
申请(专利权)人：浙江大学，
类型：发明
国别省市：