一种基于时序卷积的知识表示方法及系统技术方案

本发明专利技术提出一种基于时序卷积的知识表示方法，构建实体、关系和时间的语义向量对照表，并在语义空间中随机初始化对应的语义向量；根据时间信息及其对应的时间语义向量，动态构造时序卷积核；利用时序卷积核与实体和关系对应的语义向量进行卷积，得到时序知识图谱中的动态特征信息；利用随机初始化的卷积核与实体和关系对应的语义向量进行卷积，得到时序知识图谱中的静态特征信息；通过多层神经网络融合提取的动态特征信息和静态特征信息，得到综合的特征信息；基于提取的综合特征信息，计算该特征信息下全部实体的概率值，取概率最高的实体作为预测结果，从而完成知识表示学习的预测任务。本发明专利技术可用于下游知识推理或融合，且提高了模拟预测精度。了模拟预测精度。了模拟预测精度。

【技术实现步骤摘要】
一种基于时序卷积的知识表示方法及系统


[0001]本专利技术涉及自然语言处理技术，具体涉及一种针对时序知识图谱补全的知识表示方法及系统。

技术介绍

[0002]知识表示是一门研究如何将知识图谱进行向量化表示的技术
[1][2]，它的本质是将现实中的知识转化成一种计算机可以识别的信息描述方式。知识表示是知识图谱构建与应用的基础，它在知识推理
[2
‑
4]、智能问答
[5]、知识融合
[6]等知识图谱下游任务中也有着广泛应用。传统的知识表示方法是将知识图谱表示成一系列三元组{实体1，关系，实体2}，通过一定方法将三元组的词向量信息映射到高维向量空间，形成知识图谱的向量表征。但现实中的知识图谱是随时间不断变化的，即每个知识单元仅在一定时间范围内成立，如何有效表征知识图谱在时间维度上的特征是当前知识表示研究的关注点之一
[5][6]。
[0003]针对时序知识图谱表示学习的问题，学者提出来许多时序知识表示模型
[7
‑
13],这些模型可以分为两大类：基于线性张量的模型
[7
‑
10]和基于序列式深度学习模型
[11
‑
13]。基于线性张量的模型，通过投影、矩阵分解和旋转等线性张量操作，在语义空间中，将时间信息融入到向量化表征的实体与关系中，完成时序知识表示。该类方法计算效率高，但由于时序知识图谱中实体
‑
关系
‑
时间存在许多复杂的高阶联系，线性张量模型难以有效表达时序知识图谱中反映的语义特征信息。基于序列式深度学习模型，则借助RNN、LSTM和GRU等深度学习模型对序列信息天然的表征优势，可实现实体
‑
关系语义特征与时间信息之间的深度关联。但由于串行化的计算，将基于序列式深度学习模型运用在大型知识图谱上需要花费大量时间。此外，序列深度学习模型自身还存在特征稀疏的问题，即在各个时间段内常常只有少量的实体关系出现在图谱中，一定程度限制了其在时序知识上的表达能力。
[0004][1]马忠贵,倪润宇,余开航.知识图谱的最新进展,关键技术和挑战.
[0005][2]Yang B,Yih W T,He X,et al.Embedding Entities and Relations for Learning and Inference in KnowledgeBases[J].2014.
[0006][3]崔员宁,李静,陈琰,陆正嘉.TransPath:一种基于深度迁移强化学习的知识推理方法[J].小型微型计算机系统:1
‑
8.2021.
[0007][4]Trouillon T,Welbl J,Riedel S,et al.Complex Embeddings for Simple Link Prediction.JMLR.org,2016.
[0008][5]Kazemi S M,Goel R,Jain K,et al.Representation Learning for Dynamic Graphs:ASurvey[J].2019.
[0009][6]Ji S,Pan S,Cambria E,et al.A Survey on Knowledge Graphs:Representation,Acquisition andApplications[J].2020.
[0010][7]Shib Sankar Dasgupta,Swayambhu Nath Ray,and Partha Talukdar.Hyte:Hyperplane
‑
based temporally aware knowledge graph embedding.In Proceedings of the 2018conference on empiricalmethods innatural languageprocessing,pp.2001
–
2011,2018.
[0011][8]Rishab Goel,Seyed Mehran Kazemi,Marcus Brubaker,and Pascal Poupart.Diachronic embedding fortemporal knowledge graph completion.In Proceedings oftheAAAI Conference on Artificial Intelligence,volume 34,pp.3988
–
3995,2020.
[0012][9]Lacroix T,Obozinski G,Usunier N.Tensor Decompositions for temporal knowledge base completion[J].2020.
[0013][10]Xu C,Nayyeri M,Alkhoury F,et al.TeRo:A Time
‑
aware Knowledge Graph Embedding via Temporal Rotation[C]//Proceedings of the 28th International Conference on ComputationalLinguistics.2020.
[0014][11]Jin W,Qu M,Jin X,et al.Recurrent Event Network:Autoregressive Structure Inference overTemporal Knowledge Graphs[J].2019.
[0015][12]Wu J,Cao M,Cheung J,et al.TeMP:Temporal Message Passing for Temporal Knowledge Graph Completion[J].2020.
[0016][13]Temporal knowledge graph reasoning based on evolutional representation learning.arXivpreprintarXiv:2104.10353,2021.

技术实现思路

[0017]本专利技术的目的在于提出一种基于时序卷积的知识图谱表示方法及系统。
[0018]需要特别说明的是，本专利技术提出的时序卷积是完全自主设计的新网络模型。本专利技术提出的时序卷积(time
‑
aware convolution)和其他研究中的时序卷积(temporal convolution)虽然同名但不是同一个网络模型。本专利技术中的时序卷积与其他研究中的时序卷积，在针对的问题、数据输入和卷积核构造上完全不同。具体的，本专利技术设计的时序卷积是用于解决时序知识图谱的表示学习问题，现有其他研究提出的时序卷积是用于解决序列数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时序卷积的知识表示方法，其特征在于，包括如下步骤：步骤1，在采集的时序知识图谱数据上，分别构建实体、关系和时间的语义向量对照表，并在语义空间中随机初始化对应的语义向量；步骤2，根据时间信息及其对应的时间语义向量，动态构造时序卷积核，得到具有时间特征的时序卷积核；步骤3，利用时序卷积核与实体和关系对应的语义向量进行卷积，将时间信息融入实体语义向量和关系语义向量中，得到时序知识图谱中的动态特征信息；步骤4，利用随机初始化的卷积核与实体和关系对应的语义向量进行卷积，得到时序知识图谱中的静态特征信息；步骤5，通过多层神经网络融合提取的动态特征信息和静态特征信息，得到综合的特征信息；步骤6，基于提取的综合特征信息，计算该特征信息下全部实体的概率值，取概率最高的实体作为预测结果，从而完成知识表示学习。2.根据权利要求1所述的基于时序卷积的知识表示方法，其特征在于：步骤1，在采集的时序知识图谱数据上，分别将实体、关系和时间映射至语义向量空间中并随机初始化，具体方法为：基于采集到的时序知识图谱数据，对图谱中的全部实体、关系和时间进行统计，分别得到实体集合ε＝{s,o|s,o∈ε}、关系集合和时间集合T＝{t|t∈T}，其中s,o分别代表头实体和尾实体，r代表关系，t代表时间；对实体、关系和时间对应集合的元素进行ID编号，为每个元素生成对应的语义向量，并对语义向量每个维度上的值赋上随机值，其中，头尾实体语义向量分别表示为和其中e
s
代表头实体，e
o
中o代表尾实体，d
s
代表头实体语义向量的维数，d
o
代表尾实体语义向量的维数；关系语义向量表示为其中d
r
代表关系语义向量的维数；时间语义向量表示为其中d
t
代表时间语义向量的维数。3.根据权利要求1所述的基于时序卷积的知识表示方法，其特征在于，步骤2，根据时间信息及其对应的时间语义向量，动态构造时序卷积核，得到具有时间特征的时序卷积核，具体方法为：首先，通过时间信息获取对应的时间语义向量e
t
；接着，将其作为构造时序卷积核的全连接神经网络f
c
的输入，得到中间量v
t
；然后，通过向量拆分操作，得到一组时序卷积核其中代表一个卷积核，n代表第n个卷积核，c代表最后一个卷积核的序号，计算公式如下：F
t
＝vec
‑1(f
c
(e
t
))#(1)其中vec
‑1表示向量拆分操作。4.根据权利要求1所述的基于时序卷积的知识表示方法，其特征在于，步骤3，利用时序卷积核与实体和关系对应的语义向量进行卷积，将时间信息融入实体语义向量和关系语义向量中，得到时序知识图谱中的动态特征信息，具体方法为：首先根据实体关系找到相应的头实体语义向量e
s
和关系语义向量e
r
，然后利用步骤2中
得到的时序卷积核F
t
，对头实体语义向量和关系语义向量进行卷积，得到充分融入时间信息的动态特征信息a
temp
，计算公式如下：a
temp

【专利技术属性】
技术研发人员：罗晋，胡岩峰，沈红，彭晨，陶昊然，付啟明，姜添，向镐鹏，闵飞，
申请(专利权)人：苏州空天信息研究院，
类型：发明
国别省市：