一种自动搜索时序知识图谱补全模型的方法技术

本发明专利技术涉及人工智能领域中的时序知识图谱的补全技术，公开了一种自动搜索时序知识图谱补全模型的方法，包括：步骤1:将待补全的时序知识图谱按照不同时间戳划分为若干个静态知识图谱切片；步骤2:定义搜索空间，基于定义好的搜索空间构建超网络；步骤3:使用单路径采样策略优化超网络的参数；步骤4:对超网络进行一次架构采样，并使架构继承超网络的对应参数，利用架构在验证集上进行推理，得到验证性能；步骤5:实施若干次步骤4，得到对应验证性能最优的架构。本发明专利技术方法在三个公开的基准数据集上，可以搜索出比手工设计模型补全性能更优的网络模型；可以针对不同的数据集搜索出不同的网络结构，提升了模型结构的灵活性与数据适应性。应性。应性。

【技术实现步骤摘要】
一种自动搜索时序知识图谱补全模型的方法


[0001]本专利技术涉及人工智能领域中的时序知识图谱的补全技术，具体涉及一种自动搜索时序知识图谱补全模型的方法。

技术介绍

[0002]近年来，时序知识图谱因其对现实世界的合理建模而受到研究者的广泛关注，时序知识图谱是富含许多时间敏感的关系事实的图结构数据，如图1所示。其中人物A、人物B、国别是图中的节点，节点之间的关系是图中的边。
[0003]时序知识图谱将知识描述为(头实体，关系，尾实体，时间戳) 的四元组形式，如(人物A，当选某职位，国别，2016年11月X日)， (人物A，公开指责，人物B，2022年4月X日)等。时间戳信息可以帮助确定知识成立的时间，使得知识图谱中的知识事实更加可信，这也促进了时序知识图谱在问答系统、推荐系统等领域的一系列应用研究。但绝大多数时序知识图谱都存在着不完整的问题，存在着大量的知识缺失，这会严重影响其应用在下游任务中的性能。为了补全其内部缺失的知识，时序知识图谱补全任务由此产生，时序知识图谱补全任务是时序知识图谱领域的基础问题，旨在预测图谱中的缺失知识。
[0004]目前流行的时序知识图谱补全方法主要分为两类，一类是基于嵌入的方法，该类方法直接构造时间感知的时序知识图谱评分函数，来评估候选四元组是否属于图谱中的缺失知识，其中的代表性工作有TTransE,HyTE, DE
‑
SimplE,TNTComplEx等。基于嵌入的方法可以很好地捕捉时序知识图谱中的语义信息，但此类模型忽略了时序知识图谱中丰富的拓扑信息。另一类方法是基于图神经网络的模型，此类模型利用图神经网络捕捉时序知识图谱中的拓扑信息与时序信息，能够更加全面的挖掘时序知识图谱的隐含知识，代表工作如TeMP，T
‑
GAP等，以TeMP为例，该方法是将一个时序知识图谱按照不同时间戳划分为多个静态知识图谱切片，使用多关系图卷积网络(RGCN)捕捉静态知识图谱中的拓扑信息，获得融合拓扑信息的实体表示，利用门控循环单元(GRU)或是时序自注意力机制(SA)捕捉不同时间戳上实体表示的动态演化规律，获得融合时序信息的时间感知实体表示。大量的实证性实验验证了基于图神经网络的模型在时序知识图谱补全问题上可以取得更优的性能。
[0005]然而现有技术多采用手工设计的单一网络结构去处理不同的时序知识图谱，手工设计时序知识图谱补全模型成本高昂，且不同的网络结构模型在不同性质的数据上的效果千差万别；而使用固定的图神经网络架构处理不同的时序知识图谱，很难捕捉不同类型的时序知识图谱中多样的拓扑与时序信息。

技术实现思路

[0006]针对现有技术存在的上述不足，本专利技术的目的在于提供一种自动搜索时序知识图谱补全模型的方法，针对不同性质的时序知识图谱数据，自动搜索出适应数据性质的时序知识图谱补全模型结构，使得在不同数据下搜索出的模型在对应数据上的时序知识图谱补全任务都能取得优异的性能。
[0007]为实现以上目的，本专利技术采用如下技术方案：
[0008]一种自动搜索时序知识图谱补全模型的方法，包括以下步骤：
[0009]步骤1:将待补全的时序知识图谱按照不同时间戳划分为若干个静态知识图谱切片；
[0010]步骤2:定义搜索空间，基于定义好的搜索空间构建超网络；
[0011]步骤3:使用单路径采样策略优化超网络的参数，得到训练好的超网络；
[0012]步骤4:对超网络进行一次架构采样，并使所述架构继承超网络的对应参数，利用所述架构在验证集上进行推理，得到验证性能；
[0013]步骤5:实施若干次步骤4，得到对应验证性能最优的架构，将此架构作为搜索出的对应该时序知识图谱的最优网络结构，用于时序知识图谱补全任务。
[0014]进一步地，步骤1中，针对数据集，构造一个实体词典，一个关系词典和一个时间戳词典，使用给定的数字ID表示数据集中的四元组，即头实体，关系，尾实体和时间戳。
[0015]进一步地，将数据集划分为训练集、验证集和测试集，再按照不同的表示时间戳的数字ID将训练集、验证集和测试集中的四元组均划分成n个集合，得到n个静态知识图谱切片。
[0016]进一步地，步骤2中，对于神经网络结构搜索，首先定义一个搜索空间，搜索空间包括4个部分：拓扑结构编码器、时序信息编码器、层间连接模块和层间聚合模块，其中拓扑结构编码器的候选操作包括：RGCN基于多关系的图卷积网络、RGAT基于多关系注意力的图卷积网络和 COMPGCN基于组合操作的多关系图卷积网络，所述时序信息编码器的候选操作包括：GRU门控循环单元、SELF
‑
ATTENTION自注意力机制和 IDENTITY将输入值作为输出值的运算；所述层间连接模块的候选操作包括：LC_CONCAT对向量进行合并的运算、LC_SUM求和的运算和LC_SKIP 不采取层间连接的运算；所述层间聚合模块的候选操作包括：LF_CONCAT 将输入值作为输出值的运算、LF_MAX求最大值的运算、LF_MEAN求平均值的运算和LF_SKIP不采取层间融合的运算。
[0017]在本专利技术的一种优选实施方式中，定义一个两层的搜索空间，其中第一层拓扑结构编码器接受静态知识图谱切片与实体s的初始化嵌入向量作为输入，产生中间实体表示中间实体表示代表第一层拓扑结构编码器的运行函数；层间连接模块作为拓扑结构编码器之间的模块，用于融合前一个拓扑结构编码器的输入表示与输出表示产生连接模块的输出作为下一层拓扑结构编码器的输入，f
LC
代表层间连接模块的运行函数；第二层拓扑结构编码器接受静态知识图谱切片与实体s的中间嵌入表示作为输入，产生中间实体表示类似的，可分别利用静态知识图谱切片得到实体s在不同时间戳下由第i层拓扑结构编码器生成对应的中间表示第一层时序信息编码器将前面τ个时间步，第一层的拓扑结构编码器的输出作为输入，产生融合了多个时间步信息的动态表示融合了多个时间步信息的动态表示代表第一层时序信息编码器的运行函数，同理，第二层时序信息编码器产生动态表示
层间融合模块融合所有时序信息编码器的输出表示，获得最终的实体表示表示，获得最终的实体表示f
LF
代表层间融合模块的运行函数。
[0018]进一步地，构建的超网络中包括了搜索空间中的所有候选操作。
[0019]进一步地，构建好超网络后，使用单路径采样策略训练超网络，具体步骤如下：在超网络训练阶段，针对训练集中每个小的数据子集，使用均匀采样，从搜索空间中采样出一条单路径，与此条单路径相关的模型权重将会被激活，对于数据子集，模型将计算损失函数，并基于损失函数使用梯度下降算法对相关模型权重进更新；进行若干次上次操作，最终得到训练好的超网络权重。
[0020]进一步地，对于训练好的超网络权重，利用均匀采样，从搜索空间中采样出一条单路径，该单路径对应的网络结构即为一个候选架构，所述候选架构继承超网络中对应训练好的模型权重，在验证集上进行模型推理，获得在验证集上的任务性能。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动搜索时序知识图谱补全模型的方法，其特征在于，包括以下步骤：步骤1:将待补全的时序知识图谱按照不同时间戳划分为若干个静态知识图谱切片；步骤2:定义搜索空间，基于定义好的搜索空间构建超网络；步骤3:使用单路径采样策略优化超网络的参数，得到训练好的超网络；步骤4:对超网络进行一次架构采样，并使所述架构继承超网络的对应参数，利用所述架构在验证集上进行推理，得到验证性能；步骤5:实施若干次步骤4，得到对应验证性能最优的架构，将此架构作为搜索出的对应该时序知识图谱的最优网络结构，用于时序知识图谱补全任务。2.根据权利要求1所述的自动搜索时序知识图谱补全模型的方法，其特征在于，步骤1中，针对数据集，构造一个实体词典，一个关系词典和一个时间戳词典，使用给定的数字ID表示数据集中的四元组，即头实体，关系，尾实体和时间戳。3.根据权利要求2所述的自动搜索时序知识图谱补全模型的方法，其特征在于，将数据集划分为训练集、验证集和测试集，再按照不同的表示时间戳的数字ID将训练集、验证集和测试集中的四元组均划分成n个集合，得到n个静态知识图谱切片。4.根据权利要求1所述的自动搜索时序知识图谱补全模型的方法，其特征在于，步骤2中，对于神经网络结构搜索，首先定义一个搜索空间，搜索空间包括4个部分：拓扑结构编码器、时序信息编码器、层间连接模块和层间聚合模块，其中拓扑结构编码器的候选操作包括：RGCN基于多关系的图卷积网络、RGAT基于多关系注意力的图卷积网络和COMPGCN基于组合操作的多关系图卷积网络，所述时序信息编码器的候选操作包括：GRU门控循环单元、SELF
‑
ATTENTION自注意力机制和IDENTITY将输入值作为输出值的运算；所述层间连接模块的候选操作包括：LC_CONCAT对向量进行合并的运算、LC_SUM求和的运算和LC_SKIP不采取层间连接的运算；所述层间聚合模块的候选操作包括：LF_CONCAT将输入值作为输出值的运算、LF_MAX求最大值的运算、LF_MEAN求平均值的运算和LF_SKIP不采取层间融合的运算。5.根据权...

【专利技术属性】
技术研发人员：王震，杜昊桐，高超，刘晨，李学龙，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：