一种融入注意力机制的预测方法技术

本发明专利技术涉及一种融入注意力机制的预测方法，将包括头实体向量、关系向量、尾实体向量和时间向量的四元组作为输入层；引入注意力机制层，为四元组的各项创建其上下文向量，将得到的上下文向量加上原来四元组对应各项的向量形成新的矩阵向量，并将新的矩阵向量转置馈送到卷积层；在卷积层当中通过不同的卷积核捕获头尾实体、关系和事实发生时间相同维度之间的全局特征；通过点积将特征向量和权重向量相乘得到其四元组分数。本发明专利技术从卷积神经网络的角度出发，在结合时序知识的同时，融入注意力机制来提取四元组中各项的上下文信息和相关性，能够提高模型的预测性能。

A prediction method integrating attention mechanism

【技术实现步骤摘要】
一种融入注意力机制的预测方法
本专利技术涉及知识图谱
，特别是一种融入注意力机制的预测方法。
技术介绍
目前利用卷积神经网络来完成知识图补全的代表性模型有ConvE模型和ConvKB模型。ConvE模型是第一个将卷积神经网络(CNN)应用于知识图谱补全的模型。该模型尝试使用CNN来捕获头实体向量和关系向量不同维度条目之间的局部关系，而未考虑三元组存在的全局关系。基于此有学者提出ConvKB模型，该模型通过卷积神经网络来改进ConvE模型，从而捕获知识图谱中实体与关系之间的全局关系和过渡特征。但是这两个模型一方面未充分考虑到事实的时间维度，忽略了事实在某个时间点或某个时间段的有效性，导致在时序动态知识图上预测效率不佳；另一方面这两个卷积神经网络模型未充分考虑到四元组中非连续项之间的相关性，导致无法获取实体或时间对于关系的相关性。一方面，现实中的三元组事实应是带有时间维度的，因此，知识库的时间维度也将成为考量的重点之一；另一方面现有的卷积神经网络知识补全模型未充分考虑四元组中非连续项之间的相关性。
技术实现思路
有鉴于此，本专利技术的目的是提出一种融入注意力机制的预测方法，从卷积神经网络的角度出发，在结合时序知识的同时，融入注意力机制来提取四元组中各项的上下文信息和相关性，能够提高模型的预测性能。本专利技术采用以下方案实现：一种融入注意力机制的预测方法，具体包括以下步骤：将包括头实体向量、关系向量、尾实体向量和时间向量的四元组作为输入层；引入注意力机制层，为四元组的各项创建其上下文向量，将得到的上下文向量加上原来四元组对应各项的向量形成新的矩阵向量，并将新的矩阵向量转置馈送到卷积层；在卷积层当中通过不同的卷积核捕获头尾实体、关系和事实发生时间相同维度之间的全局特征；通过点积将特征向量和权重向量相乘得到其四元组分数。进一步地，所述将包括头实体向量、关系向量、尾实体向量和时间向量的四元组作为输入层具体为：将一个带有时间注解的四元组看作一个句子作为输入，四元组文本由四个项组成：头实体s、关系p、尾实体o和事实发生时间tb，对应的项的向量为xi，那么对应的四元组矩阵A定义如下：式中，序列矩阵d为向量维度，把矩阵A具体到四元组中的各项，定义如下：式中，s为头实体向量，p为关系向量，o为尾实体向量，tb为事实发生时间向量。进一步地，所述引入注意力机制层，为四元组的各项创建其上下文向量，将得到的上下文向量加上原来四元组对应各项的向量形成新的矩阵向量，并将新的矩阵向量转置馈送到卷积层具体为：步骤S11：计算四元组中第j项相对于第i项的注意力权重αi,j：其中，score(xi,xj)为xj对xi的影响力得分：式中，Wa是注意力机制当中的参数，va是归一化之后的参数向量，tanh是非线性激活的正切双曲函数；通过加权求和来对四元组中第i项计算其上下文向量：步骤12：将最终四元组各项得出的上下文向量和原来四元组各项对应的向量进行相加来更新原来的向量，从而更新矩阵，其更新公式如下：x′i＝xi+gi。步骤S13：将更新后的矩阵向量转置馈送到卷积层，转置后得到的序列矩阵为：其中，表示序列矩阵A'的第i行。进一步地，所述在卷积层当中通过不同的卷积核捕获头尾实体、关系和事实发生时间相同维度之间的全局特征具体为：设置卷积层上不同的卷积核为使用卷积核来提取头实体、关系、尾实体和时间之间相同维度的局部特征及一个四元组的全局关系，每个不同的卷积核提取其特定模式的特征；卷积核ω在序列矩阵A'的每一行数据重复进行卷积，以最终生成特征图v＝{v1,v2,…vk}，其中生成特征图公式如下：vi＝g(ω·A'i,:+b)；式中，g是ReLU函数，b是一个偏秩项，进一步地，所述通过点积将特征向量和权重向量相乘得到其四元组分数采用下式计算：f(s,p,o,t)＝concat(g([s,p,o,tb]*Ω))·w；式中，Ω为卷积核集合，w为权重向量，*表示卷积操作符，concat表示连接符号，g是ReLU函数。与现有技术相比，本专利技术有以下有益效果：本专利技术在知识图谱的背景下，提出了融入注意力机制的预测方法，能够充分利用知识图谱的时效特性，从而进一步提高知识图谱补全的性能，融入了注意力机制来提取四元组中各项之间的相关性，来提高模型预测性能。附图说明图1为本专利技术实施例的原理图。图2为本专利技术实施例的应用于对带有时间注解的数据进行关系预测和实体预测的系统软件框架图。具体实施方式下面结合附图及实施例对本专利技术做进一步说明。应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。如图1所示，本实施例提供了一种融入注意力机制的预测方法，具体包括以下步骤：将包括头实体向量、关系向量、尾实体向量和时间向量的四元组作为输入层；引入注意力机制层，为四元组的各项创建其上下文向量，将得到的上下文向量加上原来四元组对应各项的向量形成新的矩阵向量，并将新的矩阵向量转置馈送到卷积层；在卷积层当中通过不同的卷积核捕获头尾实体、关系和事实发生时间相同维度之间的全局特征；通过点积将特征向量和权重向量相乘得到其四元组分数。在本实施例中，所述将包括头实体向量、关系向量、尾实体向量和时间向量的四元组作为输入层具体为：将一个带有时间注解的四元组看作一个句子作为输入，四元组文本由四个项组成：头实体s、关系p、尾实体o和事实发生时间tb，对应的项的向量为xi，那么对应的四元组矩阵A定义如下：式中，序列矩阵d为向量维度，四元组的表示形式为(s,p,o,t)，用实体向量(s、o)、关系向量(p)和时间向量(其中t＝[tb,te]，由于大多数事实仅与事实的发生时间相关，这里仅考虑开始时间向量tb)替换四元组当中的项。把矩阵A具体到四元组中的各项，定义如下：式中，s为头实体向量，p为关系向量，o为尾实体向量，tb为事实发生时间向量。较佳的，由于传统CNN的嵌入模型忽略了非连续词的相关性，本实施例提出的方法则考虑引入注意力机制来学习四元组中非连续词的上下文向量。通过上下文向量获取四元组中实体与时间的相关性、关系与时间的相关性和实体与关系的相关性。对于一个四元组，训练时通过随机初始化实体、关系和时间的d维向量值，通过实体、关系和时间的初始向量值构成矩本文档来自技高网...

【技术保护点】
1.一种融入注意力机制的预测方法，其特征在于，包括以下步骤：/n将包括头实体向量、关系向量、尾实体向量和时间向量的四元组作为输入层；/n引入注意力机制层，为四元组的各项创建其上下文向量，将得到的上下文向量加上原来四元组对应各项的向量形成新的矩阵向量，并将新的矩阵向量转置馈送到卷积层；/n在卷积层当中通过不同的卷积核捕获头尾实体、关系和事实发生时间相同维度之间的全局特征；/n通过点积将特征向量和权重向量相乘得到其四元组分数。/n

【技术特征摘要】
1.一种融入注意力机制的预测方法，其特征在于，包括以下步骤：
将包括头实体向量、关系向量、尾实体向量和时间向量的四元组作为输入层；
引入注意力机制层，为四元组的各项创建其上下文向量，将得到的上下文向量加上原来四元组对应各项的向量形成新的矩阵向量，并将新的矩阵向量转置馈送到卷积层；
在卷积层当中通过不同的卷积核捕获头尾实体、关系和事实发生时间相同维度之间的全局特征；
通过点积将特征向量和权重向量相乘得到其四元组分数。


2.根据权利要求1所述的一种融入注意力机制的预测方法，其特征在于，所述将包括头实体向量、关系向量、尾实体向量和时间向量的四元组作为输入层具体为：将一个带有时间注解的四元组看作一个句子作为输入，四元组文本由四个项组成：头实体s、关系p、尾实体o和事实发生时间tb，对应的项的向量为xi，那么对应的四元组矩阵A定义如下：



式中，序列矩阵d为向量维度，把矩阵A具体到四元组中的各项，定义如下：



式中，s为头实体向量，p为关系向量，o为尾实体向量，tb为事实发生时间向量。


3.根据权利要求1所述的一种融入注意力机制的预测方法，其特征在于，所述引入注意力机制层，为四元组的各项创建其上下文向量，将得到的上下文向量加上原来四元组对应各项的向量形成新的矩阵向量，并将新的矩阵向量转置馈送到卷积层具体为：
步骤S11：计算四元组中第j项相对于第i项的注意力权重αi,j：



其中，score(xi,xj)为xj对xi的影响力得分：

【专利技术属性】
技术研发人员：汪璟玢，周静平，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35