基于多跳注意力图神经网络的关系学习方法与系统技术方案

一种用于完善知识图的系统和方法。所述系统包括计算设备，所述计算设备包括处理器和存储计算机可执行代码的存储设备。所述计算机可执行代码被配置为：提供包括多个节点和多个边的不完整知识图，所述多个边中的每个边连接所述多个节点中的两个节点；基于由所述多个边中的一个边连接的所述多个节点中的任意两个节点之间的单跳注意力来计算所述不完整知识图的注意力矩阵；根据所述注意力矩阵计算所述多个节点中的任意两个节点的多头扩散注意力；使用所述多头扩散注意力获得所述不完整知识图的更新嵌入；以及基于所述更新嵌入更新所述不完整知识图，以获得更新知识图。以获得更新知识图。以获得更新知识图。

【技术实现步骤摘要】
【国外来华专利技术】基于多跳注意力图神经网络的关系学习方法与系统
[0001]交叉引用
[0002]根据美国法典第35卷第119(e)条，本申请要求美国临时专利申请序列号为63/082096，于2020年9月23日，由Guangtao Wang、Zhitao Ying、Jing Huang以及Jurij Leskovec提交的，标题为“通过图扩散变换器进行关系结构的表示学习的方法和系统”的专利申请的优先权和权益，此专利申请的全部内容通过引用并入本文。需要注意，上述临时申请中的图扩散变换器等效于本公开中讨论的多跳注意力图神经网络(MAGNA)。
[0003]在本公开的描述中引用和讨论了一些参考文献，其可能包括专利、专利申请和各种出版物。提供此类参考文献的引用和/或讨论仅用于阐明本公开的描述，并不承认任何此类参考文献是本文所述公开的“现有技术”。在说明书中引用和讨论的所有参考文献通过引用整体并入本文，并且与每篇参考文献通过引用单独并入的程度相同。


[0004]本公开总体上涉及关系学习，更具体地，涉及使用多跳注意力图神经网络(Multi/>‑
ho本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括计算设备，所述计算设备包括处理器和存储计算机可执行代码的存储设备，其中所述计算机可执行代码在所述处理器处执行时被配置为：提供包括多个节点和多个边的不完整知识图，所述多个边中的每个边连接所述多个节点中的两个节点；基于由所述多个边中的一个边连接的所述多个节点中的任意两个节点之间的单跳注意力来计算所述不完整知识图的注意力矩阵；根据所述注意力矩阵计算所述多个节点中的任意两个节点的多头扩散注意力；使用所述多头扩散注意力获得所述不完整知识图的更新嵌入；以及基于所述更新嵌入更新所述不完整知识图，以获得更新知识图。2.根据权利要求1所述的系统，其中所述计算机可执行代码被配置为通过以下方式计算所述注意力矩阵：通过计算边(v
i
，r
k
，v
j
)的注意力得分其中v
i
和v
j
是节点i和节点j，r
k
是所述节点i与所述节点j之间的边的类型，的边的类型，和是多头注意力的第l层共享的可训练权重，表示在所述第l层所述节点i的嵌入，表示在所述第l层所述节点j的嵌入，r
k
是第k关系类型的可训练关系嵌入，||表示嵌入向量的级联；通过获得注意力得分矩阵S
(l)
，其中是所述知识图；以及通过A
(l)
＝softmax(S
(l)
)计算所述注意力矩阵A
(l)
。3.根据权利要求2所述的系统，其中所述计算机可执行代码被配置为通过以下方式计算所述多头扩散注意力：通过计算多跳注意力矩阵其中hop是2至20范围内的正整数，θ
hop
是注意力衰减因子；以及通过计算所述多头扩散注意力，其中Θ表示等式(1)的参数，H
(l)
是所述第l层的输入实体嵌入。4.根据权利要求3所述的系统，其中通过以下方式对所述进行粗略估计：设定Z
(0)
＝H
(l)
，Z
(k+1)
＝(1
‑
α)AZ
(k)
+αZ
(0)
(等式(5))，其中0≤k≤K，θ
hop
＝α(1
‑
α)
hop
；以及将定义为Z
(K)
。5.根据权利要求4所述的系统，其中hop或K是2至12范围内的正整数，l是2至24范围内的正数。6.根据权利要求5所述的系统，其中所述计算机可执行代码被配置为通过以下方式获得所述不完整知识图的更新嵌入：对所述多头扩散注意力依次执行第一层归一化和加操作、前馈以及第二层归一化和加操作。7.根据权利要求6所述的系统，其中使用两层的多层感知器MLP网络执行所述前馈。
8.根据权利要求1所述的系统，其中所述计算机可执行代码还被配置为在获得更新嵌入之后：基于所述更新嵌入以及所述不完整知识的节点和边的标签来计算损失函数，以及调整用于计算所述注意力矩阵、计算所述多头扩散注意力和获取所述更新嵌入的参数。9.根据权利要求8所述的系统，其中所述计算机可执行代码被配置为：多次迭代地计算所述注意力矩阵、计算所述多头注意力扩散、获取所述更新嵌入、计算所述损失函数以及调整所述参数，以及使用所述多次迭代之后获得的更新嵌入来更新所述不完整知识图。10.根据权利要求9所述的系统，其中所述计算机可执行代码被配置为通过以下方式来更新所述不完整知识图：基于所述更新嵌入来预测所述多个节点的新特征或预测新边，以及将所述新特征添加到所述节点或将所述新边添加到所述不完整知识图。11.根据权利要求1所述的系统，其中所述计算机可执行代码还被配置为：当所述更新知识图包括多个顾客和多个产品时，在产品和顾客被所述更新知识图中的边链接的情况下，向所述顾客推荐所述产品，其中所述边指示所述顾客对所述产品的兴趣。12.根据权利要求1所述的系统，其中所述计算机可执行代码还被配置为：当所述更新知识图包括多个顾客时，基于所述知识图中所述顾客的特征，为所述多个顾客提供信用得分。13.一种方法，包括：由计算设备提供包括多个节点和多个边的不完整知识图，所述多个边中的每个边连接所述多个节点中的两个节点；由计算设备基于由所述多个边中的一个边连接的所述多个节点中的任意两个节点之间的单跳注意力来计算所述不完...

【专利技术属性】
技术研发人员：王广涛，应智韬，黄静，尤吉伊，
申请(专利权)人：京东美国科技公司利兰斯坦福初级大学信托董事会，
类型：发明
国别省市：