训练图神经网络的方法、图神经网络设备、装置、介质制造方法及图纸

本公开提供了一种训练图神经网络的方法、图神经网络设备、装置、介质，所述方法包括：获取所述图神经网络的图结构数据，其中，所述图结构数据包括结点的表征向量和边的表征向量，所述边表示相连的结点之间的关联关系；利用所述图神经网络基于所述边的表征向量生成传递矩阵，其中，所述传递矩阵表示相连结点之间的信息传递方式；确定所述边的表征向量与所述传递矩阵之间的互信息；以及利用所述互信息训练所述图神经网络。

Methods, devices and media of training graph neural network

【技术实现步骤摘要】
训练图神经网络的方法、图神经网络设备、装置、介质
本公开涉及图神经网络领域，具体的涉及一种训练图神经网络的方法、图神经网络设备、装置、介质。
技术介绍
图神经网络是一种新型的人工智能神经网络，其输入为图结构数据，输出为表征向量，用于表示对性质特征的高度概括，其中，所述图结构数据包括结点的表征向量和边的表征向量，所述边表示相连的结点之间的关联关系。通过训练可以使得图神经网络在性质预测、分类、回归等任务上取得远超传统方法的效果。然而，传统的神经网络训练方法中并未考虑边的表征向量对于训练结果的影响，忽略了边的表征向量在训练过程中的重要作用。
技术实现思路
本公开提供一种训练图神经网络的方法、图神经网络设备、装置、介质，用于基于边的表征向量来训练所述图神经网络，以在训练过程中有效的利用边的表征向量。根据本公开的一方面，提供了一种训练图神经网络的方法，包括：获取所述图神经网络的图结构数据，其中，所述图结构数据包括结点的表征向量和边的表征向量，所述边表示相连的结点之间的关联关系；利用所述图神经网络基于所述边的表征向量生成传递矩阵，其中，所述传递矩阵表示相连结点之间的信息传递方式；确定所述边的表征向量与所述传递矩阵之间的互信息；以及利用所述互信息训练所述图神经网络。根据本公开的一些实施例，所述图神经网络包括边神经网络，所述利用所述图神经网络基于所述边的表征向量生成传递矩阵包括：利用所述边神经网络基于所述边的表征向量生成传递矩阵。根据本公开的一些实施例，确定所述边的表征向量与所述传递矩阵之间的互信息包括：确定对应于所述边的表征向量的边缘熵；确定所述传递矩阵与所述边的表征向量之间的相关信息熵；基于所述边缘熵和所述相关信息熵确定所述互信息。根据本公开的一些实施例，确定所述传递矩阵与所述边的表征向量之间的相关信息熵包括：确定后验分布函数，其中，所述后验分布函数表征在发生传递矩阵的条件下发生所述边的表征向量的概率分布；基于所述后验分布函数确定所述相关信息熵。根据本公开的一些实施例，确定后验分布函数包括：利用所述边神经网络的逆网络对所述传递矩阵进行处理，生成逆矩阵；基于所述边的表征向量和所述逆矩阵来确定所述后验分布函数。根据本公开的一些实施例，利用所述互信息训练所述图神经网络包括：通过最大化所述互信息来训练所述图神经网络，由以下公式表示所述互信息：其中，I(e；W)表示所述边的表征向量e与所述传递矩阵W之间的互信息，H(e)表示对应于所述边的表征向量的边缘熵，Ee～p(e)表示对边的概率分布p(e)求数学期望，α为系数，f表示边神经网络，g表示逆网络，表示L2范数的平方。根据本公开的一些实施例，所述图结构数据包括多个结点，所述方法还包括：对于每个结点，确定与所述结点相连的其他结点；利用所述图神经网络基于所述结点和与所述其他结点之间的边的表征向量生成第一传递矩阵，以及利用所述第一传递矩阵和所述其他结点的表征向量来更新所述结点的表征向量。根据本公开的一些实施例，所述图神经网络是信息传递神经网络。根据本公开的另一方面，还提供了一种图神经网络设备，包括：图神经网络单元，配置成获取包括结点的表征向量和边的表征向量的图结构数据，以及基于所述边的表征向量生成传递矩阵，其中，所述边表示相连的结点之间的关联关系，所述传递矩阵表示相连结点之间的信息传递方式；训练单元，配置成确定所述边的表征向量与所述传递矩阵之间的互信息，以及利用所述互信息训练所述图神经网络单元。根据本公开的一些实施例，所述图神经网络单元包括边神经网络，利用所述边神经网络基于所述边的表征向量生成传递矩阵。根据本公开的一些实施例，所述训练单元还配置成：利用所述边神经网络的逆网络对所述传递矩阵进行处理以生成逆矩阵；基于所述边的表征向量和所述逆矩阵来确定后验分布函数，其中，所述后验分布函数表征在发生传递矩阵的条件下发生所述边的表征向量的概率分布；基于所述后验分布函数确定所述传递矩阵与所述边的表征向量之间的相关信息熵，基于对应于所述边的表征向量的边缘熵和所述相关信息熵确定所述互信息。根据本公开的一些实施例，所述训练单元通过最大化所述互信息来训练所述图神经网络单元，其中，所述图结构数据包括多个结点，所述图神经网络单元还配置成：对于每个结点，确定与所述结点相连的其他结点；基于所述结点和与所述其他结点之间的边的表征向量生成第一传递矩阵，所述设备还包括更新单元，配置成利用所述第一传递矩阵和所述其他结点的表征向量来更新所述结点的表征向量。根据本公开的一些实施例，所述图结构数据还包括拓扑结构，用于表示所述结点和边之间的图结构信息，所述图神经网络单元还配置成对包括结点的表征向量、边的表征向量和拓扑结构的图结构数据进行处理，并输出预测表征向量，其中，所述预测表征向量包括以下中的至少一种：用于预测所述结点的性质的结点预测表征向量；和用于预测所述图结构数据的性质的图预测表征向量。根据本公开的一些实施例，所述图神经网络单元包括信息传递神经网络。根据本公开的又一方面，一种图神经网络装置，包括：处理器；和存储器，其中，所述存储器中存储有计算机可读代码，所述计算机可读代码当由所述处理器运行时，执行如上所述的训练图神经网络的方法。根据本公开的又一方面，还提供了一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如上所述的训练图神经网络的方法。本公开提供的训练图神经网络的方法、图神经网络设备、装置、介质，通过基于边的表征向量与由边的表征向量生成的传递矩阵之间的互信息来训练图神经网络，能实现充分利用边的表征向量来训练图神经网络，提高图神经网络的训练效果。附图说明为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出了根据本公开实施例的训练图神经网络的方法的流程图；图2示出了图神经网络的处理流程示意图；图3A示出了更新结点的表征向量的流程示意图；图3B示出了根据本公开实施例的更新结点的表征向量的流程示意图；图4示出了根据本公开实施例的图神经网络设备的示意性框图；图5示出了根据本公开实施例的图神经网络装置的示意图；图6示出了根据本公开实施例的示例性计算设备的架构的示意图；图7示出了根据本公开实施例的计算机可读存储介质的示意图。具体实施方式下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。本公开中使用了流程图用来说明根据本本文档来自技高网...

【技术保护点】
1.一种训练图神经网络的方法，包括：获取所述图神经网络的图结构数据，其中，所述图结构数据包括结点的表征向量和边的表征向量，所述边表示相连的结点之间的关联关系；利用所述图神经网络基于所述边的表征向量生成传递矩阵，其中，所述传递矩阵表示相连结点之间的信息传递方式；确定所述边的表征向量与所述传递矩阵之间的互信息；以及利用所述互信息训练所述图神经网络。

【技术特征摘要】
1.一种训练图神经网络的方法，包括：获取所述图神经网络的图结构数据，其中，所述图结构数据包括结点的表征向量和边的表征向量，所述边表示相连的结点之间的关联关系；利用所述图神经网络基于所述边的表征向量生成传递矩阵，其中，所述传递矩阵表示相连结点之间的信息传递方式；确定所述边的表征向量与所述传递矩阵之间的互信息；以及利用所述互信息训练所述图神经网络。2.根据权利要求1所述的方法，其中，所述图神经网络包括边神经网络，所述利用所述图神经网络基于所述边的表征向量生成传递矩阵包括：利用所述边神经网络基于所述边的表征向量生成传递矩阵。3.根据权利要求2所述的方法，其中，确定所述边的表征向量与所述传递矩阵之间的互信息包括：确定对应于所述边的表征向量的边缘熵；确定所述传递矩阵与所述边的表征向量之间的相关信息熵；基于所述边缘熵和所述相关信息熵确定所述互信息。4.根据权利要求3所述的方法，其中，确定所述传递矩阵与所述边的表征向量之间的相关信息熵包括：确定后验分布函数，其中，所述后验分布函数表征在发生传递矩阵的条件下发生所述边的表征向量的概率分布；基于所述后验分布函数确定所述相关信息熵。5.根据权利要求4所述的方法，其中，确定后验分布函数包括：利用所述边神经网络的逆网络对所述传递矩阵进行处理，生成逆矩阵；基于所述边的表征向量和所述逆矩阵来确定所述后验分布函数。6.根据权利要求1所述的方法，其中，利用所述互信息训练所述图神经网络包括：通过最大化所述互信息来训练所述图神经网络，其中，由以下公式表示所述互信息：其中，I(e；W)表示所述边的表征向量e与所述传递矩阵W之间的互信息，H(e)表示对应于所述边的表征向量的边缘熵，Ee～p(e)表示对边的概率分布p(e)求数学期望，α为系数，f表示边神经网络，g表示逆网络，表示L2范数的平方。7.根据权利要求1所述的方法，其中，所述图结构数据包括多个结点，所述方法还包括：对于每个结点，确定与所述结点相连的其他结点；利用所述图神经网络基于所述结点和与所述其他结点之间的边的表征向量生成第一传递矩阵；以及利用所述第一传递矩阵和所述其他结点的表征向量来更新所述结点的表征向量。8.根据权利要求1所述的方法，其中，所述图神经网络是信息传递神经网络。9.一种图...

【专利技术属性】
技术研发人员：陈鹏飞，刘卫文，谢昌谕，陈广勇，张胜誉，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44