图神经网络生成方法、装置、系统、介质以及电子设备制造方法及图纸

本公开涉及一种图神经网络生成方法、装置、系统、介质以及电子设备，所述方法包括：获取子图结构，所述子图结构用于反映对应的子图的图谱结构，所述子图包括多个节点和多个节点之间的边；基于所述子图结构，根据预设优先级从多个内存中获取多个所述节点的节点特征和所述边的边特征；所述预设优先级是将多个所述内存按照内存大小从小到大排序得到的；基于所述子图结构对多个所述节点的所述节点特征和所述边的所述边特征进行融合，得到子图数据；基于所述子图数据对图神经网络进行训练，本公开的图神经网络生成方法可以提升图神经网络训练的效率。训练的效率。训练的效率。

【技术实现步骤摘要】
图神经网络生成方法、装置、系统、介质以及电子设备


[0001]本公开涉及人工智能
，具体地，涉及一种图神经网络生成方法、装置、系统、介质以及电子设备。

技术介绍

[0002]近年来，图神经网络在各个领域得到了越来越广泛的应用，例如，计算机视觉、自然语言处理等领域。示例地，图神经网络可以应用于文本情感分析、问答系统等。图神经网络是一种直接作用于图的神经网络，图由节点和边两部分组成。
[0003]对于大规模图(例如，具备上亿节点的图)，由于其结构复杂，传统的机器学习架构不适用于图神经网络的训练，因此，如何更高效地训练图神经网络网络成为亟需解决的问题。

技术实现思路

[0004]提供该部分内容以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该部分内容并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0005]第一方面，本公开提供一种图神经网络生成方法，所述方法包括：
[0006]获取子图结构，所述子图结构用于反映对应的子图的图谱结构，所述子图包括多个节点和多个节点之间的边；
[0007]基于所述子图结构，根据预设优先级从多个内存中获取多个所述节点的节点特征和所述边的边特征；所述预设优先级是将多个所述内存按照内存大小从小到大排序得到的；
[0008]基于所述子图结构对多个所述节点的所述节点特征和所述边的所述边特征进行融合，得到子图数据；
[0009]基于所述子图数据对图神经网络进行训练。
[0010]第二方面，本公开提供一种图神经网络生成装置，所述装置包括：
[0011]第一获取模块，被配置为获取子图结构，所述子图结构用于反映对应的子图的图谱结构，所述子图包括多个节点和多个节点之间的边；
[0012]第二获取模块，被配置为基于所述子图结构，根据预设优先级从多个内存中获取多个所述节点的节点特征和所述边的边特征；所述预设优先级是将多个所述内存按照内存大小从小到大排序得到的；
[0013]融合模块，被配置为基于所述子图结构对多个所述节点的所述节点特征和所述边的所述边特征进行融合，得到子图数据；
[0014]训练模块，被配置为基于所述子图数据对图神经网络进行训练。
[0015]第三方面，本公开提供一种图神经网络生成系统，所述系统包括：图切分装置和多个模型训练装置，所述图切分装置用于得到多个子图结构并将多个所述子图结构加载至第
二图存储服务器内存中；多个所述模型训练装置中的每个用于对图神经网络进行训练。
[0016]第四方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现第一方面所述方法的步骤。
[0017]第五方面，本公开提供一种电子设备，包括：
[0018]存储装置，其上存储有一个或多个计算机程序；
[0019]一个或多个处理装置，用于执行所述存储装置中的所述一个或多个计算机程序，以实现第一方面所述方法的步骤。
[0020]通过上述技术方案，根据预设优先级从多个内存中获取节点特征和边特征，由于预设优先级是将多个内存按照内存大小从小到大排序得到的，内存大小越小则数据读取速率越快，因此，通过该预设优先级可以优先从读取速率快的内存中获取节点特征和边特征，从而提高获取子图数据的效率，进一步提升图神经网络的训练效率。
[0021]本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
[0022]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
[0023]图1是根据一示例性实施例示出的一种图神经网络生成系统的系统架构图。
[0024]图2是根据一示例性实施例示出的一种图神经网络生成方法的流程图。
[0025]图3是根据一示例性实施例示出的获取节点特征和边特征的流程图。
[0026]图4是根据一示例性实施例示出的得到多个子图结构的流程图。
[0027]图5是根据一示例性实施例示出的一种图神经网络生成装置的框图。
[0028]图6是根据一示例性实施例示出的电子设备的结构示意图。
具体实施方式
[0029]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0030]应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
[0031]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
[0032]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0033]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域
技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0034]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0035]大规模图神经网络训练和传统神经网络训练相比有着独特的技术挑战，因而，传统的分布式机器学习架构不适用于图神经网络训练。在分布式场景下，图神经网络训练需要单独的采样器进行训练数据的生成，会存在计算和传输带宽的瓶颈。
[0036]为此，申请人提出一种图神经网络生成系统，该系统包括多个模型训练装置110和图切分装置120。在一些实施例中，模型训练装置110和图切分装置120可以是计算设备。例如，膝上型计算机、台式计算机、服务器等。在一些实施例中，图切分装置120可以将全图切分为多个图分片，以得到多个子图结构，并将多个子图结构加载至第二图存储服务器130的内存中。在一些实施例中，第二图存储服务器130可以是分布式图存储服务器。
[0037]在一些实施例中，多个模型训练装置110的每一模型训练装置可以通过采样器140从第二图存储服务器130的内存中获取子图结构，以使该模型训练装置将该子图结构对应的子图数据作为训练数据，对图神经网络进行训练。在一些实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图神经网络生成方法，其特征在于，所述方法包括：获取子图结构，所述子图结构用于反映对应的子图的图谱结构，所述子图包括多个节点和多个节点之间的边；基于所述子图结构，根据预设优先级从多个内存中获取多个所述节点的节点特征和所述边的边特征；所述预设优先级是将多个所述内存按照内存大小从小到大排序得到的；基于所述子图结构对多个所述节点的所述节点特征和所述边的所述边特征进行融合，得到子图数据；基于所述子图数据对图神经网络进行训练。2.根据权利要求1所述的图神经网络生成方法，其特征在于，多个所述内存包括图像处理器内存、中央处理器内存以及第一图存储服务器内存；所述基于所述子图结构，根据预设优先级从多个内存中获取多个所述节点的节点特征和所述边的边特征，包括：从多个所述节点的标识中确定与所述图像处理器内存关联的第一节点标识，并根据所述第一节点标识从所述图像处理器内存中获取第一节点的所述节点特征和所述第一节点连接的边的所述边特征；在所述第一节点未包括多个所述节点的所有节点的情况下，从第一剩余节点的标识中确定与所述中央处理器内存关联的第二节点标识，并根据所述第二节点标识从所述中央处理器内存中获取第二节点的所述节点特征和所述第二节点连接的边的所述边特征；所述第一剩余节点为多个所述节点除去所述第一节点后的节点；在所述第一节点和所述第二节点未包括多个所述节点的所有节点的情况下，根据第二剩余节点的标识从所述第一图存储服务器内存中获取所述第二剩余节点的所述节点特征和所述第二剩余节点连接的边的所述边特征，所述第二剩余节点为多个所述节点除去所述第一节点和所述第二节点后的节点。3.根据权利要求2所述的图神经网络生成方法，其特征在于，所述图像处理器内存包括多个；所述根据所述第一节点标识从所述图像处理器内存中获取第一节点的所述节点特征和所述第一节点连接的边的所述边特征，包括：确定与多个所述图像处理器内存中各个所述图像处理器内存中关联的所述第一节点标识，并使用多个线程通过线程队列从各个所述图像处理器内存中获取对应的第一节点的所述节点特征及该第一节点连接的边的所述边特征。4.根据权利要求1所述的图神经网络生成方法，其特征在于，所述获取子图结构，包括：基于采样器从第二图存储服务器内存中获取所述子图结构；所述第二图存储服务器内存中存储有多个子图结构；所述子图结构的节点特征以及边特征是预先提取并缓存到多个所述内存中的。5.根据权利要求4所述的图神经网络生成方法，其特征在于，所述多个子图结构是通过如下方式得到的：根据宽度优先搜索算法将全图切分为多个图分块，每个所述图分块包括对应数量的所述节点和该节点连接的边；将多个所述图分块分配给多个图分片；基于所述全图对多个所述图分片中每...

【专利技术属性】
技术研发人员：朱亦博，陈扬锐，何骏，彭杨华，郭传雄，王剑，
申请(专利权)人：脸萌有限公司，
类型：发明
国别省市：