模型训练方法及计算系统技术方案

本申请实施例提供一种模型训练方法及计算系统。在本申请实施例中，将数据量较小的图拓扑结构数据存放到采样用并行处理单元，而数据量较大的图顶点特征数据存放到处理单元的内存中。利用并行处理单元的高速计算性能对图拓扑结构数据进行采样，提高了图采样效率，处理单元可基于采样用并行处理单元采样的子图的拓扑结构数据中的顶点标识，从内存存储的图顶点特征数据中获取子图的顶点特征数据；训练用并行处理单元可利用子图的拓扑结构数据和顶点特征数据进行图神经网络训练。对于训练用并行处理单元来说，图采样效率提高，可降低训练用并行处理单元等待采样结果的时间，有助于提高训练用并行处理单元利用率。提高训练用并行处理单元利用率。提高训练用并行处理单元利用率。

【技术实现步骤摘要】
模型训练方法及计算系统


[0001]本申请涉及计算机
，尤其涉及一种模型训练方法及计算系统。

技术介绍

[0002]图神经网络是一种将图结构数据和深度学习技术相结合的神经网络模型，在点分类以及用于个性化推荐的边预测等领域应用广泛。
[0003]在实际中，用于图神经网络训练的图数据的规模比较大，一般用于图神经网络训练的硬件设备包括通用处理单元和并行处理单元。通用处理单元一般是进行常规串行处理操作的计算单元，例如，中央处理器CPU。并行处理单元常具有较大的并行处理能力，一般用于处理大规模数据流，例如，图形计算或图计算。并行处理单元的示例可以是图形处理单元，人工智能加速单元，等具有高速并行计算能力的计算单元，并广泛应用于深度学习模型训练中。
[0004]本案的研究者注意到，现有图神经网络模型训练技术中，考虑到并行处理单元的内存相对较小但并行计算能力强而通用处理单元的内存相对较大但并行计算能力相对弱，一般采用通用处理单元对规模大的原始图进行采样得到规模较小的子图；采用并行处理单元对子图进行训练。但由于通用处理单元的并行计算性能比并行计算单元弱，导致并行计算单元的大部分时间在等待通用处理单元的采样计算结果的空闲状态，并行计算单元利用率较低。

技术实现思路

[0005]本申请的多个方面提供一种模型训练方法及计算系统，用以提高图采样效率，有助于提高并行处理单元利用率。
[0006]本申请实施例提供一种计算系统，包括：中央处理器处理单元和多个图形处理器并行处理单元；所述处理单元与所述多个并行处理单元之间通信连接；
[0007]所述处理单元，用于将获取的图数据集存储至处理单元的内存中；并控制所述多个并行处理单元中的第一并行处理单元从至少一个处理单元的内存中读取将所述图数据集中的图拓扑结构数据；
[0008]所述第一并行处理单元，用于对所述图拓扑结构数据进行采样，得到子图的拓扑结构数据；
[0009]所述至少一个处理单元，还用于控制所述多个并行处理单元中的第二并行处理单元获取所述子图的拓扑结构数据；以及，基于所述子图的拓扑结构数据中的顶点标识，从所述图数据集中的顶点特征数据中获取所述子图的顶点特征数据；并控制所述第二并行处理单元从至少一个处理单元的内存中读取所述子图的顶点特征数据；
[0010]所述第二并行处理单元，用于以所述子图的拓扑结构数据和顶点特征数据为样本，进行图神经网络训练。
[0011]本申请实施例还提供一种模型训练方法，适用于处理单元，包括：
[0012]将获取的图数据集存储至所述处理单元的内存中；
[0013]控制第一并行处理单元从处理单元的内存中读取图数据集中的图拓扑结构数据；
[0014]控制所述第一并行处理单元对所述图拓扑结构数据采样，得到子图的拓扑结构数据；
[0015]基于所述子图的拓扑结构数据中的顶点标识，从所述处理单元的内存存储的图数据集中的顶点特征数据中获取所述子图的顶点特征数据；
[0016]控制第二并行处理单元获取所述子图的拓扑结构数据和所述子图的顶点特征数据；
[0017]控制所述第二并行处理单元以所述子图的拓扑结构数据和顶点特征数据为样本进行图神经网络训练。
[0018]在本申请实施例中，将数据量较小的图拓扑结构数据存放到采样用并行处理单元，而数据量较大的图顶点特征数据存放到处理单元的内存中。采样用并行处理单元可对图拓扑结构数据进行采样，得到子图的拓扑结构数据；处理单元可根据子图的拓扑结构数据中的顶点标识，从内存存储的图顶点特征数据中获取子图的顶点特征数据；并将子图的拓扑结构数据和子图的顶点特征数据存储至训练用并行处理单元；训练用并行处理单元可以子图的拓扑结构数据和子图的顶点特征数据为样本进行图神经网络训练。在本申请实施例中，利用处理单元的内存大的性能，对数据量较大的图顶点数据进行存储，利用并行处理单元的高速计算性能对图拓扑结构数据进行采样，提高了图采样效率。对于训练用并行处理单元来说，图采样效率提高，可降低训练用并行处理单元等待采样结果的时间，有助于提高训练用并行处理单元利用率。
附图说明
[0019]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0020]图1a和图1b为本申请实施例提供的计算系统的结构示意图；
[0021]图1c为本申请实施例提供的模型训练过程示意图；
[0022]图2为本申请实施例提供的模型训练过程时序示意图；
[0023]图3和图4为本申请实施例提供的模型训练方法的流程示意图。
具体实施方式
[0024]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0025]为了解决上述并行计算单元利用率低的技术问题，在本申请一些实施例中，将图拓扑结构数据存放到采样用并行处理单元，而图顶点特征数据存放到通用处理单元(以下简称：处理单元)的内存中。采样用并行处理单元可对图拓扑结构数据进行采样，得到子图的拓扑结构数据；处理单元可根据子图的拓扑结构数据中的顶点标识，从内存存储的图顶点特征数据中获取子图的顶点特征数据；并将子图的拓扑结构数据和子图的顶点特征数据
存储至训练用并行处理单元；训练用并行处理单元可以子图的拓扑结构数据和子图的顶点特征数据为样本进行图神经网络训练。在本申请实施例中，利用处理单元的内存大的性能对数据量较大的图顶点数据进行存储，利用并行处理单元的高速计算性能对图拓扑结构数据进行采样，提高了图采样效率。对于训练用并行处理单元来说，图采样效率提高，可降低训练用并行处理单元等待采样结果的时间，有助于提高训练用并行处理单元利用率。
[0026]以下结合附图，详细说明本申请各实施例提供的技术方案。
[0027]应注意到：相同的标号在下面的附图以及实施例中表示同一物体，因此，一旦某一物体在一个附图或实施例中被定义，则在随后的附图和实施例中不需要对其进行进一步讨论。
[0028]图1a和图1b为本申请实施例提供的计算系统的结构示意图。如图1a和图1b所示，该计算系统S10包括：处理单元10和多个并行处理单元20。在本实施例中，不限定处理单元10的数量。处理单元10可以为至少1个，即1个或多个；每个处理单元10可以为单核处理单元，也可为多核处理单元。上述多个是指2个或2个以上。图1a和图1b中仅以处理单元10的数量为1个；并行处理单元20的数量为2个进行图示，但不构成限定。
[0029]在本实施例中，处理单元10可以为任何具有处理计算能力的处理器件。处理单元10可为串行处理单元，也可为并行处理单元。例如，处理单元10可以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算系统，其特征在于，包括：处理单元和多个并行处理单元；所述处理单元与所述多个并行处理单元之间通信连接；所述处理单元，用于将获取的图数据集存储至所述处理单元的内存中，并控制所述多个并行处理单元中的第一并行处理单元从所述处理单元的内存中读取所述图数据集中的图拓扑结构数据；所述第一并行处理单元，用于对所述图拓扑结构数据进行采样，得到子图的拓扑结构数据；所述处理单元，还用于控制所述多个并行处理单元中的第二并行处理单元获取所述子图的拓扑结构数据；以及，基于所述子图的拓扑结构数据中的顶点标识，从所述图数据集中的顶点特征数据中获取所述子图的顶点特征数据；并控制所述第二并行处理单元从所述处理单元的内存中读取所述子图的顶点特征数据；所述第二并行处理单元，用于以所述子图的拓扑结构数据和顶点特征数据为样本，进行图神经网络训练。2.根据权利要求1所述的系统，其特征在于，所述处理单元具体用于：从所述第一并行处理单元中读取所述子图的拓扑结构数据，并存储至所述处理单元的内存中；控制所述第二并行处理单元从所述处理单元的内存中读取所述子图的拓扑结构数据。3.根据权利要求1所述的系统，其特征在于，所述多个并行处理单元之间通过通信连接；所述处理单元，具体用于：控制所述第二并行处理单元从所述第一并行处理单元中读取所述子图的拓扑结构数据。4.根据权利要求1
‑
3任一项所述的系统，其特征在于，所述处理单元还用于：在所述第一并行处理单元从所述处理单元的内存中读取所述图拓扑结构数据之后，释放与所述图拓扑结构数据对应的处理单元的内存区域。5.根据权利要求4所述的系统，其特征在于，所述处理单元为至少两个，并且其中：所述至少两个处理单元中的第一处理单元执行上述数据控制操作，第二处理单元执行基于所述子图的拓扑结构数据中的顶点标识从所述图数据集中的顶点特征数据中获取所述子图的顶点特征数据的计算操作。6.一种模型训练方法，其特征在于，包括：将获取的图数据集存储至处理单元的内存中；控制第一并行处理单元从处理单元的内存中读取图数据集中的图拓扑结构数据；控制所述第一并行处理单元对所述图拓扑结构数据采样，得到子图的拓扑结构数据；基于所述子图的拓扑结构数据中的顶点标识，从所述处理单元的内存存储的图数据集中的顶点特征数据中获取所述子图的顶点特征数据；控制第二并行处理单元获取所述子图的拓扑结构数据和顶点特征数据；控制所述第二并行处理单元以所述子图的拓扑结构数据和顶点特征数据为样本进行图神经网络训练。7.根据权利要求6所述的方法，其特征在于，包括：启动多个线程；利用所述多个线程循环执行以下步骤，直至所述图神经网络满足设定
的条件：利用第一线程控制所述第一并行处理单元对所述图拓扑结构...

【专利技术属性】
技术研发人员：杨健邦，陈榕，王磊，尹强，于文渊，周靖人，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：