【技术实现步骤摘要】
本专利技术涉及内存设计领域，特别涉及一种图神经网络模型的训练架构、方法、系统及服务器。
技术介绍
1、近年来，随着gnn（graph neural network，图神经网络）模型在各个领域的广泛应用，对大规模的图结构数据的训练和推理需求也越来越迫切。然而，与图像模型或语言模型不同，gnn模型的输入数据是非结构化的图结构数据，而真实世界中的图结构数据非常庞大，如社交网络、蛋白质网络等。为了在更大规模的图结构数据上获得更好的训练和推理效果，目前的做法是增加训练图结构数据的规模。然而，传统服务器的内存容量较小，而如今图神经网络的节点越来越多，导致图结构数据的存储量也越来越大。
2、由于当前服务器体系结构的限制，单个服务器上可扩展的内存容量是有限的。因此，目前使用分布式计算框架来解决这一问题，具体将图结构数据划分后分配给多个服务器，并在多台服务器上进行并行处理，但是这会引入额外的网络通信开销，并且在架构设计上相对复杂。
技术实现思路
1、本专利技术的目的是提供一种图神经网络模型的训练架构、方法、系统及服务器，设置n个计算快速链路设备，实现了对单台服务器的内存扩展、及在单台服务器内的并行处理和存储，解决了大规模图结构数据的存储和训练问题，同时减少网络通信开销和架构设计复杂性，提高了训练和推理效率。
2、第一方面，本专利技术提供了一种图神经网络模型的训练架构，应用于服务器，包括：
3、n个非一致性内存访问节点，n为大于一的整数；
4、n个计算快
5、k×n个图形处理器，与n个所述非一致性内存访问节点一一对应连接，n个所述图形处理器之间互相连接，k为大于一的整数；
6、所述非一致性内存访问节点，用于获取用户输入的图结构数据，并将所述图结构数据划分为n个第一子图结构数据，并将n个所述第一子图结构数据一一对应分配至n个所述计算快速链路设备中，在所述计算快速链路设备得到第二子图结构数据时，将所述第二子图结构数据中各节点对应的节点特征向量发送至所述图形处理器；
7、所述计算快速链路设备，用于存储和自身对应的第一子图结构数据，并对自身对应的第一子图结构数据中的节点进行邻居节点抽样，得到抽样后的所述第二子图结构数据，并将所述第二子图结构数据发送至所述图形处理器；
8、所述图形处理器，用于存储图神经网络模型，并在接收到所述第二子图结构数据和所述第二子图结构数据中各节点对应的节点特征向量时，根据所述第二子图结构数据和所述节点特征向量对所述图神经网络模型进行训练。
9、在一种实施例中，还包括：
10、n个主机内存，与n个所述非一致性内存访问节点一一对应连接，用于存储与所述图结构数据中的各个节点对应的节点特征向量；
11、所述非一致性内存访问节点，还用于在获取用户输入的图结构数据之后，将所述图结构数据中各节点对应的节点特征向量存储至所述主机内存中；
12、在所述计算快速链路设备得到第二子图结构数据时，将所述第二子图结构数据中各节点对应的节点特征向量发送至所述图形处理器，包括：
13、在所述计算快速链路设备得到第二子图结构数据时，确定所述第二子图结构数据中各个节点的节点标识；
14、从所述主机内存中读取与所述节点标识对应的节点特征向量，并将所述节点特征向量发送至所述图形处理器。
15、在一种实施例中，多个所述图形处理器中包括主图形处理器和从图形处理器；
16、所述从图形处理器，还用于在根据所述第二子图结构数据和所述节点特征向量对所述图神经网络模型进行训练后，得到第一从模型参数，并将第一从模型参数发送至所述主图形处理器；
17、所述主图形处理器，还用于在根据所述第二子图结构数据和所述节点特征向量对所述图神经网络模型进行训练后，得到第一主模型参数，接收各个所述从图形处理器发送的第一从模型参数，根据所述第一主模型参数和各个所述第一从模型参数确定第一综合模型参数，并触发自身和所述从图形处理器根据所述第一综合模型参数对所述图神经网络模型进行模型参数更新。
18、在一种实施例中，根据所述第一主模型参数和各个所述第一从模型参数确定第一综合模型参数，包括：
19、根据所述第一主模型参数和各所述第一从模型参数计算平均模型参数，并将所述平均模型参数确定为所述第一综合模型参数。
20、在一种实施例中，触发自身和所述从图形处理器根据所述第一综合模型参数对所述图神经网络模型进行模型参数更新，包括：
21、将所述第一综合模型参数发送至各所述从图形处理器；
22、触发自身及各所述从图形处理器根据所述第一综合模型参数对所述图神经网络模型进行模型参数更新。
23、在一种实施例中，所述主图形处理器和所述从图形处理器的确定方式为：根据用户的配置指令确定所述主图形处理器和所述从图形处理器，或者，在每次训练完成之后，随机选择一个图形处理器确定为所述主图形处理器、除所述主图形处理器之外的其它图形处理器确定为所述从图形处理器。
24、在一种实施例中，所述非一致性内存访问节点，还用于将每个所述第一子图结构数据划分为m个第三子图结构数据，并将每个所述第一子图结构数据对应的m个所述第三子图结构数据存储在计算快速链路设备中，在所述计算快速链路设备得到第四子图结构数据时，将所述第四子图结构数据中各节点对应的节点特征向量发送至所述图形处理器，m为大于一的整数；
25、所述计算快速链路设备，具体用于存储和自身对应的m个第三子图结构数据，并依次对每个所述第三子图结构数据中各节点进行邻居节点抽样，得到抽样后的第四子图结构数据，并将所述第四子图结构数据发送至所述图形处理器；
26、所述图形处理器，具体用于存储图神经网络模型，并依次接收所述计算快速链路设备发送的所述第四子图结构数据和所述非一致性内存访问节点发送的所述第四子图结构数据中各节点对应的节点特征向量，根据所述第四子图结构数据和所述节点特征向量对所述图神经网络模型进行训练，并在训练完成后更新自身存储的所述图神经网络模型的模型参数。
27、在一种实施例中，多个所述图形处理器中包括主图形处理器和从图形处理器；
28、所述从图形处理器，还用于在根据所述计算快速链路设备发送的第m个第四子图结构数据和所述非一致性内存访问节点发送的第m个第四子图结构数据中各节点对应的节点特征向量对图神经网络模型进行训练，得到第二从模型参数时，将所述第二从模型参数发送至所述主图形处理器；
29、所述主图形处理器，还用于在根据所述计算快速链路设备发送的第m个第四子图结构数据和所述非一致性内存访问节点发送的第m个第四子图结构数据中各节点对应的节点特征向量对图神经网络模型进行训练，得到第二主模型参数时，接收所述从图形处理器发送的所述第二从模型参数，并根据所述第二主模型参数和各所述第二从模型参数确定第二综本文档来自技高网...
【技术保护点】
1.一种图神经网络模型的训练架构，其特征在于，应用于服务器，包括：
2.如权利要求1所述的图神经网络模型的训练架构，其特征在于，还包括：
3.如权利要求1所述的图神经网络模型的训练架构，其特征在于，多个所述图形处理器中包括主图形处理器和从图形处理器；
4.如权利要求3所述的图神经网络模型的训练架构，其特征在于，根据所述第一主模型参数和各个所述第一从模型参数确定第一综合模型参数，包括：
5.如权利要求3所述的图神经网络模型的训练架构，其特征在于，触发自身和所述从图形处理器根据所述第一综合模型参数对所述图神经网络模型进行模型参数更新，包括：
6.如权利要求3所述的图神经网络模型的训练架构，其特征在于，所述主图形处理器和所述从图形处理器的确定方式为：根据用户的配置指令确定所述主图形处理器和所述从图形处理器，或者，在每次训练完成之后，随机选择一个图形处理器确定为所述主图形处理器、除所述主图形处理器之外的其它图形处理器确定为所述从图形处理器。
7.如权利要求1所述的图神经网络模型的训练架构，其特征在于，所述非一致性内存
8.如权利要求7所述的图神经网络模型的训练架构，其特征在于，多个所述图形处理器中包括主图形处理器和从图形处理器；
9.如权利要求1所述的图神经网络模型的训练架构，其特征在于，获取用户输入的图结构数据，并将所述图结构数据划分为N个第一子图结构数据，包括：
10.如权利要求7所述的图神经网络模型的训练架构，其特征在于，将每个所述第一子图结构数据划分为M个第三子图结构数据，包括：
11.如权利要求10所述的图神经网络模型的训练架构，其特征在于，根据所述第二节点个数和所述边的个数将所述第一子图结构数据划分为M个所述第三子图结构数据，包括：
12.如权利要求11所述的图神经网络模型的训练架构，其特征在于，所述非一致性内存访问节点还用于获取所述第一子图结构数据中各个所述目标节点配置的第一邻居节点抽样个数，将所述第一邻居节点抽样个数平均划分为M份，得到M组第二邻居节点抽样个数，并将所述第二邻居节点抽样个数一一对应分配至M组所述目标子节点；
13.如权利要求1所述的图神经网络模型的训练架构，其特征在于，所述非一致性内存访问节点还用于在将所述图结构数据划分为N个第一子图结构数据之后，确定各个所述第一子图结构数据中的边缘节点以及和所述边缘节点连接的其它第一子图结构中的边缘邻居节点，将所述边缘邻居节点以及所述边缘邻居节点和所述边缘节点之间的连接关系，存储至所述边缘节点所在的第一子图结构对应的计算快速链路设备中。
14.如权利要求1-13任一项所述的图神经网络模型的训练架构，其特征在于，所述计算快速链路设备包括计算单元、私有的第二设备内存和非一致性内存访问节点管理的第一设备内存，所述非一致性内存访问节点的部分物理地址与第一设备内存的物理地址之间一一映射；
15.如权利要求14所述的图神经网络模型的训练架构，其特征在于，所述非一致性内存访问节点还用于在初始化所述计算快速链路设备时，根据所述计算快速链路设备的设备内存容量及预设比例，将所述计算快速链路设备的设备内存划分为第一设备内存和第二设备内存，并将所述第一设备内存中的物理地址与自身的部分物理地址一一映射。
16.如权利要求15所述的图神经网络模型的训练架构，其特征在于，所述预设比例的确定方式为：根据所述图结构数据的类型、所述第一子图结构数据的数据量大小以及所述第一子图结构数据对应的节点标识的数据量大小确定。
17.如权利要求14所述的图神经网络模型的训练架构，其特征在于，所述非一致性内存访问节点，还用于将每个所述第一子图结构数据划分为M个第三子图结构数据，并将每个所述第一子图结构数据对应的M个所述第三子图结构数据中的各个节点标识存储在计算快速链路设备的第一设备内存中；在所述计算快速链路设备得到第四子图结构数据时，获取所述第一设备内存中存储的所述第四子图结构数据中各节点的节点标识，根据所述第四子图结构数据中各节点的节点标识获取所述第四子图结构数据中各节点的节点特征向量并发送至所述图形处理器，M为大于一的整数；
18.如权利要求14所述的图神经网络模型的训练架构，其特征在于，所述计算快速链路设备还包括与所述计算...
【技术特征摘要】
1.一种图神经网络模型的训练架构，其特征在于，应用于服务器，包括：
2.如权利要求1所述的图神经网络模型的训练架构，其特征在于，还包括：
3.如权利要求1所述的图神经网络模型的训练架构，其特征在于，多个所述图形处理器中包括主图形处理器和从图形处理器；
4.如权利要求3所述的图神经网络模型的训练架构，其特征在于，根据所述第一主模型参数和各个所述第一从模型参数确定第一综合模型参数，包括：
5.如权利要求3所述的图神经网络模型的训练架构，其特征在于，触发自身和所述从图形处理器根据所述第一综合模型参数对所述图神经网络模型进行模型参数更新，包括：
6.如权利要求3所述的图神经网络模型的训练架构，其特征在于，所述主图形处理器和所述从图形处理器的确定方式为：根据用户的配置指令确定所述主图形处理器和所述从图形处理器，或者，在每次训练完成之后，随机选择一个图形处理器确定为所述主图形处理器、除所述主图形处理器之外的其它图形处理器确定为所述从图形处理器。
7.如权利要求1所述的图神经网络模型的训练架构，其特征在于，所述非一致性内存访问节点，还用于将每个所述第一子图结构数据划分为m个第三子图结构数据，并将每个所述第一子图结构数据对应的m个所述第三子图结构数据存储在计算快速链路设备中，在所述计算快速链路设备得到第四子图结构数据时，将所述第四子图结构数据中各节点对应的节点特征向量发送至所述图形处理器，m为大于一的整数；
8.如权利要求7所述的图神经网络模型的训练架构，其特征在于，多个所述图形处理器中包括主图形处理器和从图形处理器；
9.如权利要求1所述的图神经网络模型的训练架构，其特征在于，获取用户输入的图结构数据，并将所述图结构数据划分为n个第一子图结构数据，包括：
10.如权利要求7所述的图神经网络模型的训练架构，其特征在于，将每个所述第一子图结构数据划分为m个第三子图结构数据，包括：
11.如权利要求10所述的图神经网络模型的训练架构，其特征在于，根据所述第二节点个数和所述边的个数将所述第一子图结构数据划分为m个所述第三子图结构数据，包括：
12.如权利要求11所述的图神经网络模型的训练架构，其特征在于，所述非一致性内存访问节点还用于获取所述第一子图结构数据中各个所述目标节点配置的第一邻居节点抽样个数，将所述第一邻居节点抽样个数平均划分为m份，得到m组第二邻居节点抽样个数，并将所述第二邻居节点抽样个数一一对应分配至m组所述目标子节点；
13.如权利要求1所述的图神经网络模型的训练架构，其特征在于，所述非一致性内存访问节点还用于在将所述图结...
【专利技术属性】
技术研发人员：刘俊，王彦伟，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。