【技术实现步骤摘要】
本专利技术涉及分布式深度学习领域，一种针对分布式图神经网络的历史嵌入管理系统。
技术介绍
1、图神经网络(gnn)在分析非欧几里得图数据方面取得了很大的成功，在包括社交网络、推荐系统和知识图谱等各种应用中都取得了良好的效果。然而，在面对大规模的图数据时，现有的硬件技术，特别是显存大小成为了扩大图数据规模的阻碍。现有框架为了处理这种大规模图神经网络，采用了非全图训练方法，将图数据划分为多个子集，逐子集进行训练。进一步地，为了引入更多的计算与存储资源，加快训练速度，减少显存负担，将多个小批量并行地在多台机器上进行分布式训练。但在使用这些方法的训练过程中，在显存与内存间会存在的大量的图特征传输开销以及机器间的网络通信开销，这些为了将小批量加载进训练器而引入的数据加载开销成为了大规模图训练的性能瓶颈。部分工作采用采样的方法以减少数据加载开销，但同时会损失训练精度。因此，如何在保证精度的同时缓解该瓶颈已经成为扩大图神经网络规模的重大挑战。为了解决这一挑战，相关工作提出了使用节点历史嵌入(即中间训练状态)对非当前待训练子集内的依赖节点进行全部替换的...
【技术保护点】
1.一种针对分布式图神经网络的历史嵌入管理系统，用于减少潜在的替换机会浪费与信息浪费。其特征在于：充分利用不同机器上产生的历史嵌入与机器间的通信带宽,并使训练系统在使用其他机器上产生的历史嵌入与本地逻辑上保持一致。
2.根据权利要求1所述的一种历史嵌入管理方法，其特征在于：包括以下步骤：
3.根据权利要求2所述的一种新的历史嵌入管理系统，其特征在于：所述步骤S1中，在训练中，历史嵌入服务器与GPU进行通信，上传到内存中的本轮全部的核心节点的历史嵌入储存。
4.根据权利要求2所述的一种新的历史嵌入管理系统，其特征在于：所述步骤S2中，...
【技术特征摘要】
1.一种针对分布式图神经网络的历史嵌入管理系统，用于减少潜在的替换机会浪费与信息浪费。其特征在于：充分利用不同机器上产生的历史嵌入与机器间的通信带宽,并使训练系统在使用其他机器上产生的历史嵌入与本地逻辑上保持一致。
2.根据权利要求1所述的一种历史嵌入管理方法，其特征在于：包括以下步骤：
3.根据权利要求2所述的一种新的历史嵌入管理系统，其特征在于：所述步骤s1中，在训练中，历史嵌入服务器与gpu进行通信，上传到内存中的本轮全部的核心节点的历史嵌入储存。
4.根据权利要求2所述的一种新的历史嵌入管理...
【专利技术属性】
技术研发人员：李洪亮，李想，韩俊泽，徐海啸，徐哲文，
申请(专利权)人：吉林大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。