一种基于分层优化范式的大规模图深度学习计算框架制造技术

本发明专利技术提供了一种基于分层优化范式的大规模图深度学习计算框架,涉及深度学习技术领域。包括基于块的数据流转换，用于将图形的顶点和边数据分割成小块；数据流图的优化，用于生成一个调度策略；GPU上内核的传播，用于高效的内核传播操作；多GPU的并行处理，用于一个服务器中多个GPU的并行计算。本发明专利技术支持大规模的图神经网络（GNNs），不仅可以简单表达模型，而且支持可伸缩和高效的GPUs并行处理引擎。为了表示包含图传播和深度神经网络（DNN）计算的GNN各层递归计算，本发明专利技术采用了一种具有分散‑边应用‑聚合‑顶点应用的神经网络（Separation‑UDF_Edge‑Aggregation‑UDF_Vertex with Neural Networks，SUAU‑NN）顶点程序抽象。

【技术实现步骤摘要】
一种基于分层优化范式的大规模图深度学习计算框架
本专利技术属于深度学习
，具体涉及一种基于分层优化范式的大规模图深度学习计算框架。
技术介绍
深度学习以深度神经网络的形式被成功地运用到了许多领域，如语音、视觉、自然语言处理等。在这些领域中，底层数据的表示通常采用规则的网格结构，这种结构在大量的数据并行时有利于硬件加速(如GPU)。受社交网络、知识图谱、生物信息学和神经科学中图形数据重要性的驱动，将深度学习模型应用在不规则图形结构的数据上是一个新兴的趋势。将先进的预测结果用到目标应用中，如分类、嵌入、问答系统。这些基于图的神经网络通常将神经网络模型应用于图中与顶点和边相关的特征，并传播和聚合结果以生成下一级特征。但是，现有的解决方案都不能很好地支持GNNs，现有的图形处理引擎，通常提供一个聚合+应用+分散式（Gather-Apply-Scatter，GAS）的顶点程序模型，其是无法表达和支持图结构的神经网络框架。深度学习框架被设计为数据流图去表达神经网络，如TensorFlow、PyTorch、MxNet、CNTK等，但是并不能直接本文档来自技高网...

【技术保护点】
1.一种基于分层优化范式的大规模图深度学习计算框架，其特征在于，包括：基于块的数据流转换、数据流图的优化、GPU上内核的传播、多GPU的并行处理，其中：/n所述基于块的数据流转换用于将图形的顶点和边数据分割成小块，这些小块将被装入GPU设备内存中，并与处理块粒度计算的操作符一起构造一个数据流图；/n所述数据流图的优化用于生成一个调度策略；/n所述GPU上内核的传播用于高效的内核传播操作；/n所述多GPU的并行处理用于一个服务器中多个GPU的并行计算。/n

【技术特征摘要】
1.一种基于分层优化范式的大规模图深度学习计算框架，其特征在于，包括：基于块的数据流转换、数据流图的优化、GPU上内核的传播、多GPU的并行处理，其中：
所述基于块的数据流转换用于将图形的顶点和边数据分割成小块，这些小块将被装入GPU设备内存中，并与处理块粒度计算的操作符一起构造一个数据流图；
所述数据流图的优化用于生成一个调度策略；
所述GPU上内核的传播用于高效的内核传播操作；
所述多GPU的并行处理用于一个服务器中多个GPU的并行计算。


2.一种基于分层优化范式的大规模图深度学习计算框架，其特征在于：所述基于块的数据流转换还包括将SUAU-NN模型中实现的算法转换为块粒度数据流图的前端，使GPU中的大型图上的GNN计算成为可能；SUAU-NN在GNN的每一层定义的四个前馈计算阶段:Separation，UDF_Edge，Aggregation和UDF_Vertex；SUAU-NN分别为UDF_Edge和UDF_Vertex提供了两个用户定义函数(UDFs)，用于声明神经网络对边和顶点的计算。


3.一种基于...

【专利技术属性】
技术研发人员：王彬，洪万福，钱智毅，
申请(专利权)人：厦门渊亭信息科技有限公司，
类型：发明
国别省市：福建;35