数据运算系统、数据运算方法、计算设备以及存储介质技术方案

本发明专利技术提供一种数据运算系统、数据运算方法、计算设备以及存储介质。数据运算系统包括多个第一数据处理单元；一内存扩展单元，连接至所述多个第一数据处理单元；多个数据运算单元，连接至所述多个第一数据处理单元以及所述内存扩展单元；多个第一存储单元，连接至所述多个第一数据处理单元；其中所述内存扩展单元包括多个内存扩展卡，每一所述多个第一数据处理单元连接至少一个所述多个内存扩展卡。利用内存扩展卡构建内存池进行内存扩展，通过内存扩展卡之间的互连接口，实现内存扩展卡之间灵活的资源分配，以适应任意规模的图计算需求。以适应任意规模的图计算需求。以适应任意规模的图计算需求。

【技术实现步骤摘要】
数据运算系统、数据运算方法、计算设备以及存储介质


[0001]本专利技术是有关于一种图神经网络架构，且特别是有关于一种能够适应不同规模图神经计算的数据运算系统、数据运算方法以及存储介质。

技术介绍

[0002]图神经网络(GNN)是一种可以直接对图进行操作的神经网络。GNN比传统的神经网络(例如，卷积神经网络)更适合对图进行操作，因为GNN可以更好地适应图的任意大小或图的复杂拓扑。GNN可以对以图格式描述的非结构化数据进行推理。
[0003]为了执行GNN计算，大规模的图数据通常采用分布式架构进行处理。已有的分布式架构中，本地CPU需要先根据批次的根节点输入进行采样，从本地和远程机器中获取图结构信息以及特征向量，之后，再将特征向量送往专用的图形处理单元(GPU)完成后续的聚合以及组合运算。相比于单机处理，大规模分布式图神经网络处理的主要瓶颈在于高延迟的图采样操作。在中小规模图神经网络中，主要瓶颈在于因不规则访存模式和运算导致的负载不均衡问题。而在大规模图神经网络中，主要的瓶颈在于不规则访存导致存储带宽的利用率低下，并且在高延迟的跨分布式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据运算系统，其特征在于，包括：多个第一数据处理单元；一内存扩展单元，连接至所述多个第一数据处理单元；多个数据运算单元，连接至所述多个第一数据处理单元以及所述内存扩展单元；多个第一存储单元，连接至所述多个第一数据处理单元；其中所述内存扩展单元包括多个内存扩展卡，每一所述多个第一数据处理单元连接至少一个所述多个内存扩展卡，所述多个内存扩展卡之间相互连接。2.根据权利要求1所述的系统，其特征在于，所述系统进一步包括：一第一开关单元，所述第一开关单元设置于所述内存扩展单元与所述多个第一数据处理单元之间。3.根据权利要求2所述的系统，其特征在于，所述第一开关单元包括多个高速外设组件互连开关，每一所述多个高速外设组件互连开关对应于其中一所述多个第一数据处理单元以及至少一所述多个内存扩展卡。4.根据权利要求3所述的系统，其特征在于，每一所述多个内存扩展卡进一步包括：一接口模块；一近存处理模块，连接至所述接口模块；一存储模块，连接至所述近存处理模块；一互连模块，连接至所述近存处理模块。5.根据权利要求4所述的系统，其特征在于，所述多个内存扩展卡之间通过互连模块实现互连。6.根据权利要求5所述的系统，其特征在于，所述内存扩展单元进一步包括：一第二开关单元，设置于所述多个内存扩展卡之间，并连接至所述多个内存扩展卡的互连模块，所述第二开关单元用于实现所述多个内存扩展卡之间的点对点结构、层次结构、拓扑结构及其组合结构的互连。7.根据权利要求4所述的系统，其特征在于，所述...

【专利技术属性】
技术研发人员：黄林勇，张喆，李双辰，郑宏忠，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：