神经网络近记忆处理制造技术

用于图形神经网络处理的近存储器处理系统可包括：耦合至一个或多个存储器单元的中心核。存储器单元可以包括一个或多个控制器和多个存储器设备。该系统可以被配置为：用于将聚合、集中等操作从中心核卸载到一个或多个存储器单元的控制器。中心核可对图神经网络进行采样，并调度存储器访问以供该一个或多个存储器单元执行。中心核还可以调度与一个或多个存储器访问相关联的聚合、组合等操作，以供控制器执行。控制器可以根据来自中心核的数据访问请求来访问数据。控制器的一个或多个计算单元还可以执行与一个或多个存储器访问相关联的聚合、组合等操作。中心核然后可以对由控制器返回的数据执行最终使用应用的进一步聚合、组合等操作或计算。等操作或计算。等操作或计算。

【技术实现步骤摘要】
【国外来华专利技术】神经网络近记忆处理

技术介绍

[0001]图形神经网络(GNN)用于对基于图形的数据(诸如但不限于社交网络、地图、运输系统和化合物)中的关系进行建模。图神经网络通过对表示实体的节点与表示关系的边之间的关系建模以产生图的数字表示，该数字表示可以用于但不限于链路预测、节点分类、社区检测和排名。
[0002]参考图1，示出了一个示例性的图形神经网络，该图形神经网络可以包括多个层。图神经网络的多个层可以包括多种操作功能，包括聚合、组合和类似功能。通常，图神经网络的计算包括对大量存储器的大量随机存储器访问，这些大量存储器用于存储可跨多个机器分布的图神经网络的大规模数据集。
[0003]参照图2，示出了根据传统技术的、用于处理图形神经网络的示例性系统。该系统可以包括中心核205和一个或多个存储器单元210。中心核205可以包括计算引擎215和数据引擎220。计算引擎215可以被配置成计算聚合、组合和类似操作以及最终使用应用的计算。一个或多个存储单元210可以包括多个存储器设备225、230和控制器235。控制器235可以被配置成用于访问(提取和存储)存储在多个存储器设备225、230中的图形的节点和边的权重参数、激活值、属性等，该访问为响应于由数据引擎220生成的、供计算引擎215使用的存储器的访问操作。现在参考图3，示出了根据传统技术由中心核205和一个或多个存储器单元210执行的操作。该中心核可被配置成在310处根据图形神经网络(GNN)模型进行采样。在320处，一个或多个存储器单元210可被配置为对图的节点的属性和边的属性进行访问。中心核205随后可在330处使用所访问的属性来执行一个或多个聚合函数、组合函数和/或结束应用计算。
[0004]在传统系统中，中心核205可经受因执行与图神经网络处理相关的所有计算而产生的高处理工作负载。并且，传统系统会受到与在一个或多个存储器单元210与中心核205之间来回传递属性而产生的高带宽利用的影响。此外，图形神经网络的大数据集会占用大量的存储器设备225、230。因此，对用于执行与图形神经网络相关的计算的设备和方法的改进存在着持续需求。

技术实现思路

[0005]通过参考以下描述和附图，可以最好地理解本技术，以下描述和附图用于示出本技术的、针对图形神经网络和其他神经网络应用的近存储器处理的实施例。
[0006]在一个实施例中，神经网络处理系统可以包括耦合到一个或多个存储器单元的中心核。存储器单元可以包括一个或多个存储器设备和一个或多个控制器。所述控制器可以被配置为对存储在所述一个或多个存储器设备中的数据从所述中心核卸载的聚合、组合和其他类似的计算操作。
[0007]在另一实施例中，近存储器处理方法可以包括由控制器接收包括聚合、组合和/或类似操作的第一存储器访问。控制器可以基于第一存储器访问来访问属性。控制器可以基于第一存储器访问来进行属性上的聚合、组合和/或其他类似操作的计算，以生成结果数
据。控制器可以基于第一存储器访问输出结果数据。控制器输出的结果数据可以是中心核用于完成聚合、组合和/或类似操作的部分结果。响应于不包括聚合、组合和/或类似操作的第二存储器访问，控制器可以基于第二存储器访问来进行属性访问。控制器随后可基于第二存储器请求来输出属性。
[0008]在另一实施例中，控制器可包括多个计算单元和控制逻辑。控制逻辑可以被配置为接收包括聚合和/或组合操作的存储器访问，并且基于包括在存储器访问中的操作来访问和计算属性。控制器的控制逻辑可配置控制器的多个计算单元中的一个或多个，以基于存储器访问的操作对属性的聚合或组合操作进行计算，以生成结果数据。控制器的控制逻辑然后可以输出结果数据。
[0009]本
技术实现思路
以简化形式介绍将在以下具体实施方式中进一步描述的一些概念。本
技术实现思路
并不旨在标识所要求保护的主要思想的关键特征或必要特征，也不旨在用于限制所要求保护的主要思想的范围。
附图说明
[0010]在附图中通过示例而非限制的方式示出了本技术的实施方式，其中，相似的参考标号表示相似的元件，其中：
[0011]图1示出了一种图形神经网络的示例。
[0012]图2示出了根据现有技术的一种用于处理图形神经网络的示例性系统。
[0013]图3示出了根据传统技术的由中心核和一个或多个存储器单元执行的操作。
[0014]图4示出了根据本技术方案的一种用于处理图形神经网络的系统。
[0015]图5示出了根据本技术方案的一种用于处理图形神经网络的示例性系统。
[0016]图6示出了根据本技术方案的由中心核和一个或多个存储器单元执行的操作。
[0017]图7示出了根据本技术方案的一种近存储器计算的方法。
[0018]图8示出了根据本技术方案的一种存储数据的方法。
[0019]图9示出了根据本技术方案的一种提取数据并可选地执行近存储器计算的方法。
[0020]图10示出了根据本技术方案的一种用于处理图形神经网络的系统的示例性操作。
具体实施方式
[0021]现将详细参考本技术方案的实施例及其在附图中示出的示例。尽管将结合这些实施例描述本技术方案，然而，应当理解的是，本技术方案并不局限于这些实施方式。相反，本专利技术旨在覆盖可包括在由所附权利要求所限定的本专利技术范围内的替代、修改和等同方式。此外，在本技术方案的下述详细描述中，阐述了许多具体细节以便提供对本技术方案的透彻理解。但是，应当理解，本技术方案可以在没有这些具体细节的情况下实施。在其他实例中，未详细描述众所周知的方法、过程、组件和电路，以免不必要地模糊本技术方案的某些方面。
[0022]下述本技术方案的一些实施例按照对一个或多个电子设备内的数据的操作的例程、模块、逻辑块和其他符号表示来呈现。其描述和表示是本领域技术人员为了将其工作的实质最有效地传达给本领域的其他技术人员所使用的手段。例程、模块、逻辑块等在本文中并且通常被设想为产生期望结果的过程或指令的自洽序列。这些过程包括对物理量的物理
操作过程。通常，尽管不是必需的，这些物理操作采用能够在电子设备中存储、传送、比较和以其他方式操作的电信号或磁信号的形式。为了方便并且参考共同使用起见，参照本技术方案的实施例，这些信号被称为数据、位、值、元素、符号、字符、术语、数字、字符串等。
[0023]然而，应当记住的是，上述术语应被解释为可被参考的物理操作和数量，并且仅是方便的标签，并且将基于本领域的常用术语被进一步解释。除非另有具体说明，否则如从以下讨论中显而易见的、应当理解的是，通过本技术方案的讨论，采用诸如“接收”等术语的讨论意指电子设备(如操作和变换数据的电子计算设备)的动作和处理。该数据被表示为电子设备的逻辑电路、寄存器、存储器等内的物理(例如，电子)量，并且被转换成类似地被表示为电子设备内的物理量的其他数据。
[0024]在本申请中，析取法的使用旨在包括合取物。而定冠词或不定冠词的使用并非旨在指示基数。具体地，提及“该”物体或“一个”物体旨在还表示可本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种神经网络处理系统，包括：中心核；以及耦接到所述中心核的一个或多个存储器单元，其中，每个存储器单元包括：一个或多个存储器设备；以及控制器，所述控制器耦合到所述一个或多个存储器设备，并且被配置为对每个存储器单元的一个或多个存储器设备中存储的数据执行聚合操作，所述每个存储器单元为从所述中心核卸载的存储器单元。2.根据权利要求1所述的系统，其中，所述控制器包括：配置有多个计算模式中的某个预定计算模式的模式寄存器；以及多个计算单元，其被配置为基于所述模式寄存器中的所述预定计算模式，对数据执行聚合操作。3.根据权利要求2所述的系统，其中，所述多个计算模式包括：无计算模式、完全计算模式和部分计算模式。4.根据权利要求1所述的系统，其中，所述控制器进一步被配置为：接收包括聚合操作的第一存储器访问；基于所述第一存储器访问，而访问对应的一个或多个存储器设备中的属性；基于所述第一存储器访问，对所述属性进行聚合操作上的计算，以生成结果数据；以及基于所述第一存储器访问，将所述结果数据输出至所述中心核。5.根据权利要求4所述的系统，其中，所述中心核被配置为：调度包括聚合操作的第一存储器访问；将包括所述聚合操作的所述第一存储器访问发送至所述控制器；以及从所述控制器接收基于所述第一存储器访问的所述结果数据。6.根据权利要求5所述的系统，其中，所述中心核进一步被配置为：对从所述控制器接收的所述结果数据进行进一步的聚合操作的计算。7.根据权利要求4所述的系统，其中，所述控制器进一步被配置为：接收第二存储器访问请求；基于所述第二存储器访问，访问对应的一个或多个存储器设备中的属性；以及基于所述第二存储器请求，向所述中心核输出所述属性。8.一种近存储器处理方法，包括：通过控制器接收包括聚合操作的第一存储器访问；基于所述第一存储器访问，通过所述控制器进行属性访问；基于所述第一存储器访问，通过所述控制器对所述属性进行所述聚合操作的计算，以生成结果数据；以及基于所述第一存储器访问，从所述控制器输出所述结果数据。9.根据权利要求8所述的近存储器处理方法，其中，所述聚合操作包括图形神经网络聚合操作。10.根据权利要求8所述的近存储器处理方法，其中，包括所述聚合操作的所述存储器访问包括：具有计算扩展的读或具有计算扩展的写。11.根据权利要求10所述的近存储器处理方法，其中，所述计算扩展包括：数据地址、数
据计数和数据步幅。12.根据权利要求10所述的近存储器处理方法，其中，所述计算扩展被嵌入至GenZ/CXL数据包，或被嵌入至扩展DDR命令中。13.根据权利要求8...

【专利技术属性】
技术研发人员：关天婵，牛迪民，郑宏忠，李双辰，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：