并行处理系统中的高带宽扩展存储器技术方案

本公开涉及并行处理系统中的高带宽扩展存储器。各种实施例包括用于经由到驻留在中央处理单元上的扩展存储器的高带宽路径访问并行处理系统中的扩展存储器的技术。所公开的扩展存储器系统将本地可直接寻址的高带宽存储器扩展到并行处理系统并且避免与低带宽系统存储器相关联的性能损失。因此，高度可并行化并访问大存储器空间的执行线程具有相对于现有方法在并行处理系统上提高的性能执行。有方法在并行处理系统上提高的性能执行。有方法在并行处理系统上提高的性能执行。

【技术实现步骤摘要】
并行处理系统中的高带宽扩展存储器


[0001]各种实施例总体上涉及并行处理计算架构，更具体地，涉及并行处理系统中的高带宽扩展存储器。

技术介绍

[0002]除其他外，计算系统通常包括一个或更多个处理单元，例如中央处理单元(CPU)和/或图形处理单元(GPU)，以及一个或更多个存储器系统。通常，CPU充当计算系统的主处理器，控制和协调其他系统组件(例如GPU)的操作。CPU通常可以访问大量的低带宽系统存储器。另一方面，GPU通常可以访问少量的高带宽本地存储器。因此，CPU能够容纳消耗大量存储器并且不需要来自存储器的高带宽的应用程序。另一方面，GPU能够适应消耗较少存储器并需要高存储器带宽的进程。特别是，GPU能够同时执行大量(例如，数百或数千个)线程，其中每个线程都是独立指令序列的实例。因此，GPU非常适合可并行线程，这些线程受益于高带宽存储器以实现特定任务的高性能。
[0003]某些线程是高度可并行化的，因此非常适合在一个或更多个GPU上执行。然而，这些线程通常可以访问比GPU可以直接寻址更多的存储器。此类线程的示例包括推荐系统(为特定用户建议相关项目)、佩奇等级(PageRank)系统(根据节点之间的关系和连接来衡量数据图中每个节点的重要性)、数据科学和分析系统以及利用大型存储器内数据库的其他系统。这样的线程非常适合在一个或更多个GPU上实现的数千个处理器上执行。但是，这些线程可访问比配置访问GPU的存储器量占用大得多的存储器空间的数据库。
[0004]用于在GPU上执行此类线程的一种方法是配置线程以使大部分数据驻留在系统存储器中。数据从系统存储器加载或“调入(paged
‑
in)”GPU本地存储器，并根据需要存储回或“调出(paged out)”到系统存储器。但是，由于GPU到系统存储器的带宽较低，因此相对于访问GPU本地存储器而言，将数据调进出GPU本地存储器的速度较慢，从而显著降低了GPU性能。
[0005]用于在GPU上执行此类线程的另一种方法是通过互连GPU的高速总线来利用一个或更多个其他GPU的GPU本地存储器的一部分。可以根据需要将数据从一个或更多个其他GPU的本地存储器调入GPU本地存储器并调出至其他GPU的本地存储器。或者，GPU可以通过通信网络直接访问存储在一个或更多个其他GPU的本地存储器中的数据。因此，GPU可能会增加线程可用的高带宽存储器量。这种方法的一个缺点是，与低带宽系统存储器相比，其他GPU可用的附加高带宽存储器量相对有限。因此，即使在GPU从一个或更多个其他GPU分配高带宽存储器之后，GPU仍可能没有足够的高带宽存储器来有效地执行应用程序。这种方法的另一个缺点是，当第一GPU被分配了来自第二GPU的一部分存储器时，第二GPU可访问的存储器相应地减少了。分配后，第一GPU现在可以执行具有足够高带宽存储器量的线程，而第二GPU可能无法执行具有足够高带宽存储器量的线程，从而导致第二GPU的性能下降。
[0006]如前所述，本领域需要用于访问并行处理系统中的扩展存储器的更有效的技术。

技术实现思路

[0007]本公开的各种实施例阐述了一种用于访问并行处理系统(例如GPU)中的存储器的方法，该并行处理系统被附接到中央处理单元。该方法包括从并行处理系统接收存储器访问。该方法还包括确定存储器访问是指向与由操作系统管理的中央处理单元相关联的扩展存储器。该方法还包括将存储器访问传送到与中央处理单元相关联的存储器控制器以进行处理。该处理可以包括存储器写入操作或存储器读取操作中的至少一种。
[0008]其他实施例包括但不限于实现所公开技术的一个或更多个方面的系统，以及包括用于执行所公开技术的一个或更多个方面的指令的一个或更多个计算机可读介质，以及用于执行所公开技术的方法所公开技术的一个或更多个方面。
[0009]所公开的技术相对于现有技术的至少一个技术优势在于，利用所公开的技术，执行线程的并行处理器可以访问大量存储器，而不会招致从调入和调出到系统存储器的带宽损失。在另一种方法中，并行处理器(例如GPU)直接读取和写入系统存储器。这种替代方法通常需要输入/输出存储器管理单元(IOMMU)地址转换，这会导致性能下降。相比之下，所公开技术的优点是存储器访问可以以全链路带宽指向存储器，而没有IOMMU转换的开销。因此，高度可并行化并访问大存储器空间的线程具有相对于现有方法在并行处理器上提高的性能执行。这些优点代表了对现有技术方法的一项或更多项技术改进。
附图说明
[0010]为了更详细地理解上述各种实施例的相关特征，可以通过参考各种实施例(其中一些已在附图中示出)对上述简要概括的本专利技术概念进行更具体的描述。但是，需要注意的是，所附的附图只示出了专利技术概念的典型实施例，因此并不是以任何方式限制范围，还存在其他同样有效的实施例。
[0011]图1是被配置为实现各个实施例的一个或更多个方面的计算机系统的框图；
[0012]图2是根据各个实施例的包括在图1的并行处理子系统中的并行处理单元(PPU)的框图；
[0013]图3是根据各个实施例的包括在图2的并行处理单元(PPU)中的通用处理集群(GPC)的框图；
[0014]图4是根据各个实施例的包括多个插座(socket)的EGM系统的框图；
[0015]图5A
‑
5B是根据各个实施例的包括多个插座的EGM系统的更详细的框图；
[0016]图6A
‑
6B示出了根据各个实施例的图4
‑
5B的EGM系统的存储器映射；以及
[0017]图7是根据各个实施例的用于访问并行处理系统(例如图2的PPU)中的扩展存储器的方法步骤的流程图。
具体实施方式
[0018]在以下描述中，阐述了许多具体细节以便提供对各个实施例的更彻底的理解。然而，对于本领域技术人员将显而易见的是，可以在没有这些具体细节中的一个或更多个的情况下实践本专利技术构思。
[0019]系统概述
[0020]图1为示出被配置为实现各个实施例的一个或更多个方面的计算机系统100的框
图。如图所示，计算机系统100包括但不限于中央处理单元(CPU)102、系统存储器104，其经由存储器桥105和通信路径113耦合至并行处理子系统112。存储器桥105通过系统存储器控制器130耦合到系统存储器104。存储器桥105进一步地经由通信路径106耦合至I/O(输入/输出)桥107，I/O桥107又耦合至交换机116。并行处理子系统112通过并行处理子系统(PPS)存储器控制器132耦合到并行处理存储器134。
[0021]在操作中，I/O桥107被配置为从输入设备108(诸如键盘或鼠标)接收用户输入信息，并经由通信路径106和存储器桥105将输入信息转发给CPU 102进行处理。交换机116被配置为在I/O桥107和计算机系统100的其他组件(如网络适配器118和各种附加卡120和121)之间提供连接。
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于访问并行处理系统中的存储器的方法，所述并行处理系统被耦合到中央处理单元，所述方法包括：从所述并行处理系统接收第一存储器访问；确定所述第一存储器访问是指向与所述中央处理单元相关联的扩展存储器；以及将所述第一存储器访问传输到与所述中央处理单元相关联的存储器控制器以进行处理。2.如权利要求1所述的方法，其中所述并行处理系统包括与所述扩展存储器分离的本地存储器。3.如权利要求1所述的方法，其中所述并行处理系统包括与所述扩展存储器分离的本地存储器，并且其中所述扩展存储器具有与所述本地存储器相同的编程模型。4.如权利要求1所述的方法，其中所述并行处理系统缺少本地存储器，并且其中所述扩展存储器提供对系统存储器的高速访问，所述系统存储器包括所述扩展存储器并且与所述中央处理单元相关联。5.如权利要求1所述的方法，其中所述并行处理系统包括与所述扩展存储器分离的本地存储器，并且所述方法还包括：基于页表中包括的页表条目，确定第二存储器访问是指向所述扩展存储器还是指向所述本地存储器。6.如权利要求1所述的方法，其中所述扩展存储器被包括在与所述中央处理单元相关联的系统存储器的指定部分中，并且其中所述存储器控制器在处理所述第一存储器访问时不对包括在所述第一存储器访问中的地址执行地址转换。7.如权利要求1所述的方法，其中用于访问所述扩展存储器的第一页大小大于用于访问与所述中央处理单元相关联的系统存储器的第二页大小。8.如权利要求1所述的方法，其中所述第一存储器访问与包括对等标识符的页表条目相关联，并且其中所述对等标识符识别包括所述扩展存储器的插座。9.如权利要求1所述的方法，其中所述并行处理系统被包括在第一插座中并且所述扩展存储器被包括在第二插座中。10.如权利要求9所述的方法，其中与第二存储器访问相关联的地址转换识别所述第二插座，并且其中包括在所述第二插座中的存储器管理单元确定所述第二存储器访问是指向所述扩展存储器还是指向包括在所述并行处理系统中的本地存储器。11.如权利...

【专利技术属性】
技术研发人员：H，
申请(专利权)人：辉达公司，
类型：发明
国别省市：