用于限制存储器的应用程序编程接口制造技术

本公开涉及用于限制存储器的应用程序编程接口。用于在PPU执行期间在一个或更多个内核和/或线程组执行期间限制存储器的装置、系统和技术。在至少一个实施例中，进程向并行处理库指示用于一个或更多个内核和/或线程组的存储器限制，并且所述并行处理库根据所述存储器限制对所述一个或更多个内核和/或线程组的存储器分配进行限制。存储器分配进行限制。存储器分配进行限制。

【技术实现步骤摘要】
用于限制存储器的应用程序编程接口


[0001]至少一个实施例涉及用于在一个或更多个CUDA程序的执行期间限制存储器的处理资源。例如，至少一个实施例涉及处理器或计算系统，其用于根据本文所述的各种新颖技术对由一个或更多个图形处理单元(GPU)的一个或更多个处理器执行的一个或更多个线程组设置和执行存储器限制。

技术介绍

[0002]近年来，并行处理单元(PPU)(诸如图形处理单元(GPU))变得越来越强大。随着PPU计算能力的这种提高，用户无法通过单个中央处理单元(CPU)进程充分利用PPU资源。结果，用户实施了多个独立且不协调的CPU进程来利用GPU资源。负责管理CPU进程使用的PPU资源的调度程序通常不能有效地管理所述资源，从而导致使用PPU资源的CPU进程之间的干扰。
附图说明
[0003]图1是根据至少一个实施例的示出了多进程服务(MPS)的组件的框图；
[0004]图2是根据至少一个实施例的示出了用于促进调度一个或更多个线程组以由一个或更多个并行处理单元(PPU)执行的MPS层次结构的框图；/>[0005]图3本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器可读介质，其上存储有应用程序编程接口API，如果该API至少部分地由一个或更多个处理器执行，则使得所述一个或更多个处理器至少：至少部分地基于一个或更多个存储器范围参数来限制由一个或更多个处理器可访问的存储器的范围。2.根据权利要求1所述的机器可读介质，其中所述一个或更多个存储器范围参数是数据值，所述数据值包括对由要由所述一个或更多个处理器执行的一个或更多个线程组可用的存储器的数值限制。3.根据权利要求1所述的机器可读介质，其中一个或更多个进程用于向所述API指示所述一个或更多个存储器范围参数，所述一个或更多个进程用于使得一个或更多个线程组由所述一个或更多个处理器执行。4.根据权利要求1所述的机器可读介质，其中所述一个或更多个存储器范围参数将通过并行处理库的一个或更多个命令而被指示给所述API。5.根据权利要求1所述的机器可读介质，其中所述存储器的范围将针对将由所述一个或更多个处理器执行的一个或更多个线程组而被限制。6.根据权利要求1所述的机器可读介质，其中所述存储器的范围是将由所述一个或更多个处理器执行的一个或更多个线程组可用的存储器的数量。7.根据权利要求1所述的机器可读介质，其中要由所述一个或更多个处理器执行的一个或更多个线程组中的每一个用于至少部分地基于所述一个或更多个存储器范围参数来访问所述存储器的范围。8.根据权利要求1所述的机器可读介质，其中一个或更多个线程组将要由所述一个或更多个处理器执行，其中所述一个或更多个线程组的第一子集能够访问经限制的存储器的范围，并且所述一个或更多个线程组的第二子集能够访问全部范围的存储器，所述第一子集通过一个或更多个标识符指示给所述API。9.一种方法，包括：至少部分地基于一个或更多个存储器范围参数来限制由一个或更多个处理器可访问的存储器的范围。10.根据权利要求9所述的方法，其中并行处理库用于至少部分地基于向由所述并行处理库提供的应用程序编程接口API指示的所述一个或更多个存储器范围参数来限制所述存储器的范围。11.根据权利要求9所述的方法，其中所述一个或更多个存储器范围参数是数据值，所述数据值指示由要由所述一个或更多个处理器执行的一个或更多个线程组可访问的存储器的阈值数量。12.根据权利要求9所述的方法，进一步包括：向并行处理库指示所述一个或更多个存储器范围参数，所述并行处理库使得所述一个或更多个处理器的存储器被限制。13.根据权利要求9所述的方法，进一步包括：通过使得由并行处理库提供的一个或更多个命令被执行并且向所述一个或更多个命令指定所述一个或更多个存储器范围参数，向所述并行处理库指示所述一个或更多个存储器范围参数。14.根据权利要求9所述的方法，进一步包括：由所述一个或更多个处理器执行一个或更多个线程组，其中所述一个或更多个线程组包括用于访问经限制的存储器的范围的第一
子集和用于访问全部范围的存储器的第二子集。15.根据权利要求9所述的方法，进一步包括：向并行处理库指示一个或更多个标识符，其中所述一个或更多...

【专利技术属性】
技术研发人员：F，
申请(专利权)人：辉达公司，
类型：发明
国别省市：