同时计算和图形调度制造技术

本发明专利技术提供了一种同时计算和图形调度。在一些示例中，描述了一种并行处理单元(例如，GPU)，包括硬件调度器和硬件仲裁器，其启动用于在SIMD/SIMT处理单元上同时执行的图形工作和计算工作。并行处理单元的每个处理单元(例如，流式多处理器)在各个时间以图形贪婪模式或计算贪婪模式操作。硬件仲裁器响应于将至少一个所监控的性能或利用度量与用户配置的阈值进行比较的结果，可以选择性地：当处理单元在计算贪婪模式下操作时使处理单元运行来自计算队列的一个或更多个计算工作项，以及当处理单元在图形贪婪模式下操作使处理单元运行来自图形队列的一个或更多个图形工作项。还描述了相关联的方法和系统。

Simultaneous computation and graph scheduling

【技术实现步骤摘要】
同时计算和图形调度相关申请的交叉参考本申请涉及于2013年12月20日提交的、申请号为14/137,818、题为“用于同时执行计算和图形工作负载的系统、方法和计算机程序产品(System,method,andcomputerprogramproductforsimultaneousexecutionofcomputeandgraphicsworkloads)”的美国专利申请。优先权申明没有。
本公开涉及在计算机处理器上调度任务，更具体地涉及在并行处理单元(例如，图形处理单元(GPU))上调度图形任务和计算任务，以及更具体地涉及在并行处理单元(例如，GPU)的一组处理单元中的相同处理单元上调度图形任务和计算任务用于同时执行。
技术介绍
提高处理系统的性能的一种方法是使用可以并行执行许多指令流的并行处理核。在过去的几年中，中央处理单元(CPU)和图形处理单元(GPU)从这种增加的并行性中受益。例如，超标量体系结构的处理器可以将多个指令分派给不同的执行单元，从而提高平均执行速度。类似地，许多现代GPU具有大规模并行处理本文档来自技高网...

【技术保护点】
1.一种图形处理单元，包括：/n流式多处理器，其执行并行指令流；和/n连接到所述流式多处理器的调度器，所述调度器调度所述流式多处理器以并行地同时执行至少一个图形线程束和至少一个计算线程束。/n

【技术特征摘要】
20180802 US 16/053,3411.一种图形处理单元，包括：
流式多处理器，其执行并行指令流；和
连接到所述流式多处理器的调度器，所述调度器调度所述流式多处理器以并行地同时执行至少一个图形线程束和至少一个计算线程束。


2.如权利要求1所述的图形处理单元，进一步包括：
所述调度器在所述调度步骤期间监控与所述流式多处理器相关联的资源利用，以及
响应于检测到资源利用不足，在以将图形线程束重复地调度到所述流式多处理器的图形贪婪模式进行操作时将至少一个计算线程束调度到所述流式多处理器，或者，在以将计算线程束重复地调度到所述流式多处理器的计算贪婪模式进行操作时将至少一个图形线程束调度到所述流式多处理器。


3.一种并行处理单元，包括：
多个处理单元，每个处理单元配置成在各个时间以图形贪婪模式或计算贪婪模式操作，以及同时运行来自图形队列的图形工作项和来自计算队列的计算工作项；
硬件调度器，配置成：当所述多个处理单元中的特定处理单元配置成在所述图形贪婪模式下操作时，连续地从所述图形队列中选择图形工作项以在所述特定处理单元上运行，和当所述特定处理单元配置成在所述计算贪婪模式下操作时，连续地从所述计算队列中选择计算工作项以在所述特定处理单元上运行；以及
硬件仲裁器，配置成响应于将至少一个所监视的性能或利用度量与用户配置的阈值进行比较的结果，选择性地：当所述特定处理单元配置成在所述图形贪婪模式下操作时使所述特定处理单元运行来自所述计算队列的一个或更多个计算工作项，以及当所述特定处理单元配置成在所述计算贪婪模式下操作时使所述特定处理单元运行来自所述图形队列的一个或更多个图形工作项。


4.如权利要求3所述的并行处理单元，其中所述多个处理单元中的每一个处理单元是单指令多数据(SIMD)处理器或单指令多线程(SIMT)处理器。


5.如权利要求3所述的并行处理单元，其中所述硬件调度器还配置成：至少基于与所述图形工作项和所述计算工作项相关联的软件配置的优先级值来选择所述图形贪婪模式或所述计算贪婪模式。


6.如权利要求5所述的并行处理单元，其中所述硬件仲裁器还配置成：基于软件配置的调度策略来选择使所述计算工作项或所述图形工作项运行。


7.如权利要求6所述的并行处理单元，其中所述硬件仲裁器还配置成：进一步基于与所述图形工作项和所述计算工作项的处理和存储器资源的占用相对应的占用度量来选择使所述计算工作项或所述图形工作项运行。


8.如权利要求7所述的并行处理单元，其中所述硬件仲裁器还配置成：基于所述特定处理单元中的度量来选择使所述计算工作项或所述图形工作项运行。


9.如权利要求7所述的并行处理单元，其中硬件仲裁器还配置成：基于所述特定处理单元和其他处理单元中的度量来选择使所述计算工作项或所述图形工作项运行。


10.如权利要求7所述的并行处理单元，其中所述硬件仲裁器还配置成：进一步基于与来自所述处理单元的图形工作项的输出相关联的输出停止度量以及基于与到所述处理单元的所述图形工作项和所述计算工作项的输入相关联的输入饥饿度量，来选择使所述计算工作项或所述图形工作项运行。


11.如权利要求10所述的并行处理单元，其中所述硬件仲裁器还配置成：进一步基于所述占用度量的时间平均值、与所述图形工作项相关联的所述输出停止度量、以及与所述图形工作项和所述计算工作项的输入相关联的所述输入饥饿度量，来选择使所述计算工作项或所述图形工作项运行。


12.如权利要求11所述的并行处理单元，其中所述占用度量包括寄存器文件的占用度量、线程束资源的占用度量、共享存储器的占用度量以及ISBE存储器的占用度量中的一个或更多个，其中与所述图形工作项相关联的所述输入饥饿度量包括顶点关联队列和和像素关联队列中的至少一个，其中与所述计算工作项相关联的所述输入饥饿度量包括与所述计算队列相关联的饥饿度量，以及其中与所述图形工作项相关联的所述输出停止度量包括用于所述顶点关联队列和所述像素关联队列中的至少一个的输出停止度量。


13.如权利要求10所述的并行处理单元，其中输出停止度量包括来自处理所述图形工作项的一个或更多个固定功能单元的背压的影响。


14.如权利要求5所述的并行处理单元，其中所述硬件调度器或所述...

【专利技术属性】
技术研发人员：R·达什，G·帕尔默，广田源太郎，L·姗，J·肖凯特，E·克里加里夫，S·尼韦提，M·雷，S·加德雷，O·帕兰杰佩，杨磊，R·季米特洛夫，
申请(专利权)人：辉达公司，
类型：发明
国别省市：美国;US