可选择的高速缓存策略制造技术

用于选择高速缓存策略的装置

【技术实现步骤摘要】
【国外来华专利技术】可选择的高速缓存策略
[0001]相关申请的交叉引用
[0002]优先权要求
[0003]本申请要求于
2022
年1月
21
日提交的题为“可选择的高速缓存策略
(SELECTABLE CACHE POLICY)”的美国专利申请
17/581,801
的权益，其全部内容为了所有目的通过引用并入本文
。


[0004]至少一个实施例涉及处理器高速缓存驱逐策略
(processor cache eviction policies)。
例如，至少一个实施例涉及使用支持应用程序可选择的高速缓存驱逐策略的处理器来使用神经网络执行推理
。

技术介绍

[0005]应用程序的性能，诸如神经网络的训练和使用，可能会受到与处理器访问存储器相关联的瓶颈的影响
。
这样的应用程序和处理器的性能可以得到改善
。
附图说明
[0006]图1示出了具有应用程序可选择的高速缓存策略的示例应用程序和处理器；
[0007]图2示出了根据至少一个实施例的在利用神经网络执行推理时选择最佳高速缓存策略以供使用的示例过程；
[0008]图3示出了根据至少一个实施例的利用神经网络执行推理的示例；
[0009]图4示出了根据至少一个实施例的动态切换处理器高速缓存策略的示例；
[0010]图5示出了根据至少一个实施例的使用应用程序可选择的处理器高速缓存策略生成要执行的应用程序的示例过程；
[0011]图6示出了根据至少一个实施例的使用应用程序可选择的处理器高速缓存策略生成要执行的应用程序的附加示例过程；
[0012]图7示出了根据至少一个实施例的使用应用程序可选择的处理器高速缓存策略利用神经网络执行推理的示例过程；
[0013]图
8A
示出了根据至少一个实施例的逻辑；
[0014]图
8B
示出了根据至少一个实施例的逻辑；
[0015]图9示出了根据至少一个实施例的神经网络的训练和部署；
[0016]图
10
示出了根据至少一个实施例的示例数据中心系统；
[0017]图
11A
示出了根据至少一个实施例的自主车辆的示例；
[0018]图
11B
示出了根据至少一个实施例的图
11A
的自主车辆的相机位置和视野的示例；
[0019]图
11C
是根据至少一个实施例的示出图
11A
的自主车辆的示例系统架构的框图；
[0020]图
11D
是根据至少一个实施例的示出用于一个或更多个基于云的服务器与图
11A
的自主车辆之间进行通信的系统的图；
[0021]图
12
是根据至少一个实施例的示出计算机系统的框图；
[0022]图
13
是根据至少一个实施例的示出计算机系统的框图；
[0023]图
14
示出了根据至少一个实施例的计算机系统；
[0024]图
15
示出了根据至少一个实施例的计算机系统；
[0025]图
16A
示出了根据至少一个实施例的计算机系统；
[0026]图
16B
示出了根据至少一个实施例的计算机系统；
[0027]图
16C
示出了根据至少一个实施例的计算机系统；
[0028]图
16D
示出了根据至少一个实施例的计算机系统；
[0029]图
16E
和图
16F
示出了根据至少一个实施例的共享编程模型；
[0030]图
17
示出了根据至少一个实施例的示例性集成电路和相关的图形处理器；
[0031]图
18A
和图
18B
示出了根据至少一个实施例的示例性集成电路和相关联的图形处理器；
[0032]图
19A
和图
19B
示出了根据至少一个实施例的附加的示例性图形处理器逻辑；
[0033]图
20
示出了根据至少一个实施例的计算机系统；
[0034]图
21A
示出了根据至少一个实施例的并行处理器；
[0035]图
21B
示出了根据至少一个实施例的分区单元；
[0036]图
21C
示出了根据至少一个实施例的处理集群；
[0037]图
21D
示出了根据至少一个实施例的图形多处理器；
[0038]图
22
示出了根据至少一个实施例的多图形处理单元
(GPU)
系统；
[0039]图
23
示出了根据至少一个实施例的图形处理器；
[0040]图
24
是根据至少一个实施例的示出用于处理器的处理器微架构的框图；
[0041]图
25
示出了根据至少一个实施例的深度学习应用程序处理器；
[0042]图
26
是根据至少一个实施例的示出了示例神经形态处理器的框图；
[0043]图
27
示出了根据一个或更多个实施例的图形处理器的至少部分；
[0044]图
28
示出了根据一个或更多个实施例的图形处理器的至少部分；
[0045]图
29
示出了根据一个或更多个实施例的图形处理器的至少部分；
[0046]图
30
是根据至少一个实施例的图形处理器的图形处理引擎的框图；
[0047]图
31
是根据至少一个实施例的图形处理器核心的至少部分的框图；
[0048]图
32A
和图
32B
示出了根据至少一个实施例的线程执行逻辑，其包括图形处理器核心的处理元件的阵列
。
[0049]图
33
示出了根据至少一个实施例的并行处理单元
(PPU)
；
[0050]图
34
示出了根据至少一个实施例的通用处理集群
(GPC)
；
[0051]图
35
示出了根据至少一个实施例的并行处理单元
(PPU)
的内存分区单元；
[0052]图
36
示出了根据至少一个实施例的流式多处理器；
[0053]图
37
是根据至少一个实施例的高级计算管线的示例数据流图；
[0054]图
38
是根据至少一个实施例的用于在高级计算管线中训练
、
本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种处理器，包括：一个或更多个电路，所述一个或更多个电路用于使得至少部分地基于一个或更多个神经网络来选择一个或更多个高速缓存的一个或者更多个高速缓存策略，以使用存储在所述一个或更多个高速缓存中的数据
。2.
如权利要求1所述的处理器，其中，所述一个或更多个电路用于使得至少部分地基于对所述一个或更多个神经网络的层的分析来选择所述一个或更多个高速缓存策略
。3.
如权利要求1所述的处理器，其中，所述一个或更多个高速缓存策略中的第一高速缓存策略将被选择用于处理所述一种或更多个神经网络的第一层，并且所述一个或更多个高速缓存策略中的不同的一个高速缓存策略将被选择用于处理所述一个或更多个神经网络的第二层
。4.
如权利要求1所述的处理器，其中，所述一个或更多个电路用于至少部分地基于对与所述一个或更多个神经网络的使用相关联的性能数据的分析来选择所述高速缓存策略中的一个或更多个高速缓存策略
。5.
如权利要求1所述的处理器，其中，所述一个或更多个电路用于使得响应于来自应用程序
、
运行时或操作系统中的至少一个的指令来选择所述一个或更多个高速缓存策略
。6.
如权利要求1所述的处理器，其中，所述一个或更多个高速缓存策略是至少部分地基于所述一个或更多个神经网络的各部分与所述一个或更多个高速缓存策略之间的映射来选择的
。7.
如权利要求1所述的处理器，其中，所述一个或更多个电路用于至少部分地基于与所述一个或更多个神经网络的部分相关联的一个或更多个操作类型来选择所述一个或更多个高速缓存策略
。8.
如权利要求1所述的处理器，其中，所述一个或更多个电路用于至少部分地基于所述一个或更多个神经网络的模拟使用来选择所述一个或更多个高速缓存策略
。9.
一种系统，包括：处理器，所述处理器用于使得至少部分地基于一个或更多个神经网络来选择一个或更多个高速缓存的一个或者更多个高速缓存策略，以使用存储在所述一个或更多个高速缓存中的数据
。10.
如权利要求9所述的系统，其中，所述处理器用于使得至少部分地基于对所述一个或更多个神经网络的层的分析来选择所述一个或更多个高速缓存策略
。11.
如权利要求9所述的系统，其中，所述一个或更多个高速缓存策略中的第一高速缓存策略将被选择用于处理所述一个或更多个神经网络的第一层，并且所述一个或更多个高速缓存策略中的不同的一个缓存策略将被选择用于处理所述一个或更多个神经网络的第二层
。12.
如权利要求9所述的系统，其中，所述一个或更多个处理器用于至少部分地基于对与所述一个或更多个神经网络的使用相关联的性能数据的分析来选择所述高速缓存策略中的一个或更多个高速缓存策略
。13.
如权利要求9所述的系统，其中，所述一个或更多个处理器用于使得响应于来自应用程序
、
运行时或操作系统中的至少一个的指令来选择所述一个或更多个高速缓存策略
。14.
如权利要求9所述的系统，其中，所述一个或更多个高速缓存策略包括算法或启发
式方法中的至少一个，以在所述一个或更多个高速缓存中选择用于替换的数据
。15.
如权利要求9所述的系统，其中，所述一个或更多个高速缓存策略是至少部分地基于所述一个或更多个神经网络的各部分与所述一个或更多个高速缓存策略之间的映射来选择的
。16.
如权利要求9所述的系统，其中，所述一个或更多个处理器用于至少部分地基于与所述一个或更多个神经网络的部分相关联的一个或更多个操作类型来选择所述一个或更多个高速缓存策略
。17.
一种机器可读介质，在其上存储有指令，所述指令如果由一个或更多个处理器执行，则使所述一个或更多个处理器至少用于：至少部分地基于一...

【专利技术属性】
技术研发人员：K，
申请(专利权)人：辉达公司，
类型：发明
国别省市：