小芯片集成的机器学习加速器制造技术

提供了用于执行机器学习操作的技术。所述技术包括：将第一小芯片的第一部分配置为高速缓存；经由所述第一部分执行高速缓存操作；将所述小芯片的所述第一部分的至少第一子部分配置为可直接访问的存储器；以及由所述第一小芯片内的机器学习加速器用所述第一子部分执行机器学习操作。行机器学习操作。行机器学习操作。

【技术实现步骤摘要】
【国外来华专利技术】小芯片集成的机器学习加速器
[0001]相关申请的交叉引用
[0002]本申请要求2019年7月22日提交的名称为“CHIPLET APPRO ACH FOR COUPLING GPU WITH MACHINE LEARNING ACCE LERATION AT HIGH POWER EFFICIENCY”的美国临时申请号62/877,241的优先权权益，该申请以引用方式并入，如同在本文中充分地阐述。本申请要求2019年7月22日提交的名称为“HIGH BW IN TER
‑
CONNECTED CHIPLETS AND GPU FOR HIGH PERFORM ANCE GAMING AND MACHINE LEARNING WORKLOADS”的美国临时申请号62/877,249的优先权权益，该申请以引用方式并入，如同在本文中充分地阐述。本申请要求2020年7月20日提交的名称为“CHIPLET
‑
INTEGRATED MACHINE LEARNING ACCELERAT ORS”的美国非临时申请号16/933,863的优先权权益，该申请以引用方式并入，如同在本文中充分地阐述。

技术介绍

[0003]机器学习是迅速地发展的领域。用于机器学习操作(诸如训练和推断)的硬件正在不断地改善。
附图说明
[0004]可从结合附图以举例的方式给出的以下描述中获得更详细的理解，在附图中：
[0005]图1是可实现本公开的一个或多个特征的示例装置的框图；
[0006]图2示出了根据示例的图1的装置的细节；
[0007]图3是示出图2所示的图形处理流水线的附加细节的框图；
[0008]图4表示根据示例的APD的框图，示出了高速缓存/机器学习加速器小芯片；
[0009]图5示出了根据示例的高速缓存/机器学习加速器小芯片的细节；并且
[0010]图6是根据示例的用于用小芯片执行机器学习操作的方法的流程图。
具体实施方式
[0011]提供了用于执行机器学习操作的技术。所述技术包括：将第一小芯片的第一部分配置为高速缓存；经由所述第一部分执行高速缓存操作；将所述小芯片的所述第一部分的至少第一子部分配置为可直接访问的存储器；以及由所述第一小芯片内的机器学习加速器用所述第一子部分执行机器学习操作。
[0012]图1是可实现本公开的一个或多个特征的示例装置100的框图。装置100可以是例如计算机、游戏装置、手持式装置、机顶盒、电视机、移动电话、平板计算机或其他计算装置中的一者但不限于此。装置100包括处理器102、存储器104、存储设备106、一个或多个输入装置108，以及一个或多个输出装置110。装置100还包括一个或多个输入驱动器112和一个或多个输出驱动器114。输入驱动器112中的任一者体现为硬件、硬件和软件的组合、或软件，并且用于控制输入装置112的目的(例如，控制操作、从输入驱动器112接收输入以及向输入驱动器提供数据)。类似地，输出驱动器114中的任一者体现为硬件、硬件和软件的组
合、或软件，并且用于控制输出装置的目的(例如，控制操作、从输出驱动器114接收输入以及向输出驱动器提供数据)。应理解，装置100可包括图1中未示出的附加部件。
[0013]在各种替代方案中，处理器102包括中央处理单元(CPU)、图形处理单元(GPU)、位于同一管芯上的CPU和GPU，或者一个或多个处理器核心，其中每个处理器核心可以是CPU或GPU。在各种替代方案中，存储器104与处理器102位于同一管芯上，或者与处理器102分开定位。存储器104包括易失性或非易失性存储器，例如随机存取存储器(RAM)、动态RAM或高速缓存。
[0014]存储设备106包括固定的或可移除的存储设备，例如但不限于硬盘驱动器、固态驱动器、光盘或闪存驱动器。输入装置108包括但不限于键盘、小键盘、触摸屏、触摸板、检测器、麦克风、加速度计、陀螺仪、生物特征扫描仪或网络连接(例如，用于传输和/或接收无线IEEE 802信号的无线局域网卡)。输出装置110包括但不限于显示器、扬声器、打印机、触觉反馈装置、一个或多个灯、天线或网络连接(例如，用于传输和/或接收无线IEEE 802信号的无线局域网卡)。
[0015]输入驱动器112和输出驱动器114包括一个或多个硬件、软件和/或固件部件，所述一个或多个硬件、软件和/或固件部件被配置为分别与输入装置108和输出装置110介接并驱动所述输入装置和输出装置。输入驱动器112与处理器102和输入装置108通信，并且容许处理器102接收来自输入装置108的输入。输出驱动器114与处理器102和输出装置110通信，并且容许处理器102将输出发送到输出装置110。输出驱动器114包括加速处理装置(“APD”)116，该加速处理装置耦合到显示装置118，在一些示例中，该显示装置是使用远程显示协议来示出输出的物理显示装置或模拟装置。APD 116被配置为接受来自处理器102的计算命令和图形渲染命令，处理那些计算命令和图形渲染命令，并且向显示装置118提供像素输出以用于显示。如下面进一步详细地描述，APD 116包括一个或多个并行处理单元，所述一个或多个并行处理单元被配置为根据单指令多数据(“SIMD”)范例执行计算。因此，虽然本文中将各种功能描述为由APD 116执行或结合该APD来执行，但是在各种替代方案中，被描述为由APD 116执行的功能另外地或替代地由具有类似功能的其他计算装置执行，所述其他计算装置未被主机处理器(例如，处理器102)驱动并且未被配置为向显示装置118提供图形输出。例如，设想的是，根据SIMD范例执行处理任务的任何处理系统可被配置为执行本文所描述的功能。替代地，设想的是，不根据SIMD范例执行处理任务的计算系统执行本文所描述的功能。
[0016]图2示出了根据示例的装置100和APD 116的细节。处理器102(图1)执行操作系统120、驱动器122和应用程序126，并且替代地或另外地，还可执行其他软件。操作系统120控制装置100的各种方面，诸如管理硬件资源、处理服务请求、调度和控制过程执行以及执行其他操作。APD驱动器122控制APD 116的操作，将诸如图形渲染任务或其他工作的任务发送给APD 116以进行处理。APD驱动器122还包括即时编译器，该即时编译器编译程序以由APD 116的处理部件(诸如，在下面进一步详细地讨论的SIMD单元138)执行。
[0017]APD 116执行有关选定功能的命令和程序，诸如可适合于进行并行处理的图形操作和非图形操作。APD 116可用于基于从处理器102接收的命令来执行图形流水线操作，诸如像素操作、几何计算，以及将图像渲染到显示装置118。APD 116还基于从处理器102接收的命令来执行与图形操作不直接相关的计算处理操作，诸如与视频、物理模拟、计算流体动
力学或其他任务相关的操作。在一些示例中，通过在SIMD单元138上执行计算着色器来执行这些计本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，所述方法包括：将第一小芯片的第一部分配置为高速缓存；经由所述第一部分执行高速缓存操作；将所述小芯片的所述第一部分的至少第一子部分配置为可直接访问的存储器；以及由所述第一小芯片内的机器学习加速器用所述第一子部分执行机器学习操作。2.如权利要求1所述的方法，其中：执行高速缓存操作包括针对在与所述第一小芯片分开的管芯上的处理核心执行高速缓存操作。3.如权利要求2所述的方法，其中：针对所述处理核心执行高速缓存操作包括以下一者或多者：存储从所述处理核心的高速缓存逐出的高速缓存行，或者响应于所述处理核心的高速缓存中的未命中而将高速缓存行提供到所述处理核心。4.如权利要求1所述的方法，其中：响应于来自在与所述第一小芯片分开的管芯上的处理核心的调度器或计算单元的请求而将所述第一部分配置为高度缓存或将所述第一子部分配置为可直接访问的存储器。5.如权利要求1所述的方法，所述方法还包括：响应于与所述小芯片分开的处理器核心的请求而将数据存储在被配置为可直接访问的存储器的所述第一子部分内。6.如权利要求5所述的方法，其中：执行机器学习操作包括执行将所述数据作为输入消耗的所述机器学习操作。7.如权利要求1所述的方法，其中所述机器学习操作包括矩阵乘法运算。8.如权利要求1所述的方法，其中：所述第一部分包括所述第一小芯片的内部存储器的第一量的存储器；并且所述方法还包括：在经由所述第一部分执行所述高速缓存操作时，用所述存储器的被配置为可直接访问的存储器的第二部分执行机器学习操作。9.如权利要求1所述的方法，所述方法还包括：将数据传输到第二小芯片或从所述第二小芯片接收数据，所述第二小芯片与请求所述第一小芯片执行机器学习操作的处理核心物理地分开，其中经由所述第一小芯片与所述第二小芯片之间的不流过所述处理核心的直接连接来传输或接收所述数据。10.一种装置，所述装置包括：一个或多个机器学习加速器；以及小芯片存储器，所述小芯片存储器被配置为：将所述小芯片存储器的第一部分配置为高速缓存；经由所述第一部分执行高速缓存操作；将所述小芯片存储器的所述第一部分的至少第一子部分配置为可直接访问的存储器；以及由所述一个或多个机器学习加速器中的机器学习加速器用所述第一子部分执行机器学习操作。11.如权利要求...

【专利技术属性】
技术研发人员：斯瓦普尼尔，
申请(专利权)人：超威半导体公司，
类型：发明
国别省市：