高效和并行的模型运行制造技术

公开了一种加速器。电路可以处理数据以产生经处理的数据。第一层存储可以具有第一容量和第一时延。第二层存储可以具有第二容量和第二时延。第二容量可以大于第一容量，并且第二时延时间可以慢于第一时延。总线可以用于在第一层存储和第二层存储之间传送数据或经处理的数据中的至少一个。的数据中的至少一个。的数据中的至少一个。

【技术实现步骤摘要】
高效和并行的模型运行


[0001]本公开总体上涉及加速器，并且更具体地，涉及可以高效且并行地运行模型的加速器。

技术介绍

[0002]模型(诸如机器学习模型)往往很大。一些模型可能包含数兆兆字节的数据，并且预计模型大小可能会随着时间增加。加速器可以运行模型：例如，以产生用于对稍后数据的机器学习分析的数据。
[0003]但是加速器倾向于具有相对有限的存储，并且可能没有足够的存储容量来存储多于一个的模型。因此，即使加速器支持足够的处理器核心来并行地运行多个模型，模型也可能被依次运行，从而留下一些未使用的加速器处理能力。
[0004]仍然需要使用加速器来改进对模型的处理。

技术实现思路

[0005]本公开的实施例包括加速器。电路可以处理数据。提供不同容量和不同时延的两层存储可以通过高带宽总线连接以传送数据。
附图说明
[0006]下面描述的附图是如何实现本公开的实施例的示例，并且不旨在限制本公开的实施例。本公开的各个实施例可以包括未在特定附图中示出的元件和/或可以省略在特定附图中示出的元件。附图旨在提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种加速器，包括：电路，其处理数据以产生经处理的数据；第一层存储，具有第一容量和第一时延；第二层存储，具有第二容量和第二时延，第二容量大于第一容量，第二时延慢于第一时延；以及总线，其在第一层存储和第二层存储之间传送所述数据或经处理的数据中的至少一个。2.根据权利要求1所述的加速器，其中，所述总线包括大于外围组件互连快速(PCIe)总线带宽的带宽。3.根据权利要求1所述的加速器，其中，所述电路包括第一核心和第二核心。4.根据权利要求3所述的加速器，其中：所述第一层存储被配置为存储所述数据和第二数据；所述第一核心被配置为处理所述数据以产生经处理的数据；并且所述第二核心被配置为处理第二数据以产生第二经处理的数据。5.根据权利要求1所述的加速器，还包括预取器，所述预取器用于通过总线将所述数据从第二层存储传送到第一层存储。6.根据权利要求5所述的加速器，其中：所述数据包括所述数据的第一批和所述数据的第二批；并且所述预取器被配置为通过总线将所述数据的第一批从第二层存储传送到第一层存储。7.根据权利要求6所述的加速器，其中，所述预取器被配置为至少部分地基于所述电路在处理所述数据的第一批，将所述数据的第二批从第二层存储传送到第一层存储。8.根据权利要求5所述的加速器，其中，所述预取器被配置为使用来自主机的提示选择所述数据以用于从第二层存储传送到第一层存储。9.根据权利要求1所述的加速器，还包括协调器，所述协调器用于识别所述数据以进行预取。10.根据权利要求9所述的加速器，其中，所述协调器还被配置为指示电路处理所述数据。11.一种方法，包括：识别加速器的第二层存储中的数据，加速器的第二层存储具有第二容量和第二时延；通过总线将所述数据从加速器的第二层存储传送到加速器的第一层存储，加速器的第一层存储具有第一容量和第一时延，第二容量大于第一容量，第二时延慢于第一时延；以及在加速器的电路中处理所述数据以产生经处理的数据。12.根据权利要求11所述的方法，其中，通过总线将所述数据从加速器的第二层存储传送到加速器的第一层存储包括将所述数据从加速器的第二层存储预取到加速器的第一层存储。13.根据权利要求12所述的方法，其中，将所述数据从加速器的第...

【专利技术属性】
技术研发人员：MM阮，R皮初马尼，李宗旺，奇亮奭，KT马拉迪，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：